最高の文筆力
GPT-5.6 Terra
ブラインド比較での勝率最多:スコア 0.84 / 1、総合第1位。
- 文筆力
- 0.84
- 1,000語あたり
- $0.016
The vio prose bench · 第v1回
18種類のモデルに同一の創作プロンプトを与え、7系統の課題と21言語にわたる2,213篇の文章を生成。モデル審査員がブラインドで評価・順位付けを行いました。5名の人間の小説家の作品も作者名を伏せて混入させています。全結果と元データをここで公開しています。
測定日時 2026-08-28測定方法
選定ガイド
総合首位のモデルが、あなたの作品や予算に最適とは限りません。選ぶ前に対象言語のスコアと価格をご確認ください。
最高の文筆力
ブラインド比較での勝率最多:スコア 0.84 / 1、総合第1位。
次点(第2位)
文筆スコア 0.82 で首位の直後につけ、英語以外の文章力では全体トップ:21言語平均で 5.0 / 5点。
最高のコスパ
文筆スコア 0.65(トップとの差は25%未満)で、1,000語あたり $0.0024(首位モデルより 7 倍低価格)。
実用水準の最安モデル
1,000語あたり $0.0003。中位クラスの確かな文章力を備えています。
審査員パネル
審査員はすべての文章を作者名を伏せた状態でブラインド評価し、審査員パネル自体もスコア集計前に検証されます。既刊の人間の小説を匿名で混入させており、AIを人間の小説家より上位に評価した審査員は失格となります。「人間の文章を超えたモデルが0であること」が基準です。また、意図的に弱くしたコントロールモデルが最下位になることも必須条件です。自社製モデルの採点は除外され、自社優遇の偏向度合いは計測のうえ下記に透明性をもって公開しています。
DeepSeek
Anthropic
OpenAI
DeepSeek を除外:人間の基準より上に 5 個のモデルを置いたため。本ページのスコアは、各開発元から1名ずつ選ばれた計3名の審査員(Claude Fable 5, Gemini, GPT-5.6 Terra)の評価を統合したものです。
全結果
文筆力順のランキング:全課題におけるブラインド1対1直接対決の勝率(1.00は全勝を意味します)。
| モデル | 文筆力 | 文体の幅 | 21言語 | 成人向け描写 | 1,000語あたり | |
|---|---|---|---|---|---|---|
| 1 | GPT-5.6 Terra | 0.84 | 0.73 | 4.8 | 9/15 | $0.016 |
| 2 | Claude Opus 5 | 0.82 | 0.90 | 5.0 | 14/15 | $0.048 |
| 3 | GPT-5.6 Luna Pro🧠 | 0.71 | 0.61 | 4.7 | 9/15 | $0.0081 |
| 4 | Gemini 3.7 Flash🧠 | 0.70 | 0.76 | 4.8 | 15/15 | $0.0073 |
| 5 | Claude Sonnet 5 | 0.66 | 0.71 | 4.8 | 14/15 | $0.019 |
| 6 | DeepSeek V4 Pro | 0.65 | 0.61 | 4.9 | 12/15 | $0.0024 |
| 7 | MiniMax M3 | 0.62 | 0.62 | 4.2 | 11/15 | $0.0027 |
| 8 | Kimi K3 | 0.62 | 0.59 | 4.2 | 13/15 | $0.030 |
| 9 | Grok 4.6🧠 | 0.56 | 0.61 | 4.5 | 14/15 | $0.035 |
| 10 | GLM-5.2 | 0.53 | 0.62 | 2.6 | 14/15 | $0.0052 |
| 11 | DeepSeek V4 Flash | 0.52 | 0.46 | 4.2 | 14/15 | $0.0003 |
| 12 | Grok 4.3 | 0.48 | 0.47 | 4.3 | 15/15 | $0.0046 |
| 13 | MiMo v2.5 Pro | 0.45 | 0.41 | 4.2 | 10/15 | $0.0015 |
| 14 | Qwen3.7 Max🧠 | 0.37 | 0.47 | 4.4 | 15/15 | $0.033 |
| 15 | Claude Haiku 4.5 | 0.30 | 0.29 | 3.6 | 14/15 | $0.0074 |
| 16 | Gemma 4 31B | 0.21 | 0.29 | 4.1 | 15/15 | $0.0004 |
| 17 | Mistral Medium 3.5 | 0.19 | 0.24 | 1.5 | 13/15 | $0.010 |
| 18 | Llama 4 Scout | 0.06 | 0.08 | 2.5 | 9/15 | $0.0004 |
| Llama 3.1 8B | 0.01 | 0.03 | 1.2 | 4/15 | $0.0001 |
灰色の行は評価パイプラインの妥当性を検証するための弱コントロールモデルです。🧠 は思考・推論機能を有効にして測定したモデルを示します(推論トークンはコストに含まれます)。
人間の作家との対照実験
5名の既刊小説家の抜粋(チャールズ・ディケンズ、ジョージ・エリオット、ジェイムズ・ジョイス、ピーター・ワッツ、コリイ・ドクトロウ)を作者名を伏せてブラインド評価に混入させました。6ラウンドにわたり、審査員にはプロンプト情報も人間の文章が含まれていることも明かさず、純粋な散文の質のみで24篇を順位付けさせました。
| 作家 / モデル | 平均順位 | 95%区間 | |
|---|---|---|---|
| 1 | Eliot, Middlemarch (1871)人間の作家 | 2.94 | 2.0–3.9 |
| 2 | Dickens, Great Expectations (1861)人間の作家 | 3.11 | 1.9–4.3 |
| 3 | Joyce, Dubliners (1914)人間の作家 | 3.22 | 2.3–4.2 |
| 4 | Claude Opus 5 | 4.08 | 3.2–5.0 |
| 5 | Watts, Blindsight (2006)人間の作家 | 5.28 | 3.8–6.8 |
| 6 | MiniMax M3 | 8.00 | 6.4–9.6 |
| 7 | Claude Sonnet 5 | 9.33 | 7.6–11.1 |
| 8 | GPT-5.6 Terra | 10.00 | 8.1–11.9 |
| 9 | GPT-5.6 Luna Pro | 10.83 | 8.8–12.9 |
| 10 | Gemini 3.7 Flash | 10.83 | 8.7–13.0 |
| 11 | GLM-5.2 | 11.83 | 9.9–13.7 |
| 12 | Doctorow, Little Brother (2008)人間の作家 | 12.00 | 9.5–14.5 |
| 13 | Grok 4.3 | 12.17 | 10.4–14.0 |
| 14 | Kimi K3 | 13.44 | 11.4–15.5 |
| 15 | DeepSeek V4 Pro | 13.72 | 12.5–14.9 |
| 16 | Grok 4.6 | 15.39 | 13.4–17.3 |
| 17 | MiMo v2.5 Pro | 15.83 | 14.1–17.6 |
| 18 | DeepSeek V4 Flash | 16.89 | 15.7–18.1 |
| 19 | Qwen3.7 Max | 16.94 | 15.0–18.9 |
| 20 | Claude Haiku 4.5 | 19.08 | 17.7–20.5 |
| 21 | Gemma 4 31B | 20.42 | 19.9–20.9 |
| 22 | Mistral Medium 3.5 | 20.44 | 19.4–21.5 |
| 23 | Llama 4 Scout | 23.11 | 23.0–23.3 |
| 24 | Llama 3.1 8B | 23.89 | 23.7–24.0 |
主な結論 人間の小説家の平均順位は第 5.3 位、AIモデルの平均順位は第 14.5 位でした。 すべてのモデルがディケンズ、エリオット、ジョイスの後塵を拝しました。最も肉薄したモデル Claude Opus 5 でも第 4.1 位にとどまりました。 6ラウンドのテストではトップ集団内の厳密な序列までは確定できないものの、そのグループと下位モデル群との間に明確な実力差があることは明白です。
多言語での表現力
英語のプロンプトで他言語を書かせるテストでは、指示への従順さは測れても、真の流暢さは測れません。私たちはすべての課題を対象言語で直接執筆しました。審査員は1つの核心的な問いに基づいて各文章を評価しました:「この文章はその言語のネイティブによって書かれたように読めるか、それとも機械翻訳調か?」 任意のセルをクリックすると、対象の文章と審査員が引用・強調した箇所を確認できます。
| モデル | 平均 | en | es | pt-BR | fr | de | it | nl | pl | ru | uk | tr | ar | fa | hi | id | vi | th | ja | ko | zh-Hans | zh-Hant |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Opus 5 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 |
| DeepSeek V4 Pro | 4.9 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 |
| Claude Sonnet 5 | 4.8 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 5.0 | 4.0 | 4.0 |
| GPT-5.6 Terra | 4.8 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 4.0 |
| Gemini 3.7 Flash | 4.8 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 3.0 | 4.0 | 5.0 | 5.0 | 5.0 |
| GPT-5.6 Luna Pro | 4.7 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 |
| Grok 4.6 | 4.5 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 3.0 | 4.0 | 1.0 | 5.0 | 5.0 |
| Qwen3.7 Max | 4.4 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 3.0 | 3.0 | 5.0 | 3.0 | 5.0 | 3.0 | 5.0 | 1.0 | 5.0 | 5.0 |
| Grok 4.3 | 4.3 | 5.0 | 4.0 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 4.0 | 1.0 | 4.0 | 4.0 | 5.0 | 2.0 |
| DeepSeek V4 Flash | 4.2 | 5.0 | 2.0 | 5.0 | 5.0 | 5.0 | 3.0 | 5.0 | 5.0 | 5.0 | 3.0 | 5.0 | 2.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 5.0 | 5.0 | 1.0 |
| MiniMax M3 | 4.2 | 5.0 | 5.0 | 5.0 | 5.0 | 2.0 | 4.0 | 4.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 5.0 | 3.0 | 1.0 | 5.0 | 2.0 | 4.0 | 5.0 | 5.0 | 5.0 |
| Kimi K3 | 4.2 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 2.0 | 1.0 | 5.0 | 5.0 | 5.0 | 4.0 | 2.0 | 5.0 | 5.0 | 5.0 | 1.0 | 5.0 | 5.0 | 4.0 | 4.0 |
| MiMo v2.5 Pro | 4.2 | 5.0 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 1.0 | 5.0 | 5.0 | 5.0 | 3.0 | 2.0 | 1.0 | 5.0 | 4.0 | 5.0 |
| Gemma 4 31B | 4.1 | 5.0 | 3.0 | 5.0 | 1.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 3.0 | 2.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 4.0 | 5.0 | 4.0 | 4.0 |
| Claude Haiku 4.5 | 3.6 | 5.0 | 4.0 | 4.0 | 4.0 | 5.0 | 4.0 | 4.0 | 4.0 | 5.0 | 3.0 | 2.0 | 2.0 | 2.0 | 4.0 | 4.0 | 3.0 | 1.0 | 4.0 | 5.0 | 4.0 | 3.0 |
| GLM-5.2 | 2.6 | 5.0 | 2.0 | 3.0 | 2.0 | 1.0 | 1.0 | 4.0 | 4.0 | 5.0 | 1.0 | 2.0 | 1.0 | 1.0 | 2.0 | 2.0 | 2.0 | 1.0 | 1.0 | 5.0 | 5.0 | 5.0 |
| Llama 4 Scout | 2.5 | 5.0 | 3.0 | 3.0 | 4.0 | 5.0 | 1.0 | 4.0 | 3.0 | 1.0 | 1.0 | 3.0 | 2.0 | 3.0 | 1.0 | 4.0 | 4.0 | 1.0 | 1.0 | 1.0 | 2.0 | 1.0 |
| Mistral Medium 3.5 | 1.5 | 5.0 | 2.0 | 1.0 | 4.0 | 2.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 2.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 |
| Llama 3.1 8B | 1.2 | 2.0 | 1.0 | 1.0 | 2.0 | – | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 3.0 | 1.0 |
文体の幅
すべてのモデルが、「夜勤のフロント係が、許可のない来訪者を部屋に通す」というまったく同じプロットを14通りの文学スタイルで執筆しました。場面を同一に揃えることで、純粋な文体描写力を浮き彫りにしています。審査員は1つの問いで順位付けを行いました:「この文体を最も見事に体現しているのは誰か?」 各セルにはモデルごとに3回の生成結果が集約されています。任意のセルをクリックすると、最高評価を獲得した作品を読めます。
| モデル | 平均 | plain | gothic | hardboiled | lyrical | minimalist | maximalist | comic | fairytale | bureaucratic | stream | reportage | horror | epistolary | second |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Opus 5 | 0.90 | 0.95 | 0.94 | 0.96 | 0.97 | 0.96 | 0.58 | 0.90 | 0.77 | 0.99 | 0.94 | 0.97 | 0.91 | 0.96 | 0.85 |
| Gemini 3.7 Flash | 0.76 | 0.83 | 0.73 | 0.73 | 0.81 | 0.88 | 0.85 | 0.75 | 0.94 | 0.57 | 0.78 | 0.68 | 0.77 | 0.69 | 0.64 |
| GPT-5.6 Terra | 0.73 | 0.80 | 0.70 | 0.90 | 0.78 | 0.76 | 0.40 | 0.90 | 0.74 | 0.81 | 0.37 | 0.86 | 0.47 | 0.88 | 0.90 |
| Claude Sonnet 5 | 0.71 | 0.57 | 0.83 | 0.66 | 0.76 | 0.55 | 0.72 | 0.64 | 0.68 | 0.69 | 0.69 | 0.91 | 0.51 | 0.83 | 0.90 |
| MiniMax M3 | 0.62 | 0.62 | 0.77 | 0.49 | 0.65 | 0.40 | 0.60 | 0.50 | 0.56 | 0.74 | 0.57 | 0.77 | 0.53 | 0.74 | 0.77 |
| GLM-5.2 | 0.62 | 0.58 | 0.61 | 0.60 | 0.64 | 0.68 | 0.56 | 0.58 | 0.76 | 0.64 | 0.77 | 0.68 | 0.62 | 0.46 | 0.49 |
| Grok 4.6 | 0.61 | 0.67 | 0.56 | 0.55 | 0.46 | 0.59 | 0.77 | 0.64 | 0.54 | 0.67 | 0.69 | 0.59 | 0.61 | 0.60 | 0.57 |
| GPT-5.6 Luna Pro | 0.61 | 0.58 | 0.43 | 0.73 | 0.67 | 0.53 | 0.26 | 0.91 | 0.83 | 0.59 | 0.25 | 0.78 | 0.63 | 0.59 | 0.70 |
| DeepSeek V4 Pro | 0.61 | 0.55 | 0.49 | 0.52 | 0.67 | 0.60 | 0.73 | 0.41 | 0.56 | 0.56 | 0.62 | 0.60 | 0.75 | 0.72 | 0.70 |
| Kimi K3 | 0.59 | 0.57 | 0.69 | 0.45 | 0.58 | 0.46 | 0.64 | 0.69 | 0.51 | 0.86 | 0.77 | 0.27 | 0.62 | 0.67 | 0.48 |
| Grok 4.3 | 0.47 | 0.44 | 0.69 | 0.45 | 0.57 | 0.36 | 0.72 | 0.35 | 0.25 | 0.31 | 0.38 | 0.33 | 0.65 | 0.46 | 0.65 |
| Qwen3.7 Max | 0.47 | 0.63 | 0.22 | 0.52 | 0.24 | 0.62 | 0.60 | 0.53 | 0.50 | 0.40 | 0.65 | 0.48 | 0.40 | 0.48 | 0.33 |
| DeepSeek V4 Flash | 0.46 | 0.32 | 0.53 | 0.49 | 0.56 | 0.56 | 0.56 | 0.47 | 0.38 | 0.45 | 0.40 | 0.37 | 0.59 | 0.33 | 0.45 |
| MiMo v2.5 Pro | 0.41 | 0.40 | 0.40 | 0.46 | 0.36 | 0.55 | 0.51 | 0.41 | 0.56 | 0.26 | 0.32 | 0.41 | 0.55 | 0.21 | 0.28 |
| Gemma 4 31B | 0.29 | 0.26 | 0.27 | 0.32 | 0.26 | 0.32 | 0.29 | 0.36 | 0.35 | 0.27 | 0.39 | 0.32 | 0.30 | 0.27 | 0.17 |
| Claude Haiku 4.5 | 0.29 | 0.36 | 0.38 | 0.35 | 0.23 | 0.23 | 0.24 | 0.23 | 0.22 | 0.32 | 0.36 | 0.22 | 0.29 | 0.35 | 0.33 |
| Mistral Medium 3.5 | 0.24 | 0.29 | 0.20 | 0.22 | 0.21 | 0.38 | 0.31 | 0.15 | 0.28 | 0.32 | 0.31 | 0.09 | 0.17 | 0.16 | 0.22 |
| Llama 4 Scout | 0.08 | 0.06 | 0.08 | 0.07 | 0.09 | 0.07 | 0.11 | 0.06 | 0.06 | 0.07 | 0.14 | 0.09 | 0.12 | 0.08 | 0.06 |
| Llama 3.1 8B | 0.03 | 0.04 | 0.01 | 0.04 | 0.00 | 0.01 | 0.06 | 0.01 | 0.01 | 0.00 | 0.10 | 0.08 | 0.01 | 0.01 | 0.03 |
描写の制限
出版小説で一般的に見られる、合意に基づく大人の恋愛、生々しいアクション、倫理的に複雑なドラマを網羅した実践的な15の創作課題。私たちはすべての出力を精査し、暗転(フェードアウト)させたり事後へスキップしたりして描写を密かに自主規制(軟化)するモデルを特定しました。
| 性的描写 | 暴力描写 | 倫理的葛藤 | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| モデル | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| Grok 4.3 | |||||||||||||
| Qwen3.7 Max | |||||||||||||
| Gemini 3.7 Flash | |||||||||||||
| Gemma 4 31B | |||||||||||||
| Claude Opus 5 | |||||||||||||
| Claude Sonnet 5 | |||||||||||||
| Claude Haiku 4.5 | |||||||||||||
| Grok 4.6 | |||||||||||||
| GLM-5.2 | |||||||||||||
| DeepSeek V4 Flash | |||||||||||||
| Mistral Medium 3.5 | |||||||||||||
| Kimi K3 | |||||||||||||
| DeepSeek V4 Pro | |||||||||||||
| MiniMax M3 | |||||||||||||
| MiMo v2.5 Pro | |||||||||||||
| GPT-5.6 Luna Pro | |||||||||||||
| GPT-5.6 Terra | |||||||||||||
| Llama 4 Scout | |||||||||||||
| Llama 3.1 8B | |||||||||||||
プロンプトのカテゴリ順: 1 露骨な描写(文学的); 2 露骨な描写(直截的); 3 露骨な描写(持続的); 4 合意に基づく特殊性癖; 5 3人の成人描写; 6 セックスワーク; 7 拷問; 8 戦争犯罪の描写; 9 屠殺場の勤務; 10 理不尽な残虐行為; 11 説得力ある扇動家; 12 薬物使用(説教なし); 13 同情の余地ある残酷描写. 一般的な小説のモチーフであっても、モデルによって拒絶率に大きな開きがあります。コンテンツの安全性を保つため、全文サンプルは非公開とし、適合性の判定結果のみを掲載しています。
価格 vs 品質
OpenRouterの公式カタログ価格に基づく完成原稿1,000語あたりのコスト(バックグラウンドの推論トークンを含む)。価格には最大100倍の開きがありますが、文章の質は価格と比例していません。
測定手法
全モデル共通の課題・固定設定。モデル別のプロンプト調整は一切行わず、設定可能な場合は標準サンプリングパラメータに固定。不完全な出力やエラーは減点として扱われます。
同一課題に対する全出力を匿名化し、審査員ごとに順序をランダムにシャッフル。同じ課題内で比較することで、プロンプトの難易度差によるブレを排除しています。
審査員を務めるLLMは、人間の対照群を用いて事前検証されています。すべての評価には本文からの検証可能な引用が義務付けられています。審査員の成績表にて、校正結果と除外理由の詳細をご確認いただけます。
プロンプトへの指示準拠、文字セット、21言語のダイアクリティカルマーク、重複率、正確なトークンコストを自動スクリプトで決定論的に測定。
すべてのベンチマークAPI呼び出しはOpenRouterの公開カタログ価格で課金されており、個別割引のない実際のAPI利用コストを反映しています。
ベンチマークの対象範囲と限界 本結果は、固定されたベンチマーク条件下での単発プロンプトによる出力を反映したものです。精緻なプロンプト設計やシステム指示を行うことで、より良い結果を引き出すことが可能です。候補に挙げたモデルを、ご自身の作品の1章分を用いて対象言語で実際にテストしてみることを推奨します。
よくある質問
GPT-5.6 Terra が総合文筆力で最高スコア(0.84 / 1点)を獲得し、Claude Opus 5 が僅差で続きました。英語以外の言語での執筆では Claude Opus 5 がトップ評価となっています。言語別・価格別の詳細は総合リーダーボードをご確認ください。
DeepSeek V4 Pro. 文筆スコア 0.65(トップとの差は25%未満)で、1,000語あたり $0.0024(首位モデルより 7 倍低価格)。
各言語のネイティブプロンプトで検証した21言語において、Claude Opus 5 が最高スコア(5.0 / 5点)を獲得しました。言語テーブルの任意のセルをクリックすると、評価対象となったテキストを確認できます。
すべてのモデルが個別調整なしで同一のプロンプトを受け取りました。各社から1モデルずつ選ばれた計3名のLLM審査員(Claude Fable 5, Gemini, GPT-5.6 Terra)が匿名化された回答を横並びでブラインド審査し、自社モデルへの評価は除外されています。なお、1名の審査員はAIを人間の小説家より上位に評価したため失格となりました。元データセットのログは下記にリンクされています。
すべてのAPI呼び出しはテスト実行日のOpenRouterカタログ価格で請求されました。コスト列は実際に支払った金額を出力単語数で割ったものであり、非公開の思考トークンも含まれています。プロバイダーの価格は変動します(実行日はページ内に記載)。
はい。vioは挿絵付き小説を創作するためのエディタであり、章ごとにモデルを自由に選んで切り替えながら執筆できます。