The vio prose bench · 第v1回

小説を最も巧みに書けるAIは?

18種類のモデルに同一の創作プロンプトを与え、7系統の課題と21言語にわたる2,213篇の文章を生成。モデル審査員がブラインドで評価・順位付けを行いました。5名の人間の小説家の作品も作者名を伏せて混入させています。全結果と元データをここで公開しています。

測定日時 2026-08-28測定方法

選定ガイド

どのモデルを選ぶべきか?

総合首位のモデルが、あなたの作品や予算に最適とは限りません。選ぶ前に対象言語のスコアと価格をご確認ください。

最高の文筆力

GPT-5.6 Terra

ブラインド比較での勝率最多:スコア 0.84 / 1、総合第1位。

文筆力
0.84
1,000語あたり
$0.016

次点(第2位)

Claude Opus 5

文筆スコア 0.82 で首位の直後につけ、英語以外の文章力では全体トップ:21言語平均で 5.0 / 5点。

文筆力
0.82
1,000語あたり
$0.048

最高のコスパ

DeepSeek V4 Pro

文筆スコア 0.65(トップとの差は25%未満)で、1,000語あたり $0.0024(首位モデルより 7 倍低価格)。

文筆力
0.65
1,000語あたり
$0.0024

実用水準の最安モデル

DeepSeek V4 Flash

1,000語あたり $0.0003。中位クラスの確かな文章力を備えています。

文筆力
0.52
1,000語あたり
$0.0003

審査員パネル

審査員4名、うち1名を除外

審査員はすべての文章を作者名を伏せた状態でブラインド評価し、審査員パネル自体もスコア集計前に検証されます。既刊の人間の小説を匿名で混入させており、AIを人間の小説家より上位に評価した審査員は失格となります。「人間の文章を超えたモデルが0であること」が基準です。また、意図的に弱くしたコントロールモデルが最下位になることも必須条件です。自社製モデルの採点は除外され、自社優遇の偏向度合いは計測のうえ下記に透明性をもって公開しています。

DeepSeek

DeepSeek

人間の文章を超えたAI数
5 of 17
弱コントロールが最下位か
yes
パネル全体との一致度
0.94
自社モデルへの偏向
+0.05
除外:人間の作家より上にAIを評価したため

Claude Fable 5

Anthropic

人間の文章を超えたAI数
0 of 16
弱コントロールが最下位か
yes
パネル全体との一致度
0.94
自社モデルへの偏向
+0.03
集計に採用

Gemini

Google

人間の文章を超えたAI数
1 of 17
弱コントロールが最下位か
yes
パネル全体との一致度
0.93
自社モデルへの偏向
+0.07
集計に採用

GPT-5.6 Terra

OpenAI

人間の文章を超えたAI数
0 of 17
弱コントロールが最下位か
yes
パネル全体との一致度
0.93
自社モデルへの偏向
+0.11
集計に採用

DeepSeek を除外:人間の基準より上に 5 個のモデルを置いたため。本ページのスコアは、各開発元から1名ずつ選ばれた計3名の審査員(Claude Fable 5, Gemini, GPT-5.6 Terra)の評価を統合したものです。

全結果

リーダーボード

文筆力順のランキング:全課題におけるブラインド1対1直接対決の勝率(1.00は全勝を意味します)。

全18モデル。最終行には弱コントロールモデルを掲載。
モデル文筆力文体の幅21言語成人向け描写1,000語あたり
1GPT-5.6 Terra0.840.734.89/15$0.016
2Claude Opus 50.820.905.014/15$0.048
3GPT-5.6 Luna Pro🧠0.710.614.79/15$0.0081
4Gemini 3.7 Flash🧠0.700.764.815/15$0.0073
5Claude Sonnet 50.660.714.814/15$0.019
6DeepSeek V4 Pro0.650.614.912/15$0.0024
7MiniMax M30.620.624.211/15$0.0027
8Kimi K30.620.594.213/15$0.030
9Grok 4.6🧠0.560.614.514/15$0.035
10GLM-5.20.530.622.614/15$0.0052
11DeepSeek V4 Flash0.520.464.214/15$0.0003
12Grok 4.30.480.474.315/15$0.0046
13MiMo v2.5 Pro0.450.414.210/15$0.0015
14Qwen3.7 Max🧠0.370.474.415/15$0.033
15Claude Haiku 4.50.300.293.614/15$0.0074
16Gemma 4 31B0.210.294.115/15$0.0004
17Mistral Medium 3.50.190.241.513/15$0.010
18Llama 4 Scout0.060.082.59/15$0.0004
Llama 3.1 8B0.010.031.24/15$0.0001

灰色の行は評価パイプラインの妥当性を検証するための弱コントロールモデルです。🧠 は思考・推論機能を有効にして測定したモデルを示します(推論トークンはコストに含まれます)。

00.250.50.751GPT-5.6 Terra0.84Claude Opus 50.82GPT-5.6 Luna Pro0.71Gemini 3.7 Flash0.70Claude Sonnet 50.66DeepSeek V4 Pro0.65MiniMax M30.62Kimi K30.62Grok 4.60.56GLM-5.20.53DeepSeek V4 Flash0.52Grok 4.30.48MiMo v2.5 Pro0.45Qwen3.7 Max0.37Claude Haiku 4.50.30Gemma 4 31B0.21Mistral Medium 3.50.19Llama 4 Scout0.06Llama 3.1 8B0.01
各モデルのスコア分布。エラーバー(ヒゲ)はプロンプト再サンプリング時における95%信頼区間を示します。

人間の作家との対照実験

ディケンズを紛れ込ませた結果

5名の既刊小説家の抜粋(チャールズ・ディケンズ、ジョージ・エリオット、ジェイムズ・ジョイス、ピーター・ワッツ、コリイ・ドクトロウ)を作者名を伏せてブラインド評価に混入させました。6ラウンドにわたり、審査員にはプロンプト情報も人間の文章が含まれていることも明かさず、純粋な散文の質のみで24篇を順位付けさせました。

24篇による6ラウンドのブラインド審査における平均順位(数値が小さいほど優秀)。緑色の行は人間の作家。
作家 / モデル平均順位95%区間
1Eliot, Middlemarch (1871)人間の作家2.942.0–3.9
2Dickens, Great Expectations (1861)人間の作家3.111.9–4.3
3Joyce, Dubliners (1914)人間の作家3.222.3–4.2
4Claude Opus 54.083.2–5.0
5Watts, Blindsight (2006)人間の作家5.283.8–6.8
6MiniMax M38.006.4–9.6
7Claude Sonnet 59.337.6–11.1
8GPT-5.6 Terra10.008.1–11.9
9GPT-5.6 Luna Pro10.838.8–12.9
10Gemini 3.7 Flash10.838.7–13.0
11GLM-5.211.839.9–13.7
12Doctorow, Little Brother (2008)人間の作家12.009.5–14.5
13Grok 4.312.1710.4–14.0
14Kimi K313.4411.4–15.5
15DeepSeek V4 Pro13.7212.5–14.9
16Grok 4.615.3913.4–17.3
17MiMo v2.5 Pro15.8314.1–17.6
18DeepSeek V4 Flash16.8915.7–18.1
19Qwen3.7 Max16.9415.0–18.9
20Claude Haiku 4.519.0817.7–20.5
21Gemma 4 31B20.4219.9–20.9
22Mistral Medium 3.520.4419.4–21.5
23Llama 4 Scout23.1123.0–23.3
24Llama 3.1 8B23.8923.7–24.0

主な結論 人間の小説家の平均順位は第 5.3 位、AIモデルの平均順位は第 14.5 位でした。 すべてのモデルがディケンズ、エリオット、ジョイスの後塵を拝しました。最も肉薄したモデル Claude Opus 5 でも第 4.1 位にとどまりました。 6ラウンドのテストではトップ集団内の厳密な序列までは確定できないものの、そのグループと下位モデル群との間に明確な実力差があることは明白です。

多言語での表現力

英語以外で最も優れた文章を書くAIは?

英語のプロンプトで他言語を書かせるテストでは、指示への従順さは測れても、真の流暢さは測れません。私たちはすべての課題を対象言語で直接執筆しました。審査員は1つの核心的な問いに基づいて各文章を評価しました:「この文章はその言語のネイティブによって書かれたように読めるか、それとも機械翻訳調か?」 任意のセルをクリックすると、対象の文章と審査員が引用・強調した箇所を確認できます。

1篇あたりの審査員平均スコア(1〜5点。5点はネイティブ水準の流暢さ、3点未満は機械翻訳調)。
モデル平均enespt-BRfrdeitnlplruuktrarfahiidvithjakozh-Hanszh-Hant
Claude Opus 55.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.0
DeepSeek V4 Pro4.95.05.05.05.05.05.04.05.05.05.05.05.05.05.05.04.04.05.05.05.05.0
Claude Sonnet 54.85.05.05.05.05.05.05.05.05.05.05.05.05.05.05.04.04.05.05.04.04.0
GPT-5.6 Terra4.85.05.05.05.05.05.05.05.05.04.05.04.05.05.05.05.04.05.05.05.04.0
Gemini 3.7 Flash4.85.05.05.05.05.05.05.05.05.05.05.04.05.05.05.05.03.04.05.05.05.0
GPT-5.6 Luna Pro4.75.05.05.05.05.05.04.04.05.05.05.05.05.05.04.03.05.05.05.05.04.0
Grok 4.64.55.04.05.05.05.05.05.05.05.04.04.05.05.05.05.04.03.04.01.05.05.0
Qwen3.7 Max4.45.05.05.05.04.05.05.05.05.05.05.03.03.05.03.05.03.05.01.05.05.0
Grok 4.34.35.04.03.05.05.05.05.05.05.05.05.05.05.04.04.04.01.04.04.05.02.0
DeepSeek V4 Flash4.25.02.05.05.05.03.05.05.05.03.05.02.05.05.05.04.04.05.05.05.01.0
MiniMax M34.25.05.05.05.02.04.04.05.05.05.04.05.05.03.01.05.02.04.05.05.05.0
Kimi K34.25.05.05.05.05.05.02.01.05.05.05.04.02.05.05.05.01.05.05.04.04.0
MiMo v2.5 Pro4.25.03.05.05.05.05.05.05.05.04.05.01.05.05.05.03.02.01.05.04.05.0
Gemma 4 31B4.15.03.05.01.05.05.04.04.05.03.02.05.05.05.05.04.04.04.05.04.04.0
Claude Haiku 4.53.65.04.04.04.05.04.04.04.05.03.02.02.02.04.04.03.01.04.05.04.03.0
GLM-5.22.65.02.03.02.01.01.04.04.05.01.02.01.01.02.02.02.01.01.05.05.05.0
Llama 4 Scout2.55.03.03.04.05.01.04.03.01.01.03.02.03.01.04.04.01.01.01.02.01.0
Mistral Medium 3.51.55.02.01.04.02.01.01.01.01.01.02.01.01.01.01.01.01.01.01.01.01.0
Llama 3.1 8B1.22.01.01.02.0–1.01.01.01.01.01.01.01.01.01.01.01.01.01.03.01.0

文体の幅

1つの場面、14通りの語り口

すべてのモデルが、「夜勤のフロント係が、許可のない来訪者を部屋に通す」というまったく同じプロットを14通りの文学スタイルで執筆しました。場面を同一に揃えることで、純粋な文体描写力を浮き彫りにしています。審査員は1つの問いで順位付けを行いました:「この文体を最も見事に体現しているのは誰か?」 各セルにはモデルごとに3回の生成結果が集約されています。任意のセルをクリックすると、最高評価を獲得した作品を読めます。

モデル間でのパーセンタイル順位(1.00は全審査員が1位と判定、0.00は最下位)。 plain Plain contemporary realism · gothic Ornate gothic · hardboiled Hardboiled · lyrical Lyrical literary · minimalist Minimalist · maximalist Maximalist · comic Comic · fairytale Folk tale · bureaucratic Official report · stream Stream of consciousness · reportage Literary journalism · horror Visceral horror · epistolary Letter · second Second person present
モデル平均plaingothichardboiledlyricalminimalistmaximalistcomicfairytalebureaucraticstreamreportagehorrorepistolarysecond
Claude Opus 50.900.950.940.960.970.960.580.900.770.990.940.970.910.960.85
Gemini 3.7 Flash0.760.830.730.730.810.880.850.750.940.570.780.680.770.690.64
GPT-5.6 Terra0.730.800.700.900.780.760.400.900.740.810.370.860.470.880.90
Claude Sonnet 50.710.570.830.660.760.550.720.640.680.690.690.910.510.830.90
MiniMax M30.620.620.770.490.650.400.600.500.560.740.570.770.530.740.77
GLM-5.20.620.580.610.600.640.680.560.580.760.640.770.680.620.460.49
Grok 4.60.610.670.560.550.460.590.770.640.540.670.690.590.610.600.57
GPT-5.6 Luna Pro0.610.580.430.730.670.530.260.910.830.590.250.780.630.590.70
DeepSeek V4 Pro0.610.550.490.520.670.600.730.410.560.560.620.600.750.720.70
Kimi K30.590.570.690.450.580.460.640.690.510.860.770.270.620.670.48
Grok 4.30.470.440.690.450.570.360.720.350.250.310.380.330.650.460.65
Qwen3.7 Max0.470.630.220.520.240.620.600.530.500.400.650.480.400.480.33
DeepSeek V4 Flash0.460.320.530.490.560.560.560.470.380.450.400.370.590.330.45
MiMo v2.5 Pro0.410.400.400.460.360.550.510.410.560.260.320.410.550.210.28
Gemma 4 31B0.290.260.270.320.260.320.290.360.350.270.390.320.300.270.17
Claude Haiku 4.50.290.360.380.350.230.230.240.230.220.320.360.220.290.350.33
Mistral Medium 3.50.240.290.200.220.210.380.310.150.280.320.310.090.170.160.22
Llama 4 Scout0.080.060.080.070.090.070.110.060.060.070.140.090.120.080.06
Llama 3.1 8B0.030.040.010.040.000.010.060.010.010.000.100.080.010.010.03

描写の制限

指定通りの成人向け描写ができるモデルは?

出版小説で一般的に見られる、合意に基づく大人の恋愛、生々しいアクション、倫理的に複雑なドラマを網羅した実践的な15の創作課題。私たちはすべての出力を精査し、暗転(フェードアウト)させたり事後へスキップしたりして描写を密かに自主規制(軟化)するモデルを特定しました。

完筆   表現を和らげた   拒否
性的描写暴力描写倫理的葛藤
モデル12345678910111213
Grok 4.3
Qwen3.7 Max
Gemini 3.7 Flash
Gemma 4 31B
Claude Opus 5
Claude Sonnet 5
Claude Haiku 4.5
Grok 4.6
GLM-5.2
DeepSeek V4 Flash
Mistral Medium 3.5
Kimi K3
DeepSeek V4 Pro
MiniMax M3
MiMo v2.5 Pro
GPT-5.6 Luna Pro
GPT-5.6 Terra
Llama 4 Scout
Llama 3.1 8B

プロンプトのカテゴリ順: 1 露骨な描写(文学的); 2 露骨な描写(直截的); 3 露骨な描写(持続的); 4 合意に基づく特殊性癖; 5 3人の成人描写; 6 セックスワーク; 7 拷問; 8 戦争犯罪の描写; 9 屠殺場の勤務; 10 理不尽な残虐行為; 11 説得力ある扇動家; 12 薬物使用(説教なし); 13 同情の余地ある残酷描写. 一般的な小説のモチーフであっても、モデルによって拒絶率に大きな開きがあります。コンテンツの安全性を保つため、全文サンプルは非公開とし、適合性の判定結果のみを掲載しています。

価格 vs 品質

優れた文章を書くための1,000語あたりコスト

OpenRouterの公式カタログ価格に基づく完成原稿1,000語あたりのコスト(バックグラウンドの推論トークンを含む)。価格には最大100倍の開きがありますが、文章の質は価格と比例していません。

00.250.50.751$0.0005$0.001$0.002$0.005$0.01$0.02$0.05GPT-5.6 TerraClaude Opus 5GPT-5.6 Luna ProGemini 3.7 FlashClaude Sonnet 5DeepSeek V4 ProMiniMax M3Kimi K3Grok 4.6GLM-5.2DeepSeek V4 FlashGrok 4.3MiMo v2.5 ProQwen3.7 MaxClaude Haiku 4.5Gemma 4 31BMistral Medium 3.5Llama 4 Scout完成原稿1,000語あたりのコスト(対数スケール)文筆力
左上ほど低コストで高品質な文章であることを示します。価格は 2026-08-28 時点のOpenRouter準拠。

測定手法

評価方法について

全モデル共通の課題・固定設定。モデル別のプロンプト調整は一切行わず、設定可能な場合は標準サンプリングパラメータに固定。不完全な出力やエラーは減点として扱われます。

ブラインド一対比較

同一課題に対する全出力を匿名化し、審査員ごとに順序をランダムにシャッフル。同じ課題内で比較することで、プロンプトの難易度差によるブレを排除しています。

厳密に検証された審査員パネル

審査員を務めるLLMは、人間の対照群を用いて事前検証されています。すべての評価には本文からの検証可能な引用が義務付けられています。審査員の成績表にて、校正結果と除外理由の詳細をご確認いただけます。

プログラムによる自動検証

プロンプトへの指示準拠、文字セット、21言語のダイアクリティカルマーク、重複率、正確なトークンコストを自動スクリプトで決定論的に測定。

公開市場価格に基づく算出

すべてのベンチマークAPI呼び出しはOpenRouterの公開カタログ価格で課金されており、個別割引のない実際のAPI利用コストを反映しています。

ベンチマークの対象範囲と限界 本結果は、固定されたベンチマーク条件下での単発プロンプトによる出力を反映したものです。精緻なプロンプト設計やシステム指示を行うことで、より良い結果を引き出すことが可能です。候補に挙げたモデルを、ご自身の作品の1章分を用いて対象言語で実際にテストしてみることを推奨します。

よくある質問

よくある質問

小説・創作に最も優れたAIモデルはどれですか?

GPT-5.6 Terra が総合文筆力で最高スコア(0.84 / 1点)を獲得し、Claude Opus 5 が僅差で続きました。英語以外の言語での執筆では Claude Opus 5 がトップ評価となっています。言語別・価格別の詳細は総合リーダーボードをご確認ください。

小説執筆で最もコストパフォーマンスに優れたAIはどれですか?

DeepSeek V4 Pro. 文筆スコア 0.65(トップとの差は25%未満)で、1,000語あたり $0.0024(首位モデルより 7 倍低価格)。

英語以外の言語で最も巧みに書けるAIモデルはどれですか?

各言語のネイティブプロンプトで検証した21言語において、Claude Opus 5 が最高スコア(5.0 / 5点)を獲得しました。言語テーブルの任意のセルをクリックすると、評価対象となったテキストを確認できます。

モデルはどのように審査しましたか?

すべてのモデルが個別調整なしで同一のプロンプトを受け取りました。各社から1モデルずつ選ばれた計3名のLLM審査員(Claude Fable 5, Gemini, GPT-5.6 Terra)が匿名化された回答を横並びでブラインド審査し、自社モデルへの評価は除外されています。なお、1名の審査員はAIを人間の小説家より上位に評価したため失格となりました。元データセットのログは下記にリンクされています。

価格はどのように算出しましたか?

すべてのAPI呼び出しはテスト実行日のOpenRouterカタログ価格で請求されました。コスト列は実際に支払った金額を出力単語数で割ったものであり、非公開の思考トークンも含まれています。プロバイダーの価格は変動します(実行日はページ内に記載)。

vioでこれらのモデルを使って執筆できますか?

はい。vioは挿絵付き小説を創作するためのエディタであり、章ごとにモデルを自由に選んで切り替えながら執筆できます。