Бенчмарк прози vio · v1

Який ШІ пише найкращу художню прозу?

Ми дали 18 моделям однакові творчі завдання: 2,213 уривків у 7 категоріях на 21 мові. Колегія моделей-суддів оцінювала їх наосліп. До вибірки без підписів додали уривки творів п'яти відомих романістів. Усі результати та первинні дані зібрано тут.

Дата тестування 2026-08-28Як проводилися вимірювання

Рекомендації

Яку модель обрати?

Абсолютний лідер може не підійти вашій книзі або бюджету. Перед вибором перевірте підтримку мов і ціни.

Найкраща проза

GPT-5.6 Terra

Найбільше перемог у сліпих порівняннях: 0.84 з 1, перше місце в загальному заліку.

майстерність
0.84
за 1000 слів
$0.016

Друге місце

Claude Opus 5

Майстерність 0.82, одразу за лідером. Найкраща проза не англійською: 5.0 з 5 у 21 мові.

майстерність
0.82
за 1000 слів
$0.048

Оптимальний вибір

DeepSeek V4 Pro

Майстерність 0.65, у межах 25% від лідера за ціни $0.0024 за 1000 слів (7× дешевше за лідера).

майстерність
0.65
за 1000 слів
$0.0024

Найдешевший робочий варіант

DeepSeek V4 Flash

$0.0003 за 1000 слів із впевненою якістю прози на рівні середини таблиці.

майстерність
0.52
за 1000 слів
$0.0003

Колегія суддів

4 суддів, 1 дискваліфіковано

Судді оцінюють кожен уривок наосліп, а склад колегії проходить валідацію. До вибірки без підписів додано уривки з виданих творів: будь-який суддя, що ставить ШІ вище за романістів-людей, дискваліфікується. Базовий орієнтир — нуль моделей вище за людську прозу. Слабка контрольна модель також має посісти останнє місце. Судді не оцінюють моделі власних розробників, а упередженість лабораторій відстежується та публікується нижче.

DeepSeek

DeepSeek

моделей вище за людину
5 of 17
слабкий контроль на останньому місці
yes
узгодженість із колегією
0.94
упередженість до своєї лабораторії
+0.05
дискваліфіковано: поставив моделі вище за авторів-людей

Claude Fable 5

Anthropic

моделей вище за людину
0 of 16
слабкий контроль на останньому місці
yes
узгодженість із колегією
0.94
упередженість до своєї лабораторії
+0.03
оцінки враховано

Gemini

Google

моделей вище за людину
1 of 17
слабкий контроль на останньому місці
yes
узгодженість із колегією
0.93
упередженість до своєї лабораторії
+0.07
оцінки враховано

GPT-5.6 Terra

OpenAI

моделей вище за людину
0 of 17
слабкий контроль на останньому місці
yes
узгодженість із колегією
0.93
упередженість до своєї лабораторії
+0.11
оцінки враховано

DeepSeek дискваліфіковано: поставив 5 моделей вище за планку авторів-людей. Оцінки на цій сторінці об'єднують рішення 3 суддів, по одному від кожної лабораторії: Claude Fable 5, Gemini, GPT-5.6 Terra.

Повний рейтинг

Таблиця лідерів

Рейтинг за літературною майстерністю: частка перемог у сліпих попарних порівняннях в усіх завданнях (1.00 = перемога в кожному порівнянні).

Усі 18 моделей плюс слабка контрольна модель в останньому рядку.
модельмайстерністьдіапазон стилів21 мовапроза 18+за 1 тис. слів
1GPT-5.6 Terra0.840.734.89/15$0.016
2Claude Opus 50.820.905.014/15$0.048
3GPT-5.6 Luna Pro🧠0.710.614.79/15$0.0081
4Gemini 3.7 Flash🧠0.700.764.815/15$0.0073
5Claude Sonnet 50.660.714.814/15$0.019
6DeepSeek V4 Pro0.650.614.912/15$0.0024
7MiniMax M30.620.624.211/15$0.0027
8Kimi K30.620.594.213/15$0.030
9Grok 4.6🧠0.560.614.514/15$0.035
10GLM-5.20.530.622.614/15$0.0052
11DeepSeek V4 Flash0.520.464.214/15$0.0003
12Grok 4.30.480.474.315/15$0.0046
13MiMo v2.5 Pro0.450.414.210/15$0.0015
14Qwen3.7 Max🧠0.370.474.415/15$0.033
15Claude Haiku 4.50.300.293.614/15$0.0074
16Gemma 4 31B0.210.294.115/15$0.0004
17Mistral Medium 3.50.190.241.513/15$0.010
18Llama 4 Scout0.060.082.59/15$0.0004
Llama 3.1 8B0.010.031.24/15$0.0001

Сірий рядок — слабка контрольна модель для перевірки надійності оцінювання. 🧠 позначає моделі, протестовані з увімкненим міркуванням (токени міркувань враховано у вартості).

00.250.50.751GPT-5.6 Terra0.84Claude Opus 50.82GPT-5.6 Luna Pro0.71Gemini 3.7 Flash0.70Claude Sonnet 50.66DeepSeek V4 Pro0.65MiniMax M30.62Kimi K30.62Grok 4.60.56GLM-5.20.53DeepSeek V4 Flash0.52Grok 4.30.48MiMo v2.5 Pro0.45Qwen3.7 Max0.37Claude Haiku 4.50.30Gemma 4 31B0.21Mistral Medium 3.50.19Llama 4 Scout0.06Llama 3.1 8B0.01
Розподіл балів серед моделей. «Вуса» позначають 95% довірчий інтервал при повторній вибірці завдань.

Людський еталон

Ми сховали Дікенса серед текстів ШІ

Ми додали до сліпого тесту непідписані уривки творів п'яти відомих авторів: Чарльза Дікенса, Джордж Еліот, Джеймса Джойса, Пітера Воттса та Корі Доктороу. Протягом 6 раундів судді ранжували 24 уривків виключно за якістю прози — без контексту завдань і без жодного натяку на присутність текстів людей.

Середнє місце за шість сліпих раундів по 24 тексти (що нижче, то краще). Зелені рядки — письменники-люди.
авторсереднє місцедіапазон 95%
1Eliot, Middlemarch (1871)людина2.942.0–3.9
2Dickens, Great Expectations (1861)людина3.111.9–4.3
3Joyce, Dubliners (1914)людина3.222.3–4.2
4Claude Opus 54.083.2–5.0
5Watts, Blindsight (2006)людина5.283.8–6.8
6MiniMax M38.006.4–9.6
7Claude Sonnet 59.337.6–11.1
8GPT-5.6 Terra10.008.1–11.9
9GPT-5.6 Luna Pro10.838.8–12.9
10Gemini 3.7 Flash10.838.7–13.0
11GLM-5.211.839.9–13.7
12Doctorow, Little Brother (2008)людина12.009.5–14.5
13Grok 4.312.1710.4–14.0
14Kimi K313.4411.4–15.5
15DeepSeek V4 Pro13.7212.5–14.9
16Grok 4.615.3913.4–17.3
17MiMo v2.5 Pro15.8314.1–17.6
18DeepSeek V4 Flash16.8915.7–18.1
19Qwen3.7 Max16.9415.0–18.9
20Claude Haiku 4.519.0817.7–20.5
21Gemma 4 31B20.4219.9–20.9
22Mistral Medium 3.520.4419.4–21.5
23Llama 4 Scout23.1123.0–23.3
24Llama 3.1 8B23.8923.7–24.0

Головний висновок Романісти-люди посіли в середньому 5.3-е місце, моделі ШІ — 14.5-е. Усі моделі поступилися Дікенсу, Еліот і Джойсу; найближче підібралася Claude Opus 5 із середнім місцем 4.1. Хоча шість раундів не визначають точний порядок усередині групи лідерів, якісний розрив між нею та рештою очевидний.

Багатомовна проза

Який ШІ найкраще пише не англійською?

Завдання англійською з проханням відповісти іншою мовою перевіряє слухняність, а не мовну майстерність. Ми склали кожне завдання безпосередньо його цільовою мовою. Судді оцінювали кожен уривок за головним питанням: чи звучить цей текст природно, чи як машинний переклад? Натисніть на будь-яку клітинку, щоб переглянути уривок та цитати суддів.

Середня оцінка суддів від 1 до 5 за уривок (5 = природне звучання, нижче 3 = відчуття машинного перекладу).
модельсереднєenespt-BRfrdeitnlplruuktrarfahiidvithjakozh-Hanszh-Hant
Claude Opus 55.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.0
DeepSeek V4 Pro4.95.05.05.05.05.05.04.05.05.05.05.05.05.05.05.04.04.05.05.05.05.0
Claude Sonnet 54.85.05.05.05.05.05.05.05.05.05.05.05.05.05.05.04.04.05.05.04.04.0
GPT-5.6 Terra4.85.05.05.05.05.05.05.05.05.04.05.04.05.05.05.05.04.05.05.05.04.0
Gemini 3.7 Flash4.85.05.05.05.05.05.05.05.05.05.05.04.05.05.05.05.03.04.05.05.05.0
GPT-5.6 Luna Pro4.75.05.05.05.05.05.04.04.05.05.05.05.05.05.04.03.05.05.05.05.04.0
Grok 4.64.55.04.05.05.05.05.05.05.05.04.04.05.05.05.05.04.03.04.01.05.05.0
Qwen3.7 Max4.45.05.05.05.04.05.05.05.05.05.05.03.03.05.03.05.03.05.01.05.05.0
Grok 4.34.35.04.03.05.05.05.05.05.05.05.05.05.05.04.04.04.01.04.04.05.02.0
DeepSeek V4 Flash4.25.02.05.05.05.03.05.05.05.03.05.02.05.05.05.04.04.05.05.05.01.0
MiniMax M34.25.05.05.05.02.04.04.05.05.05.04.05.05.03.01.05.02.04.05.05.05.0
Kimi K34.25.05.05.05.05.05.02.01.05.05.05.04.02.05.05.05.01.05.05.04.04.0
MiMo v2.5 Pro4.25.03.05.05.05.05.05.05.05.04.05.01.05.05.05.03.02.01.05.04.05.0
Gemma 4 31B4.15.03.05.01.05.05.04.04.05.03.02.05.05.05.05.04.04.04.05.04.04.0
Claude Haiku 4.53.65.04.04.04.05.04.04.04.05.03.02.02.02.04.04.03.01.04.05.04.03.0
GLM-5.22.65.02.03.02.01.01.04.04.05.01.02.01.01.02.02.02.01.01.05.05.05.0
Llama 4 Scout2.55.03.03.04.05.01.04.03.01.01.03.02.03.01.04.04.01.01.01.02.01.0
Mistral Medium 3.51.55.02.01.04.02.01.01.01.01.01.02.01.01.01.01.01.01.01.01.01.01.0
Llama 3.1 8B1.22.01.01.02.0–1.01.01.01.01.01.01.01.01.01.01.01.01.01.03.01.0

Стилістичний діапазон

Одна сцена, чотирнадцять голосів

Усі моделі написали одну й ту саму сцену в 14 різних літературних регістрах: нічний портьє впускає стороннього до номера. Однаковий сюжет дозволяє оцінити саме стилістичну майстерність. Судді ранжували уривки за одним критерієм: хто найкраще відтворює цей голос? Кожна клітинка об'єднує три генерації моделі. Натисніть на будь-яку клітинку, щоб прочитати уривок-переможець.

Процентиль серед моделей (1.00 = перше місце в усіх суддів, 0.00 = останнє місце). plain Plain contemporary realism · gothic Ornate gothic · hardboiled Hardboiled · lyrical Lyrical literary · minimalist Minimalist · maximalist Maximalist · comic Comic · fairytale Folk tale · bureaucratic Official report · stream Stream of consciousness · reportage Literary journalism · horror Visceral horror · epistolary Letter · second Second person present
модельсереднєplaingothichardboiledlyricalminimalistmaximalistcomicfairytalebureaucraticstreamreportagehorrorepistolarysecond
Claude Opus 50.900.950.940.960.970.960.580.900.770.990.940.970.910.960.85
Gemini 3.7 Flash0.760.830.730.730.810.880.850.750.940.570.780.680.770.690.64
GPT-5.6 Terra0.730.800.700.900.780.760.400.900.740.810.370.860.470.880.90
Claude Sonnet 50.710.570.830.660.760.550.720.640.680.690.690.910.510.830.90
MiniMax M30.620.620.770.490.650.400.600.500.560.740.570.770.530.740.77
GLM-5.20.620.580.610.600.640.680.560.580.760.640.770.680.620.460.49
Grok 4.60.610.670.560.550.460.590.770.640.540.670.690.590.610.600.57
GPT-5.6 Luna Pro0.610.580.430.730.670.530.260.910.830.590.250.780.630.590.70
DeepSeek V4 Pro0.610.550.490.520.670.600.730.410.560.560.620.600.750.720.70
Kimi K30.590.570.690.450.580.460.640.690.510.860.770.270.620.670.48
Grok 4.30.470.440.690.450.570.360.720.350.250.310.380.330.650.460.65
Qwen3.7 Max0.470.630.220.520.240.620.600.530.500.400.650.480.400.480.33
DeepSeek V4 Flash0.460.320.530.490.560.560.560.470.380.450.400.370.590.330.45
MiMo v2.5 Pro0.410.400.400.460.360.550.510.410.560.260.320.410.550.210.28
Gemma 4 31B0.290.260.270.320.260.320.290.360.350.270.390.320.300.270.17
Claude Haiku 4.50.290.360.380.350.230.230.240.230.220.320.360.220.290.350.33
Mistral Medium 3.50.240.290.200.220.210.380.310.150.280.320.310.090.170.160.22
Llama 4 Scout0.080.060.080.070.090.070.110.060.060.070.140.090.120.080.06
Llama 3.1 8B0.030.040.010.040.000.010.060.010.010.000.100.080.010.010.03

Контентні межі

Які моделі пишуть сцени для дорослих без цензури?

15 реалістичних творчих завдань: романтичні сцени 18+ за згодою, реалістичний екшен та психологічно складна драма, характерна для сучасної літератури. Ми перевірили кожну відповідь, щоб виявити моделі, які приховано цензурують сцени — роблять затемнення або перескакують до наслідків.

виконано   пом'якшено   відмова
відвертістьнасильствомораль
модель12345678910111213
Grok 4.3
Qwen3.7 Max
Gemini 3.7 Flash
Gemma 4 31B
Claude Opus 5
Claude Sonnet 5
Claude Haiku 4.5
Grok 4.6
GLM-5.2
DeepSeek V4 Flash
Mistral Medium 3.5
Kimi K3
DeepSeek V4 Pro
MiniMax M3
MiMo v2.5 Pro
GPT-5.6 Luna Pro
GPT-5.6 Terra
Llama 4 Scout
Llama 3.1 8B

Категорії завдань за порядком: 1 відверті сцени, літературний стиль; 2 відверті сцени, прямолінійний стиль; 3 відверті сцени, розгорнутий опис; 4 кінк за згодою; 5 троє дорослих; 6 секс-робота; 7 тортури; 8 воєнний злочин; 9 зміна на бійні; 10 жорстокість із задоволенням; 11 переконливий демагог; 12 вживання речовин, без моралізаторства; 13 жорстокість, зі співчуттям. Частота відмов суттєво різниться навіть у стандартних художніх тропах. Задля безпеки повні тексти приховано — відображаються лише вердикти.

Ціна та якість

Скільки коштує якість за 1000 слів

Вартість 1000 слів готової прози за каталожними тарифами OpenRouter на день тесту, включно з прихованими токенами міркувань. Ціни різняться до 100 разів, але якість прози не корелює з ціною.

00.250.50.751$0.0005$0.001$0.002$0.005$0.01$0.02$0.05GPT-5.6 TerraClaude Opus 5GPT-5.6 Luna ProGemini 3.7 FlashClaude Sonnet 5DeepSeek V4 ProMiniMax M3Kimi K3Grok 4.6GLM-5.2DeepSeek V4 FlashGrok 4.3MiMo v2.5 ProQwen3.7 MaxClaude Haiku 4.5Gemma 4 31BMistral Medium 3.5Llama 4 Scoutвартість 1000 слів готової прози (лог. шкала)майстерність
Вище і лівіше означає кращу прозу за меншу ціну. Тарифи OpenRouter станом на 2026-08-28.

Методологія

Як проводилися вимірювання

Однакові завдання, фіксовані налаштування, жодної індивідуальної оптимізації промптів під моделі, стандартне семплювання. Неповні або обірвані генерації зараховуються в мінус моделі.

Сліпе попарне порівняння

Усі відповіді на завдання анонімізуються та випадковим чином перемішуються для кожного судді. Порівняння в межах одного завдання усуває різницю в складності промптів.

Калібрована колегія суддів

Суддями виступають LLM, валідовані на текстах класиків. Кожна оцінка потребує підтвердження цитатами з тексту. Картка колегії містить деталі калібрування та дискваліфікацій.

Автоматична валідація

Детерміновані скрипти перевіряють дотримання інструкцій, набори символів, діакритику в 21 мові, повтори та точні витрати токенів.

Ринкові ціни

Усі запити тарифікувалися через OpenRouter за публічними каталожними цінами без спеціальних знижок, відображаючи реальні витрати на API.

Межі та обмеження бенчмарку Ці результати отримані на разових запитах у фіксованих умовах тесту. Продуманий промпт-інжиніринг та системні інструкції дадуть значно вищі результати. Рекомендуємо протестувати відібрані моделі на розділі власної книги цільовою мовою.

FAQ

Поширені запитання

Яка модель ШІ найкраще підходить для художньої прози?

GPT-5.6 Terra показала найвищий загальний бал майстерності (0.84 з 1), за нею впритул іде Claude Opus 5. Для написання текстів іншими мовами, крім англійської, найкращий результат у Claude Opus 5. Ознайомтеся з повною таблицею лідерів для порівняння за мовами та цінами.

Який ШІ найбільш вигідний для написання художніх текстів?

DeepSeek V4 Pro. Майстерність 0.65, у межах 25% від лідера за ціни $0.0024 за 1000 слів (7× дешевше за лідера).

Яка модель ШІ найкраще пише не англійською?

Claude Opus 5 отримала найвищий бал (5.0 з 5) серед 21 мови за результатами тестування нативними промптами. Натисніть на будь-яку клітинку в мовній таблиці, щоб переглянути оцінений текст.

Як проводився цей бенчмарк?

Усі моделі отримали ідентичні завдання без спеціальної адаптації. Колегія з 3 суддів-LLM (по одному від кожної лабораторії: Claude Fable 5, Gemini, GPT-5.6 Terra) оцінювала анонімні відповіді пліч-о-пліч без самооцінювання. Одного суддю було дискваліфіковано за те, що він поставив ШІ вище за авторів-людей. Посилання на первинні дані наведено нижче.

Як розраховувалася вартість?

Витрати розраховано за публічними цінами OpenRouter на дату тесту: загальна вартість використаних токенів (включно з токенами міркувань) ділиться на кількість згенерованих слів.

Чи можна писати з цими моделями у vio?

Так. vio — це редактор для написання ілюстрованої прози, де ви можете вільно обирати та змінювати моделі між розділами.