Лучшая проза
GPT-5.6 Terra
Больше всего побед в слепых сравнениях: 0.84 из 1, первое место в общем зачете.
- мастерство
- 0.84
- за 1000 слов
- $0.016
Бенчмарк прозы vio · v1
Мы дали 18 моделям одинаковые творческие задания: 2,213 отрывков в 7 категориях задач на 21 языке вслепую оценила коллегия ИИ-судей. В общую выборку без пометок добавили отрывки пяти известных писателей. Все результаты и исходные данные собраны здесь.
Дата замера 2026-08-28Как это измеряли
Рекомендации
Лидер общего зачета может не подойти вашей книге или бюджету. Перед выбором проверьте поддержку языков и цены.
Лучшая проза
Больше всего побед в слепых сравнениях: 0.84 из 1, первое место в общем зачете.
Второе место
Мастерство 0.82, сразу за лидером. Лучшая проза не на английском: 5.0 из 5 на 21 языке.
Оптимальный выбор
Мастерство 0.65, в пределах 25% от лидера при цене $0.0024 за 1000 слов (7× дешевле лидера).
Самый доступный выбор
$0.0003 за 1000 слов при уверенном среднем качестве прозы.
Коллегия судей
Судьи оценивают все отрывки вслепую, а сам судейский состав проходит калибровку. В выборку без пометок включены тексты изданных писателей: любой судья, поставивший ИИ выше человека, дисквалифицируется. Базовый ориентир — ноль моделей выше человеческой прозы. Слабая контрольная модель обязана занять последнее место. Судьи не оценивают модели своей лаборатории, а собственная предвзятость лабораторий отслеживается и публикуется ниже.
DeepSeek
Anthropic
OpenAI
DeepSeek дисквалифицирован: поставил 5 моделей выше планки авторов-людей. Оценки на этой странице объединяют решения 3 судей, по одному от каждой лаборатории: Claude Fable 5, Gemini, GPT-5.6 Terra.
Полный рейтинг
Рейтинг по литературному мастерству: доля побед в слепых попарных сравнениях по всем заданиям (1.00 = победа в каждом сравнении).
| модель | мастерство | диапазон стилей | 21 язык | проза 18+ | за 1k слов | |
|---|---|---|---|---|---|---|
| 1 | GPT-5.6 Terra | 0.84 | 0.73 | 4.8 | 9/15 | $0.016 |
| 2 | Claude Opus 5 | 0.82 | 0.90 | 5.0 | 14/15 | $0.048 |
| 3 | GPT-5.6 Luna Pro🧠 | 0.71 | 0.61 | 4.7 | 9/15 | $0.0081 |
| 4 | Gemini 3.7 Flash🧠 | 0.70 | 0.76 | 4.8 | 15/15 | $0.0073 |
| 5 | Claude Sonnet 5 | 0.66 | 0.71 | 4.8 | 14/15 | $0.019 |
| 6 | DeepSeek V4 Pro | 0.65 | 0.61 | 4.9 | 12/15 | $0.0024 |
| 7 | MiniMax M3 | 0.62 | 0.62 | 4.2 | 11/15 | $0.0027 |
| 8 | Kimi K3 | 0.62 | 0.59 | 4.2 | 13/15 | $0.030 |
| 9 | Grok 4.6🧠 | 0.56 | 0.61 | 4.5 | 14/15 | $0.035 |
| 10 | GLM-5.2 | 0.53 | 0.62 | 2.6 | 14/15 | $0.0052 |
| 11 | DeepSeek V4 Flash | 0.52 | 0.46 | 4.2 | 14/15 | $0.0003 |
| 12 | Grok 4.3 | 0.48 | 0.47 | 4.3 | 15/15 | $0.0046 |
| 13 | MiMo v2.5 Pro | 0.45 | 0.41 | 4.2 | 10/15 | $0.0015 |
| 14 | Qwen3.7 Max🧠 | 0.37 | 0.47 | 4.4 | 15/15 | $0.033 |
| 15 | Claude Haiku 4.5 | 0.30 | 0.29 | 3.6 | 14/15 | $0.0074 |
| 16 | Gemma 4 31B | 0.21 | 0.29 | 4.1 | 15/15 | $0.0004 |
| 17 | Mistral Medium 3.5 | 0.19 | 0.24 | 1.5 | 13/15 | $0.010 |
| 18 | Llama 4 Scout | 0.06 | 0.08 | 2.5 | 9/15 | $0.0004 |
| Llama 3.1 8B | 0.01 | 0.03 | 1.2 | 4/15 | $0.0001 |
Серая строка — слабая контрольная модель для проверки валидности теста. 🧠 отмечает модели, протестированные с включенным рассуждением (токены рассуждений включены в стоимость).
Человеческий эталон
Мы добавили в слепой тест неразмеченные отрывки пяти известных писателей: Чарльза Диккенса, Джордж Элиот, Джеймса Джойса, Питера Уоттса и Кори Доктороу. За 6 раундов судьи ранжировали 24 отрывков исключительно по качеству прозы — без контекста заданий и без намека на то, что среди них есть тексты людей.
| автор | среднее место | диапазон 95% | |
|---|---|---|---|
| 1 | Eliot, Middlemarch (1871)человек | 2.94 | 2.0–3.9 |
| 2 | Dickens, Great Expectations (1861)человек | 3.11 | 1.9–4.3 |
| 3 | Joyce, Dubliners (1914)человек | 3.22 | 2.3–4.2 |
| 4 | Claude Opus 5 | 4.08 | 3.2–5.0 |
| 5 | Watts, Blindsight (2006)человек | 5.28 | 3.8–6.8 |
| 6 | MiniMax M3 | 8.00 | 6.4–9.6 |
| 7 | Claude Sonnet 5 | 9.33 | 7.6–11.1 |
| 8 | GPT-5.6 Terra | 10.00 | 8.1–11.9 |
| 9 | GPT-5.6 Luna Pro | 10.83 | 8.8–12.9 |
| 10 | Gemini 3.7 Flash | 10.83 | 8.7–13.0 |
| 11 | GLM-5.2 | 11.83 | 9.9–13.7 |
| 12 | Doctorow, Little Brother (2008)человек | 12.00 | 9.5–14.5 |
| 13 | Grok 4.3 | 12.17 | 10.4–14.0 |
| 14 | Kimi K3 | 13.44 | 11.4–15.5 |
| 15 | DeepSeek V4 Pro | 13.72 | 12.5–14.9 |
| 16 | Grok 4.6 | 15.39 | 13.4–17.3 |
| 17 | MiMo v2.5 Pro | 15.83 | 14.1–17.6 |
| 18 | DeepSeek V4 Flash | 16.89 | 15.7–18.1 |
| 19 | Qwen3.7 Max | 16.94 | 15.0–18.9 |
| 20 | Claude Haiku 4.5 | 19.08 | 17.7–20.5 |
| 21 | Gemma 4 31B | 20.42 | 19.9–20.9 |
| 22 | Mistral Medium 3.5 | 20.44 | 19.4–21.5 |
| 23 | Llama 4 Scout | 23.11 | 23.0–23.3 |
| 24 | Llama 3.1 8B | 23.89 | 23.7–24.0 |
Главный вывод Писатели-люди заняли в среднем 5.3-е место, модели ИИ — 14.5-е. Все модели отстали от Диккенса, Элиот и Джойса; ближе всех подобралась Claude Opus 5 (4.1-е место). Хотя шесть раундов не дают точной расстановки внутри лидирующей группы, качественный разрыв между ней и остальными очевиден.
Мультиязычность
Запрос на английском с просьбой написать на другом языке проверяет послушание, а не владение языком. Мы составили каждое задание на его целевом языке. Судьи оценивали отрывки по главному критерию: звучит ли это естественно или как машинный перевод? Нажмите на любую ячейку, чтобы посмотреть отрывок и цитаты судей.
| модель | среднее | en | es | pt-BR | fr | de | it | nl | pl | ru | uk | tr | ar | fa | hi | id | vi | th | ja | ko | zh-Hans | zh-Hant |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Opus 5 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 |
| DeepSeek V4 Pro | 4.9 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 |
| Claude Sonnet 5 | 4.8 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 5.0 | 4.0 | 4.0 |
| GPT-5.6 Terra | 4.8 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 4.0 |
| Gemini 3.7 Flash | 4.8 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 3.0 | 4.0 | 5.0 | 5.0 | 5.0 |
| GPT-5.6 Luna Pro | 4.7 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 |
| Grok 4.6 | 4.5 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 3.0 | 4.0 | 1.0 | 5.0 | 5.0 |
| Qwen3.7 Max | 4.4 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 3.0 | 3.0 | 5.0 | 3.0 | 5.0 | 3.0 | 5.0 | 1.0 | 5.0 | 5.0 |
| Grok 4.3 | 4.3 | 5.0 | 4.0 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 4.0 | 1.0 | 4.0 | 4.0 | 5.0 | 2.0 |
| DeepSeek V4 Flash | 4.2 | 5.0 | 2.0 | 5.0 | 5.0 | 5.0 | 3.0 | 5.0 | 5.0 | 5.0 | 3.0 | 5.0 | 2.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 5.0 | 5.0 | 1.0 |
| MiniMax M3 | 4.2 | 5.0 | 5.0 | 5.0 | 5.0 | 2.0 | 4.0 | 4.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 5.0 | 3.0 | 1.0 | 5.0 | 2.0 | 4.0 | 5.0 | 5.0 | 5.0 |
| Kimi K3 | 4.2 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 2.0 | 1.0 | 5.0 | 5.0 | 5.0 | 4.0 | 2.0 | 5.0 | 5.0 | 5.0 | 1.0 | 5.0 | 5.0 | 4.0 | 4.0 |
| MiMo v2.5 Pro | 4.2 | 5.0 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 1.0 | 5.0 | 5.0 | 5.0 | 3.0 | 2.0 | 1.0 | 5.0 | 4.0 | 5.0 |
| Gemma 4 31B | 4.1 | 5.0 | 3.0 | 5.0 | 1.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 3.0 | 2.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 4.0 | 5.0 | 4.0 | 4.0 |
| Claude Haiku 4.5 | 3.6 | 5.0 | 4.0 | 4.0 | 4.0 | 5.0 | 4.0 | 4.0 | 4.0 | 5.0 | 3.0 | 2.0 | 2.0 | 2.0 | 4.0 | 4.0 | 3.0 | 1.0 | 4.0 | 5.0 | 4.0 | 3.0 |
| GLM-5.2 | 2.6 | 5.0 | 2.0 | 3.0 | 2.0 | 1.0 | 1.0 | 4.0 | 4.0 | 5.0 | 1.0 | 2.0 | 1.0 | 1.0 | 2.0 | 2.0 | 2.0 | 1.0 | 1.0 | 5.0 | 5.0 | 5.0 |
| Llama 4 Scout | 2.5 | 5.0 | 3.0 | 3.0 | 4.0 | 5.0 | 1.0 | 4.0 | 3.0 | 1.0 | 1.0 | 3.0 | 2.0 | 3.0 | 1.0 | 4.0 | 4.0 | 1.0 | 1.0 | 1.0 | 2.0 | 1.0 |
| Mistral Medium 3.5 | 1.5 | 5.0 | 2.0 | 1.0 | 4.0 | 2.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 2.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 |
| Llama 3.1 8B | 1.2 | 2.0 | 1.0 | 1.0 | 2.0 | – | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 3.0 | 1.0 |
Стилистический диапазон
Все модели написали одну и ту же сцену в 14 разных литературных стилях: ночной портье впускает постороннего в номер. Одинаковый сюжет позволяет оценить именно стилистическое мастерство. Судьи отвечали на один вопрос: кто лучше всех передал этот голос? Каждая ячейка объединяет три генерации модели. Нажмите на любую ячейку, чтобы прочитать лучший отрывок.
| модель | среднее | plain | gothic | hardboiled | lyrical | minimalist | maximalist | comic | fairytale | bureaucratic | stream | reportage | horror | epistolary | second |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Opus 5 | 0.90 | 0.95 | 0.94 | 0.96 | 0.97 | 0.96 | 0.58 | 0.90 | 0.77 | 0.99 | 0.94 | 0.97 | 0.91 | 0.96 | 0.85 |
| Gemini 3.7 Flash | 0.76 | 0.83 | 0.73 | 0.73 | 0.81 | 0.88 | 0.85 | 0.75 | 0.94 | 0.57 | 0.78 | 0.68 | 0.77 | 0.69 | 0.64 |
| GPT-5.6 Terra | 0.73 | 0.80 | 0.70 | 0.90 | 0.78 | 0.76 | 0.40 | 0.90 | 0.74 | 0.81 | 0.37 | 0.86 | 0.47 | 0.88 | 0.90 |
| Claude Sonnet 5 | 0.71 | 0.57 | 0.83 | 0.66 | 0.76 | 0.55 | 0.72 | 0.64 | 0.68 | 0.69 | 0.69 | 0.91 | 0.51 | 0.83 | 0.90 |
| MiniMax M3 | 0.62 | 0.62 | 0.77 | 0.49 | 0.65 | 0.40 | 0.60 | 0.50 | 0.56 | 0.74 | 0.57 | 0.77 | 0.53 | 0.74 | 0.77 |
| GLM-5.2 | 0.62 | 0.58 | 0.61 | 0.60 | 0.64 | 0.68 | 0.56 | 0.58 | 0.76 | 0.64 | 0.77 | 0.68 | 0.62 | 0.46 | 0.49 |
| Grok 4.6 | 0.61 | 0.67 | 0.56 | 0.55 | 0.46 | 0.59 | 0.77 | 0.64 | 0.54 | 0.67 | 0.69 | 0.59 | 0.61 | 0.60 | 0.57 |
| GPT-5.6 Luna Pro | 0.61 | 0.58 | 0.43 | 0.73 | 0.67 | 0.53 | 0.26 | 0.91 | 0.83 | 0.59 | 0.25 | 0.78 | 0.63 | 0.59 | 0.70 |
| DeepSeek V4 Pro | 0.61 | 0.55 | 0.49 | 0.52 | 0.67 | 0.60 | 0.73 | 0.41 | 0.56 | 0.56 | 0.62 | 0.60 | 0.75 | 0.72 | 0.70 |
| Kimi K3 | 0.59 | 0.57 | 0.69 | 0.45 | 0.58 | 0.46 | 0.64 | 0.69 | 0.51 | 0.86 | 0.77 | 0.27 | 0.62 | 0.67 | 0.48 |
| Grok 4.3 | 0.47 | 0.44 | 0.69 | 0.45 | 0.57 | 0.36 | 0.72 | 0.35 | 0.25 | 0.31 | 0.38 | 0.33 | 0.65 | 0.46 | 0.65 |
| Qwen3.7 Max | 0.47 | 0.63 | 0.22 | 0.52 | 0.24 | 0.62 | 0.60 | 0.53 | 0.50 | 0.40 | 0.65 | 0.48 | 0.40 | 0.48 | 0.33 |
| DeepSeek V4 Flash | 0.46 | 0.32 | 0.53 | 0.49 | 0.56 | 0.56 | 0.56 | 0.47 | 0.38 | 0.45 | 0.40 | 0.37 | 0.59 | 0.33 | 0.45 |
| MiMo v2.5 Pro | 0.41 | 0.40 | 0.40 | 0.46 | 0.36 | 0.55 | 0.51 | 0.41 | 0.56 | 0.26 | 0.32 | 0.41 | 0.55 | 0.21 | 0.28 |
| Gemma 4 31B | 0.29 | 0.26 | 0.27 | 0.32 | 0.26 | 0.32 | 0.29 | 0.36 | 0.35 | 0.27 | 0.39 | 0.32 | 0.30 | 0.27 | 0.17 |
| Claude Haiku 4.5 | 0.29 | 0.36 | 0.38 | 0.35 | 0.23 | 0.23 | 0.24 | 0.23 | 0.22 | 0.32 | 0.36 | 0.22 | 0.29 | 0.35 | 0.33 |
| Mistral Medium 3.5 | 0.24 | 0.29 | 0.20 | 0.22 | 0.21 | 0.38 | 0.31 | 0.15 | 0.28 | 0.32 | 0.31 | 0.09 | 0.17 | 0.16 | 0.22 |
| Llama 4 Scout | 0.08 | 0.06 | 0.08 | 0.07 | 0.09 | 0.07 | 0.11 | 0.06 | 0.06 | 0.07 | 0.14 | 0.09 | 0.12 | 0.08 | 0.06 |
| Llama 3.1 8B | 0.03 | 0.04 | 0.01 | 0.04 | 0.00 | 0.01 | 0.06 | 0.01 | 0.01 | 0.00 | 0.10 | 0.08 | 0.01 | 0.01 | 0.03 |
Контентные ограничения
15 реалистичных писательских заданий: романтические сцены 18+ по согласию, жесткий экшен и сложная моральная драма, типичная для современной литературы. Мы проверили каждый ответ, чтобы выявить модели, которые скрыто цензурируют сцены — уходят в затемнение или перескакивают к последствиям.
| откровенность | насилие | мораль | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| модель | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| Grok 4.3 | |||||||||||||
| Qwen3.7 Max | |||||||||||||
| Gemini 3.7 Flash | |||||||||||||
| Gemma 4 31B | |||||||||||||
| Claude Opus 5 | |||||||||||||
| Claude Sonnet 5 | |||||||||||||
| Claude Haiku 4.5 | |||||||||||||
| Grok 4.6 | |||||||||||||
| GLM-5.2 | |||||||||||||
| DeepSeek V4 Flash | |||||||||||||
| Mistral Medium 3.5 | |||||||||||||
| Kimi K3 | |||||||||||||
| DeepSeek V4 Pro | |||||||||||||
| MiniMax M3 | |||||||||||||
| MiMo v2.5 Pro | |||||||||||||
| GPT-5.6 Luna Pro | |||||||||||||
| GPT-5.6 Terra | |||||||||||||
| Llama 4 Scout | |||||||||||||
| Llama 3.1 8B | |||||||||||||
Категории заданий по порядку: 1 откровенно, литературный стиль; 2 откровенно, прямолинейно; 3 откровенно, развернутая сцена; 4 кинк по согласию; 5 трое взрослых; 6 секс-работа; 7 пытки; 8 военное преступление; 9 смена на скотобойне; 10 жестокость с наслаждением; 11 убедительный демагог; 12 употребление веществ без морализаторства; 13 жестокость, с сочувствием. Частота отказов сильно различается даже в стандартных литературных тропах. В целях безопасности полные тексты скрыты — показаны только вердикты.
Цена и качество
Стоимость 1000 слов готового текста по тарифам каталога OpenRouter на дату замера, включая скрытые токены рассуждений. Разница в ценах достигает 100 раз, но качество прозы не зависит от цены.
Методология
Одинаковые задания, фиксированные настройки, без индивидуальной подгонки промптов под модели, стандартные параметры сэмплинга. Неполные или неудачные генерации засчитываются в минус модели.
Все ответы на задание анонимизируются и перемешиваются для каждого судьи. Оценка внутри одного задания исключает влияние разницы в сложности промптов.
В роли судей выступают LLM, прошедшие проверку на человеческих текстах. Каждая оценка подкрепляется цитатой из текста. Карточка коллегии содержит детали калибровки и дисквалификаций.
Детерминированные скрипты проверяют следование инструкциям, наборы символов, диакритику в 21 языке, повторы и точный расход токенов.
Все вызовы тарифицировались через OpenRouter по публичным каталожным ценам, отражая реальные расходы на API без специальных скидок.
Масштаб и ограничения бенчмарка Результаты отражают разовые генерации в фиксированных условиях теста. Продуманный промпт-инжиниринг и системные инструкции дадут более высокий результат. Мы рекомендуем протестировать выбранные модели на главе вашей собственной книги на нужном языке.
FAQ
GPT-5.6 Terra показала наивысший общий балл за мастерство (0.84 из 1), за ней с минимальным отрывом идет Claude Opus 5. Для текстов не на английском языке лучший результат у Claude Opus 5. Подробную разбивку по языкам и ценам смотрите в полной таблице лидеров.
DeepSeek V4 Pro. Мастерство 0.65, в пределах 25% от лидера при цене $0.0024 за 1000 слов (7× дешевле лидера).
Claude Opus 5 набрала наивысший балл (5.0 из 5) по 21 языку при тестировании с нативными промптами. Нажмите на любую ячейку в таблице языков, чтобы оценить текст генерации.
Все модели получили идентичные задания без специальной подгонки. Коллегия из 3 судей-LLM (по одной от каждой лаборатории: Claude Fable 5, Gemini, GPT-5.6 Terra) оценивала анонимизированные ответы бок о бок, исключая самооценку. Один судья был дисквалифицирован за то, что поставил ИИ выше писателей-людей. Ссылки на исходные данные приведены ниже.
Расчет основан на публичных ценах OpenRouter на дату замера: общая сумма за токены (включая токены рассуждений) делится на количество сгенерированных слов.
Да. vio — это редактор для иллюстрированной художественной прозы, в котором можно свободно выбирать и менять модели от главы к главе.