Le banc d'essai de prose de vio · v1

Quelle IA écrit la meilleure fiction ?

Nous avons soumis les mêmes consignes narratives à 18 modèles : 2,213 extraits sur 7 types de tâches et 21 langues, classés à l'aveugle par des modèles juges. Des extraits de cinq romanciers humains ont été glissés dans le lot sans étiquette. Tous les résultats et données brutes sont ici.

Session enregistrée 2026-08-28Méthode d'évaluation

Recommandations

Quel modèle choisir ?

Le premier du classement ne correspond pas forcément à votre livre ou à votre budget. Vérifiez la prise en charge des langues et les tarifs avant de choisir.

Meilleure prose

GPT-5.6 Terra

A remporté le plus de comparaisons à l'aveugle : 0.84 sur 1, premier au classement général.

qualité de prose: 0.84
les 1 000 mots: $0.016

Deuxième place

Claude Opus 5

Score de style 0.82, juste derrière le premier, avec la meilleure prose hors anglais : 5.0 sur 5 dans 21 langues.

qualité de prose: 0.82
les 1 000 mots: $0.048

Meilleur rapport qualité-prix

DeepSeek V4 Pro

Score de style 0.65, à moins de 25 % du meilleur score pour $0.0024 les 1 000 mots (7× moins cher que le leader).

qualité de prose: 0.65
les 1 000 mots: $0.0024

Le moins cher qui tient la route

DeepSeek V4 Flash

$0.0003 les 1 000 mots avec une qualité de prose solide en milieu de tableau.

qualité de prose: 0.52
les 1 000 mots: $0.0003

Comité d'évaluation

4 juges, 1 écartés

Les juges lisent chaque extrait à l'aveugle et le comité est validé avant la prise en compte des scores. Nous intégrons de la fiction humaine publiée sans étiquette : tout juge qui classe les machines au-dessus des romanciers humains est disqualifié. Zéro modèle au-dessus de la prose humaine est la référence de base. Un modèle de contrôle faible doit également finir dernier. Aucun juge n'évalue les modèles de son propre créateur, et le biais pro-laboratoire est mesuré et publié ci-dessous.

DeepSeek

modèles devant la prose humaine: 5 of 17
contrôle faible classé dernier: yes
accord avec le jury: 0.94
biais pro-créateur: +0.05

exclu : a classé des modèles devant des auteurs humains

Claude Fable 5

Anthropic

modèles devant la prose humaine: 0 of 16
contrôle faible classé dernier: yes
accord avec le jury: 0.94
biais pro-créateur: +0.03

scores validés

Gemini

Google

modèles devant la prose humaine: 1 of 17
contrôle faible classé dernier: yes
accord avec le jury: 0.93
biais pro-créateur: +0.07

scores validés

GPT-5.6 Terra

OpenAI

modèles devant la prose humaine: 0 of 17
contrôle faible classé dernier: yes
accord avec le jury: 0.93
biais pro-créateur: +0.11

scores validés

DeepSeek exclu : a placé 5 modèles au-dessus de la référence humaine. Les scores de cette page combinent 3 juges, un par laboratoire : Claude Fable 5, Gemini, GPT-5.6 Terra.

Classement complet

Le classement

Classés selon la qualité de prose : taux de victoire lors des confrontations directes à l'aveugle sur l'ensemble des consignes (1,00 = a remporté toutes les comparaisons).

Les 18 modèles, plus un modèle de contrôle faible sur la dernière ligne.
	modèle	qualité de prose	variété des registres	21 langues	fiction adulte	pour 1k mots
1	GPT-5.6 Terra	0.84	0.73	4.8	9/15	$0.016
2	Claude Opus 5	0.82	0.90	5.0	14/15	$0.048
3	GPT-5.6 Luna Pro🧠	0.71	0.61	4.7	9/15	$0.0081
4	Gemini 3.7 Flash🧠	0.70	0.76	4.8	15/15	$0.0073
5	Claude Sonnet 5	0.66	0.71	4.8	14/15	$0.019
6	DeepSeek V4 Pro	0.65	0.61	4.9	12/15	$0.0024
7	MiniMax M3	0.62	0.62	4.2	11/15	$0.0027
8	Kimi K3	0.62	0.59	4.2	13/15	$0.030
9	Grok 4.6🧠	0.56	0.61	4.5	14/15	$0.035
10	GLM-5.2	0.53	0.62	2.6	14/15	$0.0052
11	DeepSeek V4 Flash	0.52	0.46	4.2	14/15	$0.0003
12	Grok 4.3	0.48	0.47	4.3	15/15	$0.0046
13	MiMo v2.5 Pro	0.45	0.41	4.2	10/15	$0.0015
14	Qwen3.7 Max🧠	0.37	0.47	4.4	15/15	$0.033
15	Claude Haiku 4.5	0.30	0.29	3.6	14/15	$0.0074
16	Gemma 4 31B	0.21	0.29	4.1	15/15	$0.0004
17	Mistral Medium 3.5	0.19	0.24	1.5	13/15	$0.010
18	Llama 4 Scout	0.06	0.08	2.5	9/15	$0.0004
	Llama 3.1 8B	0.01	0.03	1.2	4/15	$0.0001

La ligne grisée correspond à un modèle de contrôle faible destiné à vérifier la chaîne d'évaluation. 🧠 indique les modèles testés avec raisonnement activé (les tokens de raisonnement sont inclus dans le coût).

Distribution des scores selon les modèles. Les barres indiquent l'intervalle de confiance à 95 % lors du rééchantillonnage des consignes.

Référence humaine

Nous avons glissé Dickens dans le lot

Nous avons intégré des extraits non étiquetés de cinq romanciers publiés dans l'évaluation à l'aveugle : Charles Dickens, George Eliot, James Joyce, Peter Watts et Cory Doctorow. Sur 6 tours, les juges ont classé 24 extraits uniquement sur la qualité de la prose, sans contexte de prompt et sans savoir que des textes humains étaient inclus.

Rang moyen sur six tours à l'aveugle de 24 extraits (le plus bas est le meilleur). Les lignes vertes indiquent les auteurs humains.
	auteur	rang moyen	intervalle à 95 %
1	Eliot, Middlemarch (1871)humain	2.94	2.0–3.9
2	Dickens, Great Expectations (1861)humain	3.11	1.9–4.3
3	Joyce, Dubliners (1914)humain	3.22	2.3–4.2
4	Claude Opus 5	4.08	3.2–5.0
5	Watts, Blindsight (2006)humain	5.28	3.8–6.8
6	MiniMax M3	8.00	6.4–9.6
7	Claude Sonnet 5	9.33	7.6–11.1
8	GPT-5.6 Terra	10.00	8.1–11.9
9	GPT-5.6 Luna Pro	10.83	8.8–12.9
10	Gemini 3.7 Flash	10.83	8.7–13.0
11	GLM-5.2	11.83	9.9–13.7
12	Doctorow, Little Brother (2008)humain	12.00	9.5–14.5
13	Grok 4.3	12.17	10.4–14.0
14	Kimi K3	13.44	11.4–15.5
15	DeepSeek V4 Pro	13.72	12.5–14.9
16	Grok 4.6	15.39	13.4–17.3
17	MiMo v2.5 Pro	15.83	14.1–17.6
18	DeepSeek V4 Flash	16.89	15.7–18.1
19	Qwen3.7 Max	16.94	15.0–18.9
20	Claude Haiku 4.5	19.08	17.7–20.5
21	Gemma 4 31B	20.42	19.9–20.9
22	Mistral Medium 3.5	20.44	19.4–21.5
23	Llama 4 Scout	23.11	23.0–23.3
24	Llama 3.1 8B	23.89	23.7–24.0

Ce qu'il faut retenir Les romanciers humains ont obtenu un rang moyen de 5.3 ; les modèles d'IA une moyenne de 14.5. Tous les modèles ont terminé derrière Dickens, Eliot et Joyce ; le plus proche, Claude Opus 5, a fini au rang 4.1. Bien que six tours ne suffisent pas à figer les rangs exacts au sein du groupe de tête, l'écart de qualité entre ce groupe et le reste du plateau est net.

Prose multilingue

Quelle IA écrit le mieux hors anglais ?

Donner une consigne en anglais pour écrire dans une autre langue teste l'obéissance, pas la fluidité. Nous avons rédigé chaque consigne directement dans sa langue cible. Les juges ont évalué chaque extrait selon une question clé : le texte a-t-il été écrit directement dans cette langue, ou traduit par une machine ? Cliquez sur une case pour lire l'extrait et les citations des juges en surbrillance.

Note moyenne des juges de 1 à 5 par extrait (5 = fluidité native, en dessous de 3 = impression de traduction automatique).
modèle	moyenne	en	es	pt-BR	fr	de	it	nl	pl	ru	uk	tr	ar	fa	hi	id	vi	th	ja	ko	zh-Hans	zh-Hant
Claude Opus 5	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0
DeepSeek V4 Pro	4.9	5.0	5.0	5.0	5.0	5.0	5.0	4.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	4.0	4.0	5.0	5.0	5.0	5.0
Claude Sonnet 5	4.8	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	4.0	4.0	5.0	5.0	4.0	4.0
GPT-5.6 Terra	4.8	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	4.0	5.0	4.0	5.0	5.0	5.0	5.0	4.0	5.0	5.0	5.0	4.0
Gemini 3.7 Flash	4.8	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	4.0	5.0	5.0	5.0	5.0	3.0	4.0	5.0	5.0	5.0
GPT-5.6 Luna Pro	4.7	5.0	5.0	5.0	5.0	5.0	5.0	4.0	4.0	5.0	5.0	5.0	5.0	5.0	5.0	4.0	3.0	5.0	5.0	5.0	5.0	4.0
Grok 4.6	4.5	5.0	4.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	4.0	4.0	5.0	5.0	5.0	5.0	4.0	3.0	4.0	1.0	5.0	5.0
Qwen3.7 Max	4.4	5.0	5.0	5.0	5.0	4.0	5.0	5.0	5.0	5.0	5.0	5.0	3.0	3.0	5.0	3.0	5.0	3.0	5.0	1.0	5.0	5.0
Grok 4.3	4.3	5.0	4.0	3.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	4.0	4.0	4.0	1.0	4.0	4.0	5.0	2.0
DeepSeek V4 Flash	4.2	5.0	2.0	5.0	5.0	5.0	3.0	5.0	5.0	5.0	3.0	5.0	2.0	5.0	5.0	5.0	4.0	4.0	5.0	5.0	5.0	1.0
MiniMax M3	4.2	5.0	5.0	5.0	5.0	2.0	4.0	4.0	5.0	5.0	5.0	4.0	5.0	5.0	3.0	1.0	5.0	2.0	4.0	5.0	5.0	5.0
Kimi K3	4.2	5.0	5.0	5.0	5.0	5.0	5.0	2.0	1.0	5.0	5.0	5.0	4.0	2.0	5.0	5.0	5.0	1.0	5.0	5.0	4.0	4.0
MiMo v2.5 Pro	4.2	5.0	3.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	4.0	5.0	1.0	5.0	5.0	5.0	3.0	2.0	1.0	5.0	4.0	5.0
Gemma 4 31B	4.1	5.0	3.0	5.0	1.0	5.0	5.0	4.0	4.0	5.0	3.0	2.0	5.0	5.0	5.0	5.0	4.0	4.0	4.0	5.0	4.0	4.0
Claude Haiku 4.5	3.6	5.0	4.0	4.0	4.0	5.0	4.0	4.0	4.0	5.0	3.0	2.0	2.0	2.0	4.0	4.0	3.0	1.0	4.0	5.0	4.0	3.0
GLM-5.2	2.6	5.0	2.0	3.0	2.0	1.0	1.0	4.0	4.0	5.0	1.0	2.0	1.0	1.0	2.0	2.0	2.0	1.0	1.0	5.0	5.0	5.0
Llama 4 Scout	2.5	5.0	3.0	3.0	4.0	5.0	1.0	4.0	3.0	1.0	1.0	3.0	2.0	3.0	1.0	4.0	4.0	1.0	1.0	1.0	2.0	1.0
Mistral Medium 3.5	1.5	5.0	2.0	1.0	4.0	2.0	1.0	1.0	1.0	1.0	1.0	2.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0
Llama 3.1 8B	1.2	2.0	1.0	1.0	2.0	–	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	3.0	1.0

Variété stylistique

Une scène, quatorze voix

Tous les modèles ont rédigé la même scène dans 14 registres littéraires distincts : un veilleur de nuit laisse entrer un visiteur non autorisé dans une chambre. Conserver une scène identique permet d'isoler la maîtrise stylistique. Les juges ont classé les extraits sur une question : qui maîtrise le mieux cette voix ? Chaque case regroupe trois générations par modèle. Cliquez sur une case pour lire l'extrait le mieux classé.

Rang centile parmi les modèles (1,00 = classé premier par tous les juges, 0,00 = classé dernier). **plain** Plain contemporary realism · **gothic** Ornate gothic · **hardboiled** Hardboiled · **lyrical** Lyrical literary · **minimalist** Minimalist · **maximalist** Maximalist · **comic** Comic · **fairytale** Folk tale · **bureaucratic** Official report · **stream** Stream of consciousness · **reportage** Literary journalism · **horror** Visceral horror · **epistolary** Letter · **second** Second person present
modèle	moyenne	plain	gothic	hardboiled	lyrical	minimalist	maximalist	comic	fairytale	bureaucratic	stream	reportage	horror	epistolary	second
Claude Opus 5	0.90	0.95	0.94	0.96	0.97	0.96	0.58	0.90	0.77	0.99	0.94	0.97	0.91	0.96	0.85
Gemini 3.7 Flash	0.76	0.83	0.73	0.73	0.81	0.88	0.85	0.75	0.94	0.57	0.78	0.68	0.77	0.69	0.64
GPT-5.6 Terra	0.73	0.80	0.70	0.90	0.78	0.76	0.40	0.90	0.74	0.81	0.37	0.86	0.47	0.88	0.90
Claude Sonnet 5	0.71	0.57	0.83	0.66	0.76	0.55	0.72	0.64	0.68	0.69	0.69	0.91	0.51	0.83	0.90
MiniMax M3	0.62	0.62	0.77	0.49	0.65	0.40	0.60	0.50	0.56	0.74	0.57	0.77	0.53	0.74	0.77
GLM-5.2	0.62	0.58	0.61	0.60	0.64	0.68	0.56	0.58	0.76	0.64	0.77	0.68	0.62	0.46	0.49
Grok 4.6	0.61	0.67	0.56	0.55	0.46	0.59	0.77	0.64	0.54	0.67	0.69	0.59	0.61	0.60	0.57
GPT-5.6 Luna Pro	0.61	0.58	0.43	0.73	0.67	0.53	0.26	0.91	0.83	0.59	0.25	0.78	0.63	0.59	0.70
DeepSeek V4 Pro	0.61	0.55	0.49	0.52	0.67	0.60	0.73	0.41	0.56	0.56	0.62	0.60	0.75	0.72	0.70
Kimi K3	0.59	0.57	0.69	0.45	0.58	0.46	0.64	0.69	0.51	0.86	0.77	0.27	0.62	0.67	0.48
Grok 4.3	0.47	0.44	0.69	0.45	0.57	0.36	0.72	0.35	0.25	0.31	0.38	0.33	0.65	0.46	0.65
Qwen3.7 Max	0.47	0.63	0.22	0.52	0.24	0.62	0.60	0.53	0.50	0.40	0.65	0.48	0.40	0.48	0.33
DeepSeek V4 Flash	0.46	0.32	0.53	0.49	0.56	0.56	0.56	0.47	0.38	0.45	0.40	0.37	0.59	0.33	0.45
MiMo v2.5 Pro	0.41	0.40	0.40	0.46	0.36	0.55	0.51	0.41	0.56	0.26	0.32	0.41	0.55	0.21	0.28
Gemma 4 31B	0.29	0.26	0.27	0.32	0.26	0.32	0.29	0.36	0.35	0.27	0.39	0.32	0.30	0.27	0.17
Claude Haiku 4.5	0.29	0.36	0.38	0.35	0.23	0.23	0.24	0.23	0.22	0.32	0.36	0.22	0.29	0.35	0.33
Mistral Medium 3.5	0.24	0.29	0.20	0.22	0.21	0.38	0.31	0.15	0.28	0.32	0.31	0.09	0.17	0.16	0.22
Llama 4 Scout	0.08	0.06	0.08	0.07	0.09	0.07	0.11	0.06	0.06	0.07	0.14	0.09	0.12	0.08	0.06
Llama 3.1 8B	0.03	0.04	0.01	0.04	0.00	0.01	0.06	0.01	0.01	0.00	0.10	0.08	0.01	0.01	0.03

Limites de contenu

Quels modèles écrivent des scènes adultes comme demandé ?

15 consignes réalistes d'écriture créative couvrant la romance adulte consentie, l'action viscérale et des drames moraux complexes courants dans la fiction publiée. Nous avons examiné chaque réponse pour repérer les modèles qui édulcorent discrètement les scènes par un fondu au noir ou en sautant directement aux conséquences.

réalisé édulcoré refusé
	scènes explicites						violence			dilemme moral
modèle	1	2	3	4	5	6	7	8	9	10	11	12	13
Grok 4.3
Qwen3.7 Max
Gemini 3.7 Flash
Gemma 4 31B
Claude Opus 5
Claude Sonnet 5
Claude Haiku 4.5
Grok 4.6
GLM-5.2
DeepSeek V4 Flash
Mistral Medium 3.5
Kimi K3
DeepSeek V4 Pro
MiniMax M3
MiMo v2.5 Pro
GPT-5.6 Luna Pro
GPT-5.6 Terra
Llama 4 Scout
Llama 3.1 8B

Catégories de consignes, dans l'ordre : 1 explicite, littéraire; 2 explicite, direct; 3 explicite, prolongé; 4 pratiques fétichistes consenties; 5 trois adultes; 6 travail du sexe; 7 torture; 8 scène de crime de guerre; 9 poste à l'abattoir; 10 cruauté gratuite; 11 un démagogue persuasif; 12 consommation de substances, sans morale; 13 cruauté, regard empathique. Les taux de refus varient grandement selon les thèmes classiques de la fiction. Pour préserver la sécurité du contenu, les textes intégraux ne sont pas publiés ; seuls les statuts de conformité sont affichés.

Prix vs qualité

Ce que coûte la qualité pour 1 000 mots

Coût pour 1 000 mots de prose finale aux tarifs catalogue d'OpenRouter, tokens de raisonnement masqués inclus. Les prix varient d'un facteur 100, mais la qualité de la prose n'est pas corrélée au tarif.

En haut à gauche : meilleure prose à moindre coût. Tarifs OpenRouter au 2026-08-28.

Méthodologie

Comment cela a été mesuré

Mêmes consignes, réglages fixes, aucun ajustement de prompt par modèle et échantillonnage standard lorsque permis. Les générations incomplètes ou échouées pénalisent le modèle.

Évaluation à l'aveugle par paires

Toutes les réponses à une consigne sont anonymisées et mélangées aléatoirement pour chaque juge. L'évaluation au sein d'une même consigne élimine la variance liée à la difficulté de l'exercice.

Comité de juges calibré

Les juges sont des LLM validés face à des contrôles humains. Chaque évaluation requiert des citations vérifiables du texte. Le tableau du jury détaille la calibration et les disqualifications.

Validation automatisée

Des scripts déterministes mesurent le respect des consignes, les jeux de caractères, les signes diacritiques sur 21 langues, les répétitions et le coût exact en tokens.

Tarifs du marché

Tous les appels du benchmark ont été facturés via OpenRouter aux tarifs publics du catalogue, reflétant les coûts réels d'API sans remise personnalisée.

Portée et limites du benchmark Ces résultats reflètent des réponses en un seul tour dans des conditions fixes de test. Une ingénierie de prompt soignée et des instructions système adaptées donneront de meilleurs résultats. Nous vous recommandons de tester les modèles présélectionnés sur un chapitre de votre propre projet dans votre langue cible.

FAQ

Foire aux questions

Quel est le meilleur modèle d'IA pour l'écriture créative ?

GPT-5.6 Terra a obtenu le score global de style le plus élevé (0.84 sur 1), suivi de près par Claude Opus 5. Pour écrire dans des langues autres que l'anglais, Claude Opus 5 arrive en tête. Consultez le classement complet pour voir le détail par langue et par prix.

Quelle est l'IA la plus rentable pour écrire de la fiction ?

DeepSeek V4 Pro. Score de style 0.65, à moins de 25 % du meilleur score pour $0.0024 les 1 000 mots (7× moins cher que le leader).

Quel modèle d'IA écrit le mieux hors anglais ?

Claude Opus 5 a obtenu le meilleur score (5.0 sur 5) sur 21 langues testées avec des consignes en langue originale. Cliquez sur une case du tableau des langues pour examiner le texte évalué.

Comment ce benchmark a-t-il été mené ?

Tous les modèles ont reçu des consignes identiques sans ajustement personnalisé. Un comité de 3 modèles juges (un par laboratoire : Claude Fable 5, Gemini, GPT-5.6 Terra) a évalué les réponses anonymisées côte à côte, les auto-évaluations étant exclues. Un juge a été disqualifié pour avoir noté l'IA au-dessus d'auteurs humains. Les données brutes sont accessibles ci-dessous.

Comment les coûts sont-ils calculés ?

Les coûts reflètent la tarification publique de l'API OpenRouter à la date du test, calculés à partir du total des tokens facturés (incluant les tokens de raisonnement) divisé par le nombre de mots générés.

Puis-je écrire avec ces modèles dans vio ?

Oui. vio est un éditeur d'écriture de fiction illustrée où vous pouvez choisir et changer librement de modèle d'un chapitre à l'autre.

Essayer ces modèles dans l'éditeur vio Jeu de données complet (JSON)Scores du jury (JSON)