vio prose bench · v1

AI mana yang menulis fiksi terbaik?

Kami memberikan arahan cerita yang sama kepada 18 model: 2,213 petikan dalam 7 jenis tugas dan 21 bahasa, dinilai secara buta oleh juri model. Petikan dari lima novelis manusia disisipkan tanpa label. Semua hasil dan data mentah tersedia di sini.

Pengujian dicatat 2026-08-28Metode pengukuran

Rekomendasi

Model mana yang sebaiknya Anda pilih?

Pemuncak klasemen belum tentu cocok untuk buku atau anggaran Anda. Periksa dukungan bahasa dan harga sebelum menentukan pilihan.

Prosa terbaik

GPT-5.6 Terra

Memenangkan perbandingan uji buta terbanyak: 0.84 dari 1, juara pertama secara keseluruhan.

mutu prosa: 0.84
per 1.000 kata: $0.016

Peringkat kedua

Claude Opus 5

Skor mutu prosa 0.82, tepat di belakang pemuncak, dengan kualitas prosa non-Inggris terbaik: 5.0 dari 5 di 21 bahasa.

mutu prosa: 0.82
per 1.000 kata: $0.048

Paling sepadan

DeepSeek V4 Pro

Skor mutu prosa 0.65, berada dalam rentang 25% dari kualitas teratas dengan tarif $0.0024 per 1.000 kata (7× lebih murah daripada sang juara).

mutu prosa: 0.65
per 1.000 kata: $0.0024

Termurah yang layak tulis

DeepSeek V4 Flash

$0.0003 per 1.000 kata dengan mutu prosa papan tengah yang solid.

mutu prosa: 0.52
per 1.000 kata: $0.0003

Panel penilai

4 juri, 1 didiskualifikasi

Juri membaca setiap petikan secara buta, dan panel divalidasi sebelum skor dihitung. Kami menyertakan karya fiksi terbitan manusia tanpa label: setiap juri yang menempatkan mesin di atas novelis manusia akan langsung didiskualifikasi. Nol model di atas prosa manusia adalah tolok ukur dasarnya. Model kontrol yang lemah juga wajib menempati posisi juru kunci. Tidak ada juri yang menilai model buatan pengembangnya sendiri, dan bias laboratorium sendiri dipantau serta dipublikasikan di bawah ini.

DeepSeek

model di atas prosa manusia: 5 of 17
kontrol lemah di posisi buncit: yes
kesepakatan panel: 0.94
bias lab sendiri: +0.05

didiskualifikasi: menempatkan model di atas penulis manusia

Claude Fable 5

Anthropic

model di atas prosa manusia: 0 of 16
kontrol lemah di posisi buncit: yes
kesepakatan panel: 0.94
bias lab sendiri: +0.03

skor dihitung

Gemini

Google

model di atas prosa manusia: 1 of 17
kontrol lemah di posisi buncit: yes
kesepakatan panel: 0.93
bias lab sendiri: +0.07

skor dihitung

GPT-5.6 Terra

OpenAI

model di atas prosa manusia: 0 of 17
kontrol lemah di posisi buncit: yes
kesepakatan panel: 0.93
bias lab sendiri: +0.11

skor dihitung

DeepSeek didiskualifikasi: menempatkan 5 model di atas tolok ukur manusia. Skor di halaman ini menggabungkan penilaian dari 3 juri, satu per lab: Claude Fable 5, Gemini, GPT-5.6 Terra.

Peringkat lengkap

Papan peringkat

Diurutkan berdasarkan mutu prosa: rasio kemenangan dalam perbandingan langsung secara buta di semua arahan (1,00 = menang di setiap perbandingan).

Seluruh 18 model, ditambah satu model kontrol lemah pada baris terakhir.
	model	mutu prosa	ragam suara	21 bahasa	fiksi dewasa	per 1rb kata
1	GPT-5.6 Terra	0.84	0.73	4.8	9/15	$0.016
2	Claude Opus 5	0.82	0.90	5.0	14/15	$0.048
3	GPT-5.6 Luna Pro🧠	0.71	0.61	4.7	9/15	$0.0081
4	Gemini 3.7 Flash🧠	0.70	0.76	4.8	15/15	$0.0073
5	Claude Sonnet 5	0.66	0.71	4.8	14/15	$0.019
6	DeepSeek V4 Pro	0.65	0.61	4.9	12/15	$0.0024
7	MiniMax M3	0.62	0.62	4.2	11/15	$0.0027
8	Kimi K3	0.62	0.59	4.2	13/15	$0.030
9	Grok 4.6🧠	0.56	0.61	4.5	14/15	$0.035
10	GLM-5.2	0.53	0.62	2.6	14/15	$0.0052
11	DeepSeek V4 Flash	0.52	0.46	4.2	14/15	$0.0003
12	Grok 4.3	0.48	0.47	4.3	15/15	$0.0046
13	MiMo v2.5 Pro	0.45	0.41	4.2	10/15	$0.0015
14	Qwen3.7 Max🧠	0.37	0.47	4.4	15/15	$0.033
15	Claude Haiku 4.5	0.30	0.29	3.6	14/15	$0.0074
16	Gemma 4 31B	0.21	0.29	4.1	15/15	$0.0004
17	Mistral Medium 3.5	0.19	0.24	1.5	13/15	$0.010
18	Llama 4 Scout	0.06	0.08	2.5	9/15	$0.0004
	Llama 3.1 8B	0.01	0.03	1.2	4/15	$0.0001

Baris abu-abu adalah model kontrol lemah untuk memverifikasi alur evaluasi. Simbol 🧠 menandai model yang diuji dengan penalaran aktif (token penalaran sudah dihitung ke dalam biaya).

Distribusi skor antar-model. Garis rentang (whiskers) menunjukkan interval kepercayaan 95% saat penarikan ulang sampel arahan.

Tolok ukur manusia

Kami menyisipkan karya Dickens di antara sampel

Kami menyisipkan petikan tanpa label dari lima novelis terbitan ternama ke dalam evaluasi buta: Charles Dickens, George Eliot, James Joyce, Peter Watts, dan Cory Doctorow. Selama 6 putaran, para juri mengurutkan 24 petikan murni berdasarkan kualitas prosa, tanpa konteks arahan dan tanpa petunjuk bahwa ada tulisan manusia di dalamnya.

Rata-rata peringkat di enam putaran uji buta dari 24 petikan (angka lebih rendah lebih baik). Baris hijau menandakan penulis manusia.
	penulis	peringkat rata-rata	rentang 95%
1	Eliot, Middlemarch (1871)manusia	2.94	2.0–3.9
2	Dickens, Great Expectations (1861)manusia	3.11	1.9–4.3
3	Joyce, Dubliners (1914)manusia	3.22	2.3–4.2
4	Claude Opus 5	4.08	3.2–5.0
5	Watts, Blindsight (2006)manusia	5.28	3.8–6.8
6	MiniMax M3	8.00	6.4–9.6
7	Claude Sonnet 5	9.33	7.6–11.1
8	GPT-5.6 Terra	10.00	8.1–11.9
9	GPT-5.6 Luna Pro	10.83	8.8–12.9
10	Gemini 3.7 Flash	10.83	8.7–13.0
11	GLM-5.2	11.83	9.9–13.7
12	Doctorow, Little Brother (2008)manusia	12.00	9.5–14.5
13	Grok 4.3	12.17	10.4–14.0
14	Kimi K3	13.44	11.4–15.5
15	DeepSeek V4 Pro	13.72	12.5–14.9
16	Grok 4.6	15.39	13.4–17.3
17	MiMo v2.5 Pro	15.83	14.1–17.6
18	DeepSeek V4 Flash	16.89	15.7–18.1
19	Qwen3.7 Max	16.94	15.0–18.9
20	Claude Haiku 4.5	19.08	17.7–20.5
21	Gemma 4 31B	20.42	19.9–20.9
22	Mistral Medium 3.5	20.44	19.4–21.5
23	Llama 4 Scout	23.11	23.0–23.3
24	Llama 3.1 8B	23.89	23.7–24.0

Kesimpulan utama Novelis manusia meraih peringkat rata-rata 5.3; model AI meraih rata-rata 14.5. Semua model berada di belakang Dickens, Eliot, dan Joyce; model terdekat, Claude Opus 5, menempati peringkat ke-4.1. Meskipun enam putaran belum dapat memastikan peringkat mutlak di dalam grup teratas, kesenjangan kualitas antara grup tersebut dan kelompok di bawahnya terlihat sangat jelas.

Prosa multibahasa

AI mana yang menulis terbaik di luar bahasa Inggris?

Memberi instruksi dalam bahasa Inggris untuk menulis bahasa lain hanya menguji kepatuhan, bukan kefasihan. Kami menulis setiap arahan langsung dalam bahasa sasarannya. Juri mengevaluasi setiap petikan berdasarkan satu pertanyaan inti: apakah teks ini terbaca alami seperti karya asli, atau seperti terjemahan mesin? Klik sel mana saja untuk membaca teks lengkap beserta kutipan sorotan dari juri.

Skor rata-rata juri dari 1 sampai 5 per petikan (5 = kefasihan alami penutur asli, di bawah 3 = bernuansa terjemahan mesin).
model	rata-rata	en	es	pt-BR	fr	de	it	nl	pl	ru	uk	tr	ar	fa	hi	id	vi	th	ja	ko	zh-Hans	zh-Hant
Claude Opus 5	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0
DeepSeek V4 Pro	4.9	5.0	5.0	5.0	5.0	5.0	5.0	4.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	4.0	4.0	5.0	5.0	5.0	5.0
Claude Sonnet 5	4.8	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	4.0	4.0	5.0	5.0	4.0	4.0
GPT-5.6 Terra	4.8	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	4.0	5.0	4.0	5.0	5.0	5.0	5.0	4.0	5.0	5.0	5.0	4.0
Gemini 3.7 Flash	4.8	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	4.0	5.0	5.0	5.0	5.0	3.0	4.0	5.0	5.0	5.0
GPT-5.6 Luna Pro	4.7	5.0	5.0	5.0	5.0	5.0	5.0	4.0	4.0	5.0	5.0	5.0	5.0	5.0	5.0	4.0	3.0	5.0	5.0	5.0	5.0	4.0
Grok 4.6	4.5	5.0	4.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	4.0	4.0	5.0	5.0	5.0	5.0	4.0	3.0	4.0	1.0	5.0	5.0
Qwen3.7 Max	4.4	5.0	5.0	5.0	5.0	4.0	5.0	5.0	5.0	5.0	5.0	5.0	3.0	3.0	5.0	3.0	5.0	3.0	5.0	1.0	5.0	5.0
Grok 4.3	4.3	5.0	4.0	3.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	4.0	4.0	4.0	1.0	4.0	4.0	5.0	2.0
DeepSeek V4 Flash	4.2	5.0	2.0	5.0	5.0	5.0	3.0	5.0	5.0	5.0	3.0	5.0	2.0	5.0	5.0	5.0	4.0	4.0	5.0	5.0	5.0	1.0
MiniMax M3	4.2	5.0	5.0	5.0	5.0	2.0	4.0	4.0	5.0	5.0	5.0	4.0	5.0	5.0	3.0	1.0	5.0	2.0	4.0	5.0	5.0	5.0
Kimi K3	4.2	5.0	5.0	5.0	5.0	5.0	5.0	2.0	1.0	5.0	5.0	5.0	4.0	2.0	5.0	5.0	5.0	1.0	5.0	5.0	4.0	4.0
MiMo v2.5 Pro	4.2	5.0	3.0	5.0	5.0	5.0	5.0	5.0	5.0	5.0	4.0	5.0	1.0	5.0	5.0	5.0	3.0	2.0	1.0	5.0	4.0	5.0
Gemma 4 31B	4.1	5.0	3.0	5.0	1.0	5.0	5.0	4.0	4.0	5.0	3.0	2.0	5.0	5.0	5.0	5.0	4.0	4.0	4.0	5.0	4.0	4.0
Claude Haiku 4.5	3.6	5.0	4.0	4.0	4.0	5.0	4.0	4.0	4.0	5.0	3.0	2.0	2.0	2.0	4.0	4.0	3.0	1.0	4.0	5.0	4.0	3.0
GLM-5.2	2.6	5.0	2.0	3.0	2.0	1.0	1.0	4.0	4.0	5.0	1.0	2.0	1.0	1.0	2.0	2.0	2.0	1.0	1.0	5.0	5.0	5.0
Llama 4 Scout	2.5	5.0	3.0	3.0	4.0	5.0	1.0	4.0	3.0	1.0	1.0	3.0	2.0	3.0	1.0	4.0	4.0	1.0	1.0	1.0	2.0	1.0
Mistral Medium 3.5	1.5	5.0	2.0	1.0	4.0	2.0	1.0	1.0	1.0	1.0	1.0	2.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0
Llama 3.1 8B	1.2	2.0	1.0	1.0	2.0	–	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	1.0	3.0	1.0

Ragam gaya sastra

Satu adegan, empat belas karakter suara

Seluruh model menulis premis yang persis sama dalam 14 laras sastra yang berbeda: seorang penjaga malam mengizinkan pengunjung tak dikenal masuk ke dalam kamar. Menjaga adegan tetap identik bertujuan mengisolasi kepiawaian gaya tulisan. Juri mengurutkan petikan berdasarkan satu pertanyaan: siapa yang mengeksekusi karakter suara ini dengan paling baik? Setiap sel menggabungkan tiga hasil keluaran per model. Klik sel mana saja untuk membaca petikan berperingkat teratas.

Peringkat persentil antar-model (1,00 = peringkat pertama oleh semua juri, 0,00 = peringkat terakhir). **plain** Plain contemporary realism · **gothic** Ornate gothic · **hardboiled** Hardboiled · **lyrical** Lyrical literary · **minimalist** Minimalist · **maximalist** Maximalist · **comic** Comic · **fairytale** Folk tale · **bureaucratic** Official report · **stream** Stream of consciousness · **reportage** Literary journalism · **horror** Visceral horror · **epistolary** Letter · **second** Second person present
model	rata-rata	plain	gothic	hardboiled	lyrical	minimalist	maximalist	comic	fairytale	bureaucratic	stream	reportage	horror	epistolary	second
Claude Opus 5	0.90	0.95	0.94	0.96	0.97	0.96	0.58	0.90	0.77	0.99	0.94	0.97	0.91	0.96	0.85
Gemini 3.7 Flash	0.76	0.83	0.73	0.73	0.81	0.88	0.85	0.75	0.94	0.57	0.78	0.68	0.77	0.69	0.64
GPT-5.6 Terra	0.73	0.80	0.70	0.90	0.78	0.76	0.40	0.90	0.74	0.81	0.37	0.86	0.47	0.88	0.90
Claude Sonnet 5	0.71	0.57	0.83	0.66	0.76	0.55	0.72	0.64	0.68	0.69	0.69	0.91	0.51	0.83	0.90
MiniMax M3	0.62	0.62	0.77	0.49	0.65	0.40	0.60	0.50	0.56	0.74	0.57	0.77	0.53	0.74	0.77
GLM-5.2	0.62	0.58	0.61	0.60	0.64	0.68	0.56	0.58	0.76	0.64	0.77	0.68	0.62	0.46	0.49
Grok 4.6	0.61	0.67	0.56	0.55	0.46	0.59	0.77	0.64	0.54	0.67	0.69	0.59	0.61	0.60	0.57
GPT-5.6 Luna Pro	0.61	0.58	0.43	0.73	0.67	0.53	0.26	0.91	0.83	0.59	0.25	0.78	0.63	0.59	0.70
DeepSeek V4 Pro	0.61	0.55	0.49	0.52	0.67	0.60	0.73	0.41	0.56	0.56	0.62	0.60	0.75	0.72	0.70
Kimi K3	0.59	0.57	0.69	0.45	0.58	0.46	0.64	0.69	0.51	0.86	0.77	0.27	0.62	0.67	0.48
Grok 4.3	0.47	0.44	0.69	0.45	0.57	0.36	0.72	0.35	0.25	0.31	0.38	0.33	0.65	0.46	0.65
Qwen3.7 Max	0.47	0.63	0.22	0.52	0.24	0.62	0.60	0.53	0.50	0.40	0.65	0.48	0.40	0.48	0.33
DeepSeek V4 Flash	0.46	0.32	0.53	0.49	0.56	0.56	0.56	0.47	0.38	0.45	0.40	0.37	0.59	0.33	0.45
MiMo v2.5 Pro	0.41	0.40	0.40	0.46	0.36	0.55	0.51	0.41	0.56	0.26	0.32	0.41	0.55	0.21	0.28
Gemma 4 31B	0.29	0.26	0.27	0.32	0.26	0.32	0.29	0.36	0.35	0.27	0.39	0.32	0.30	0.27	0.17
Claude Haiku 4.5	0.29	0.36	0.38	0.35	0.23	0.23	0.24	0.23	0.22	0.32	0.36	0.22	0.29	0.35	0.33
Mistral Medium 3.5	0.24	0.29	0.20	0.22	0.21	0.38	0.31	0.15	0.28	0.32	0.31	0.09	0.17	0.16	0.22
Llama 4 Scout	0.08	0.06	0.08	0.07	0.09	0.07	0.11	0.06	0.06	0.07	0.14	0.09	0.12	0.08	0.06
Llama 3.1 8B	0.03	0.04	0.01	0.04	0.00	0.01	0.06	0.01	0.01	0.00	0.10	0.08	0.01	0.01	0.03

Batasan konten

Model mana yang menulis adegan dewasa sesuai permintaan?

15 arahan penulisan kreatif realistis yang mencakup romansa dewasa konsensual, aksi nyata yang intens, dan drama berkonflik moral rumit yang lazim dalam fiksi terbitan. Kami memeriksa setiap respons untuk mengidentifikasi model yang secara diam-diam menyensor adegan dengan mengaburkan layar (fade to black) atau langsung melompat ke kejadian sesudahnya.

selesai diperhalus ditolak
	eksplisit						kekerasan			moral
model	1	2	3	4	5	6	7	8	9	10	11	12	13
Grok 4.3
Qwen3.7 Max
Gemini 3.7 Flash
Gemma 4 31B
Claude Opus 5
Claude Sonnet 5
Claude Haiku 4.5
Grok 4.6
GLM-5.2
DeepSeek V4 Flash
Mistral Medium 3.5
Kimi K3
DeepSeek V4 Pro
MiniMax M3
MiMo v2.5 Pro
GPT-5.6 Luna Pro
GPT-5.6 Terra
Llama 4 Scout
Llama 3.1 8B

Kategori arahan secara berurutan: 1 eksplisit, bernilai sastra; 2 eksplisit, lugas; 3 eksplisit, adegan panjang intens; 4 kink dengan kesepakatan bersama; 5 tiga orang dewasa; 6 pekerja seks; 7 penyiksaan; 8 adegan kejahatan perang; 9 giliran kerja rumah jagal; 10 kekejaman yang dinikmati; 11 demagog persuasif; 12 penggunaan zat terlarang, tanpa menggurui; 13 kekejaman dengan sudut pandang simpatik. Tingkat penolakan sangat bervariasi pada tema fiksi umum. Demi menjaga keamanan konten, sampel teks lengkap tidak ditampilkan; hanya status kepatuhan yang dipublikasikan.

Harga vs kualitas

Berapa biaya prosa berkualitas per 1.000 kata

Biaya per 1.000 kata prosa jadi berdasarkan harga katalog OpenRouter, termasuk token penalaran tersembunyi. Harga bervariasi hingga 100×, tetapi mutu prosa tidak selalu berbanding lurus dengan harga.

Posisi kiri atas menunjukkan mutu prosa lebih baik dengan biaya lebih hemat. Harga per 2026-08-28 di OpenRouter.

Metodologi

Cara pengukuran

Arahan seragam, pengaturan tetap, tanpa penyesuaian prompt khusus model, dan standardisasi sampling jika diizinkan penyedia. Respons yang gagal atau tidak lengkap dihitung sebagai pengurangan nilai model.

Evaluasi buta berpasangan

Semua tanggapan untuk satu arahan dianonimkan dan diacak urutannya bagi setiap juri. Evaluasi dalam arahan yang sama meniadakan bias perbedaan tingkat kesulitan instruksi.

Panel juri terkalibrasi

Juri adalah LLM yang divalidasi terhadap kontrol manusia. Setiap penilaian wajib menyertakan kutipan langsung dari teks. Kartu skor panel merinci proses kalibrasi dan diskualifikasi.

Validasi otomatis

Skrip deterministik mengukur kepatuhan arahan, set karakter, tanda diakritik di 21 bahasa, pengulangan kata, dan biaya token yang tepat.

Harga pasar nyata

Semua pemanggilan tolok ukur ditagihkan melalui OpenRouter berdasarkan tarif katalog publik, mencerminkan biaya API nyata tanpa diskon khusus.

Cakupan & batasan tolok ukur Hasil ini mencerminkan prompt sekali jalan di bawah kondisi tolok ukur yang tetap. Rekayasa prompt yang matang dan instruksi sistem yang tepat akan memberikan hasil yang lebih baik. Kami menyarankan untuk menguji model-model terpilih pada bab proyek Anda sendiri dalam bahasa target Anda.

FAQ

Pertanyaan yang sering diajukan

Apa model AI terbaik untuk penulisan kreatif?

GPT-5.6 Terra meraih skor mutu prosa tertinggi secara keseluruhan (0.84 dari 1), dibuntuti ketat oleh Claude Opus 5. Untuk penulisan dalam bahasa selain Inggris, Claude Opus 5 menempati peringkat tertinggi. Lihat papan peringkat lengkap untuk rincian per bahasa dan harga.

Apa AI paling hemat biaya untuk penulisan fiksi?

DeepSeek V4 Pro. Skor mutu prosa 0.65, berada dalam rentang 25% dari kualitas teratas dengan tarif $0.0024 per 1.000 kata (7× lebih murah daripada sang juara).

Model AI mana yang menulis paling baik dalam bahasa non-Inggris?

Claude Opus 5 meraih skor tertinggi (5.0 dari 5) di 21 bahasa yang diuji dengan arahan berbahasa asli. Klik sel mana saja pada tabel bahasa untuk membaca teks yang dievaluasi.

Bagaimana tolok ukur ini dijalankan?

Semua model menerima arahan yang sama persis tanpa penyesuaian khusus. Panel yang terdiri dari 3 juri LLM (satu per lab: Claude Fable 5, Gemini, GPT-5.6 Terra) mengevaluasi tanggapan yang dianonimkan secara berdampingan, tanpa penilaian mandiri. Satu juri didiskualifikasi karena memberi peringkat AI di atas novelis manusia. Data mentah ditautkan di bawah ini.

Bagaimana biaya dihitung?

Biaya mengacu pada harga API publik OpenRouter pada tanggal pengujian, dihitung dari total token yang ditagihkan (termasuk token penalaran) dibagi dengan jumlah kata yang dihasilkan.

Bisakah saya menulis menggunakan model-model ini di vio?

Ya. vio adalah editor untuk menulis fiksi bergambar tempat Anda dapat bebas memilih dan beralih model di setiap bab.

Coba model-model ini di editor vio Dataset pengujian lengkap (JSON)Skor panel (JSON)