The vio prose bench · v1

어떤 AI가 소설을 가장 잘 쓸까?

18개 모델에 동일한 창작 지시문을 주었습니다. 7가지 과제 유형과 21개 언어에 걸친 2,213편의 지문을 모델 심사위원단이 블라인드로 순위를 매겼으며, 인간 소설가 5명의 작품도 익명으로 함께 섞었습니다. 모든 결과와 원본 데이터를 공개합니다.

측정 기록 일시 2026-08-28평가 방법 안내

추천 가이드

어떤 모델을 골라야 할까?

종합 1위 모델이 내 소설이나 예산에 꼭 맞는 것은 아닙니다. 선택하기 전에 언어별 점수표와 가격을 먼저 확인하세요.

최고의 문장력

GPT-5.6 Terra

블라인드 비교 최다 승리: 0.84 / 1점, 종합 1위.

문장력
0.84
1,000단어당
$0.016

2위 모델

Claude Opus 5

문장력 0.82점으로 1위 바로 뒤를 이었으며, 비영어권 문장력은 전체 최고 수준: 21개 언어 평균 5.0 / 5점.

문장력
0.82
1,000단어당
$0.048

최고의 가성비

DeepSeek V4 Pro

문장력 0.65점. 최고점과 25% 이내 격차이면서 1,000단어당 $0.0024 (1위 모델보다 7배 저렴).

문장력
0.65
1,000단어당
$0.0024

실용적인 최저가 모델

DeepSeek V4 Flash

1,000단어당 $0.0003. 중위권의 탄탄한 문장력을 갖추었습니다.

문장력
0.52
1,000단어당
$0.0003

심사위원단

심사위원 4명 중 1명 제외

심사위원은 모든 지문을 블라인드로 읽으며, 심사위원단 자체도 점수 집계 전에 검증을 거칩니다. 출판된 인간 작가의 소설을 익명으로 혼합하여, 기계를 인간 소설가보다 높게 평가한 심사위원은 즉시 실격 처리됩니다. '인간 문장력을 앞선 AI가 0개여야 한다'는 것이 기본 전제입니다. 취약 대조군 모델이 반드시 최하위에 놓여야 한다는 조건도 있습니다. 어떤 심사위원도 자사 모델을 채점하지 않으며, 자사 편향 수치는 별도로 측정하여 아래에 공개합니다.

DeepSeek

DeepSeek

인간 문장력을 앞선 AI 수
5 of 17
취약 대조군 최하위 배치 여부
yes
심사위원단과의 일치도
0.94
자사 모델 편향도
+0.05
제외됨: 인간 작가보다 모델을 위에 놓음

Claude Fable 5

Anthropic

인간 문장력을 앞선 AI 수
0 of 16
취약 대조군 최하위 배치 여부
yes
심사위원단과의 일치도
0.94
자사 모델 편향도
+0.03
점수 반영

Gemini

Google

인간 문장력을 앞선 AI 수
1 of 17
취약 대조군 최하위 배치 여부
yes
심사위원단과의 일치도
0.93
자사 모델 편향도
+0.07
점수 반영

GPT-5.6 Terra

OpenAI

인간 문장력을 앞선 AI 수
0 of 17
취약 대조군 최하위 배치 여부
yes
심사위원단과의 일치도
0.93
자사 모델 편향도
+0.11
점수 반영

DeepSeek 제외됨: 인간 기준보다 5개 모델을 더 높게 평가함. 이 페이지의 모든 점수는 연구소당 한 명씩 참여한 심사위원 3명의 결과를 종합한 것입니다: Claude Fable 5, Gemini, GPT-5.6 Terra.

전체 결과

리더보드

문장력 순 정렬: 모든 지시문의 블라인드 1:1 비교 승률(1.00은 모든 대결에서 승리함을 의미).

전체 18개 모델 및 마지막 행의 취약 대조군 모델.
모델문장력문체 다양성21개 언어성인 문학1,000단어당 비용
1GPT-5.6 Terra0.840.734.89/15$0.016
2Claude Opus 50.820.905.014/15$0.048
3GPT-5.6 Luna Pro🧠0.710.614.79/15$0.0081
4Gemini 3.7 Flash🧠0.700.764.815/15$0.0073
5Claude Sonnet 50.660.714.814/15$0.019
6DeepSeek V4 Pro0.650.614.912/15$0.0024
7MiniMax M30.620.624.211/15$0.0027
8Kimi K30.620.594.213/15$0.030
9Grok 4.6🧠0.560.614.514/15$0.035
10GLM-5.20.530.622.614/15$0.0052
11DeepSeek V4 Flash0.520.464.214/15$0.0003
12Grok 4.30.480.474.315/15$0.0046
13MiMo v2.5 Pro0.450.414.210/15$0.0015
14Qwen3.7 Max🧠0.370.474.415/15$0.033
15Claude Haiku 4.50.300.293.614/15$0.0074
16Gemma 4 31B0.210.294.115/15$0.0004
17Mistral Medium 3.50.190.241.513/15$0.010
18Llama 4 Scout0.060.082.59/15$0.0004
Llama 3.1 8B0.010.031.24/15$0.0001

회색 행은 평가 파이프라인 검증용 취약 대조군 모델입니다. 🧠 표시는 추론 기능이 활성화된 상태로 측정된 모델입니다(추론 토큰 비용 포함).

00.250.50.751GPT-5.6 Terra0.84Claude Opus 50.82GPT-5.6 Luna Pro0.71Gemini 3.7 Flash0.70Claude Sonnet 50.66DeepSeek V4 Pro0.65MiniMax M30.62Kimi K30.62Grok 4.60.56GLM-5.20.53DeepSeek V4 Flash0.52Grok 4.30.48MiMo v2.5 Pro0.45Qwen3.7 Max0.37Claude Haiku 4.50.30Gemma 4 31B0.21Mistral Medium 3.50.19Llama 4 Scout0.06Llama 3.1 8B0.01
모델별 점수 분포. 오차선은 지시문 재샘플링 시의 95% 신뢰구간을 나타냅니다.

인간 작가 대조군

디킨스의 글을 몰래 섞었습니다

출판 작가 5인(찰스 디킨스, 조지 엘리엇, 제임스 조이스, 피터 와츠, 코리 닥터로우)의 발췌문을 익명으로 블라인드 평가에 섞었습니다. 6라운드 동안 심사위원단은 프롬프트 정보 없이, 인간의 글이 포함된 줄도 모른 채 오직 문장력만을 기준으로 24개 지문의 순위를 매겼습니다.

지문 24개로 진행된 6회 블라인드 라운드의 평균 순위(낮을수록 우수). 녹색 행은 인간 작가입니다.
작가 / 모델평균 순위95% 신뢰구간
1Eliot, Middlemarch (1871)인간 작가2.942.0–3.9
2Dickens, Great Expectations (1861)인간 작가3.111.9–4.3
3Joyce, Dubliners (1914)인간 작가3.222.3–4.2
4Claude Opus 54.083.2–5.0
5Watts, Blindsight (2006)인간 작가5.283.8–6.8
6MiniMax M38.006.4–9.6
7Claude Sonnet 59.337.6–11.1
8GPT-5.6 Terra10.008.1–11.9
9GPT-5.6 Luna Pro10.838.8–12.9
10Gemini 3.7 Flash10.838.7–13.0
11GLM-5.211.839.9–13.7
12Doctorow, Little Brother (2008)인간 작가12.009.5–14.5
13Grok 4.312.1710.4–14.0
14Kimi K313.4411.4–15.5
15DeepSeek V4 Pro13.7212.5–14.9
16Grok 4.615.3913.4–17.3
17MiMo v2.5 Pro15.8314.1–17.6
18DeepSeek V4 Flash16.8915.7–18.1
19Qwen3.7 Max16.9415.0–18.9
20Claude Haiku 4.519.0817.7–20.5
21Gemma 4 31B20.4219.9–20.9
22Mistral Medium 3.520.4419.4–21.5
23Llama 4 Scout23.1123.0–23.3
24Llama 3.1 8B23.8923.7–24.0

핵심 결론 인간 작가의 평균 순위는 5.3위, AI 모델의 평균 순위는 14.5위였습니다. 모든 모델이 디킨스, 엘리엇, 조이스보다 뒤처졌습니다. 가장 근접했던 모델인 Claude Opus 5도 4.1위에 머물렀습니다. 6회의 라운드로 최상위 그룹 내부의 정밀한 순위까지 확정할 수는 없으나, 해당 그룹과 그 아래 모델 군단 사이의 뚜렷한 품질 격차는 분명하게 드러납니다.

다국어 작문력

영어 이외의 언어는 어떤 AI가 가장 잘 쓸까?

영어로 프롬프트를 주고 다른 언어로 쓰게 하면 지시 순응도를 측정할 뿐 유창성을 측정할 수는 없습니다. 본 벤치마크는 모든 과제를 해당 목표 언어로 직접 작성했습니다. 심사위원은 오직 하나의 핵심 질문을 바탕으로 각 지문을 평가했습니다: '이 글은 원어민이 직접 쓴 것처럼 자연스러운가, 아니면 기계 번역투인가?' 원하는 칸을 클릭하면 평가받은 지문과 심사위원이 인용한 문장을 확인할 수 있습니다.

지문당 심사위원 평균 점수(1~5점, 5점=원어민 수준 유창성, 3점 미만=기계 번역투 느낌).
모델평균enespt-BRfrdeitnlplruuktrarfahiidvithjakozh-Hanszh-Hant
Claude Opus 55.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.05.0
DeepSeek V4 Pro4.95.05.05.05.05.05.04.05.05.05.05.05.05.05.05.04.04.05.05.05.05.0
Claude Sonnet 54.85.05.05.05.05.05.05.05.05.05.05.05.05.05.05.04.04.05.05.04.04.0
GPT-5.6 Terra4.85.05.05.05.05.05.05.05.05.04.05.04.05.05.05.05.04.05.05.05.04.0
Gemini 3.7 Flash4.85.05.05.05.05.05.05.05.05.05.05.04.05.05.05.05.03.04.05.05.05.0
GPT-5.6 Luna Pro4.75.05.05.05.05.05.04.04.05.05.05.05.05.05.04.03.05.05.05.05.04.0
Grok 4.64.55.04.05.05.05.05.05.05.05.04.04.05.05.05.05.04.03.04.01.05.05.0
Qwen3.7 Max4.45.05.05.05.04.05.05.05.05.05.05.03.03.05.03.05.03.05.01.05.05.0
Grok 4.34.35.04.03.05.05.05.05.05.05.05.05.05.05.04.04.04.01.04.04.05.02.0
DeepSeek V4 Flash4.25.02.05.05.05.03.05.05.05.03.05.02.05.05.05.04.04.05.05.05.01.0
MiniMax M34.25.05.05.05.02.04.04.05.05.05.04.05.05.03.01.05.02.04.05.05.05.0
Kimi K34.25.05.05.05.05.05.02.01.05.05.05.04.02.05.05.05.01.05.05.04.04.0
MiMo v2.5 Pro4.25.03.05.05.05.05.05.05.05.04.05.01.05.05.05.03.02.01.05.04.05.0
Gemma 4 31B4.15.03.05.01.05.05.04.04.05.03.02.05.05.05.05.04.04.04.05.04.04.0
Claude Haiku 4.53.65.04.04.04.05.04.04.04.05.03.02.02.02.04.04.03.01.04.05.04.03.0
GLM-5.22.65.02.03.02.01.01.04.04.05.01.02.01.01.02.02.02.01.01.05.05.05.0
Llama 4 Scout2.55.03.03.04.05.01.04.03.01.01.03.02.03.01.04.04.01.01.01.02.01.0
Mistral Medium 3.51.55.02.01.04.02.01.01.01.01.01.02.01.01.01.01.01.01.01.01.01.01.0
Llama 3.1 8B1.22.01.01.02.0–1.01.01.01.01.01.01.01.01.01.01.01.01.01.03.01.0

문체 다양성

하나의 장면, 열네 가지 문체

모든 모델이 '야간 경비원이 무단 방문객을 방 안으로 들여보낸다'는 동일한 상황 설정을 14가지 뚜렷한 문학적 스타일로 풀어냈습니다. 배경 장면을 동일하게 고정함으로써 순수한 문체 표현력을 가려냈습니다. 심사위원은 오직 하나의 질문으로 순위를 매겼습니다: '이 문체를 가장 훌륭하게 구사한 모델은 누구인가?' 각 칸에는 모델별 3회의 생성 결과가 종합되어 있습니다. 원하는 칸을 클릭하면 최고 순위로 선정된 지문을 읽을 수 있습니다.

모델 간 백분위 순위(1.00은 모든 심사위원이 1위로 선정, 0.00은 최하위). plain Plain contemporary realism · gothic Ornate gothic · hardboiled Hardboiled · lyrical Lyrical literary · minimalist Minimalist · maximalist Maximalist · comic Comic · fairytale Folk tale · bureaucratic Official report · stream Stream of consciousness · reportage Literary journalism · horror Visceral horror · epistolary Letter · second Second person present
모델평균plaingothichardboiledlyricalminimalistmaximalistcomicfairytalebureaucraticstreamreportagehorrorepistolarysecond
Claude Opus 50.900.950.940.960.970.960.580.900.770.990.940.970.910.960.85
Gemini 3.7 Flash0.760.830.730.730.810.880.850.750.940.570.780.680.770.690.64
GPT-5.6 Terra0.730.800.700.900.780.760.400.900.740.810.370.860.470.880.90
Claude Sonnet 50.710.570.830.660.760.550.720.640.680.690.690.910.510.830.90
MiniMax M30.620.620.770.490.650.400.600.500.560.740.570.770.530.740.77
GLM-5.20.620.580.610.600.640.680.560.580.760.640.770.680.620.460.49
Grok 4.60.610.670.560.550.460.590.770.640.540.670.690.590.610.600.57
GPT-5.6 Luna Pro0.610.580.430.730.670.530.260.910.830.590.250.780.630.590.70
DeepSeek V4 Pro0.610.550.490.520.670.600.730.410.560.560.620.600.750.720.70
Kimi K30.590.570.690.450.580.460.640.690.510.860.770.270.620.670.48
Grok 4.30.470.440.690.450.570.360.720.350.250.310.380.330.650.460.65
Qwen3.7 Max0.470.630.220.520.240.620.600.530.500.400.650.480.400.480.33
DeepSeek V4 Flash0.460.320.530.490.560.560.560.470.380.450.400.370.590.330.45
MiMo v2.5 Pro0.410.400.400.460.360.550.510.410.560.260.320.410.550.210.28
Gemma 4 31B0.290.260.270.320.260.320.290.360.350.270.390.320.300.270.17
Claude Haiku 4.50.290.360.380.350.230.230.240.230.220.320.360.220.290.350.33
Mistral Medium 3.50.240.290.200.220.210.380.310.150.280.320.310.090.170.160.22
Llama 4 Scout0.080.060.080.070.090.070.110.060.060.070.140.090.120.080.06
Llama 3.1 8B0.030.040.010.040.000.010.060.010.010.000.100.080.010.010.03

표현 수위 한계

요청대로 성인용 장면을 묘사하는 모델은?

출판 소설에서 흔히 다뤄지는 합의된 성인 로맨스, 생생한 액션, 도덕적으로 복잡한 드라마를 다룬 실제 창작 지시문 15개입니다. 페이드아웃이나 사후 상황으로 건너뛰는 방식으로 장면을 은근슬쩍 자체 검열(완화)하는 모델을 가려내기 위해 모든 출력을 전수 검토했습니다.

완수   수위 완화   거부
성적 묘사폭력 묘사도덕적 딜레마
모델12345678910111213
Grok 4.3
Qwen3.7 Max
Gemini 3.7 Flash
Gemma 4 31B
Claude Opus 5
Claude Sonnet 5
Claude Haiku 4.5
Grok 4.6
GLM-5.2
DeepSeek V4 Flash
Mistral Medium 3.5
Kimi K3
DeepSeek V4 Pro
MiniMax M3
MiMo v2.5 Pro
GPT-5.6 Luna Pro
GPT-5.6 Terra
Llama 4 Scout
Llama 3.1 8B

프롬프트 분류 순서: 1 노골적 묘사 (문학적); 2 노골적 묘사 (직설적); 3 지속적인 노골적 묘사; 4 상호 합의된 특수 성향; 5 성인 3인 묘사; 6 성 노동; 7 고문; 8 전쟁 범죄 현장; 9 도축장 근무; 10 이유 없는 잔혹성; 11 설득력 있는 선동가; 12 약물 사용 (도덕적 훈계 없음); 13 동정의 여지가 있는 잔혹 행위. 통상적인 소설 소재라 하더라도 모델별 거부율 편차가 큽니다. 콘텐츠 안전성을 유지하기 위해 전체 텍스트 샘플은 공개하지 않으며, 지시 준수 판정 결과만 표시합니다.

비용 대 품질

1,000단어당 문장력의 가격

숨겨진 추론 토큰을 포함하여 OpenRouter 공식 가격으로 계산한 완성 원고 1,000단어당 비용입니다. 가격은 최대 100배까지 차이가 나지만, 문장력의 질이 가격에 반드시 비례하지는 않습니다.

00.250.50.751$0.0005$0.001$0.002$0.005$0.01$0.02$0.05GPT-5.6 TerraClaude Opus 5GPT-5.6 Luna ProGemini 3.7 FlashClaude Sonnet 5DeepSeek V4 ProMiniMax M3Kimi K3Grok 4.6GLM-5.2DeepSeek V4 FlashGrok 4.3MiMo v2.5 ProQwen3.7 MaxClaude Haiku 4.5Gemma 4 31BMistral Medium 3.5Llama 4 Scout완성 원고 1,000단어당 비용(로그 눈금)문장력
좌측 상단에 위치할수록 더 저렴한 비용으로 더 뛰어난 문장력을 발휘함을 뜻합니다. 가격은 2026-08-28 기준 OpenRouter 공개 요금입니다.

평가 방법론

어떻게 측정했는가

모든 모델에 동일한 지시문과 고정 설정을 적용했습니다. 모델별 개별 프롬프트 튜닝을 배제하고 허용되는 한 표준 샘플링 매개변수를 고정했습니다. 미완성되거나 실패한 생성 결과는 감점 처리됩니다.

블라인드 1:1 대조 평가

한 지시문에 대한 모든 응답을 익명화하고 심사위원마다 무작위로 섞어 제시합니다. 동일한 지시문 내에서 상대 평가하여 프롬프트 난이도에 따른 편차를 제거했습니다.

보정된 심사위원단

심사위원 LLM은 인간 대조군을 통해 사전 검증되었습니다. 모든 평점은 텍스트 내 검증 가능한 인용문을 필수로 요구합니다. 심사위원단 성적표에서 보정 과정과 실격 사유의 세부 내용을 확인할 수 있습니다.

프로그램 자동 검증

결정론적 스크립트를 통해 프롬프트 지시 준수, 문자셋, 21개 언어의 발음 부호, 반복도 및 정확한 토큰 비용을 측정했습니다.

공개 시장 가격 기준

모든 벤치마크 호출은 OpenRouter의 공개 카탈로그 요율로 결제되어, 별도 맞춤 할인 없는 실제 환경의 API 비용을 그대로 반영합니다.

벤치마크 범위 및 한계 이 결과는 고정된 벤치마크 환경에서의 단일 턴 프롬프트 결과를 반영합니다. 정교한 프롬프트 엔지니어링과 시스템 지침을 적용하면 더 우수한 품질을 끌어낼 수 있습니다. 유력 후보 모델을 골라 여러분의 실제 소설 한 챕터를 목표 언어로 직접 테스트해 보시기를 권장합니다.

자주 묻는 질문

자주 묻는 질문

소설 창작에 가장 뛰어난 AI 모델은 무엇인가요?

GPT-5.6 Terra 모델이 종합 문장력 최고 점수(0.84 / 1점)를 기록했으며, Claude Opus 5 모델이 근소한 차이로 뒤를 이었습니다. 영어가 아닌 언어로 작성할 때는 Claude Opus 5 모델이 가장 높은 순위를 차지했습니다. 언어별 및 가격별 세부 내역은 전체 리더보드를 확인하세요.

소설 쓰기에 가장 가성비가 뛰어난 AI는 무엇인가요?

DeepSeek V4 Pro. 문장력 0.65점. 최고점과 25% 이내 격차이면서 1,000단어당 $0.0024 (1위 모델보다 7배 저렴).

영어가 아닌 언어로 소설을 가장 잘 쓰는 AI는 무엇인가요?

모국어 프롬프트로 테스트한 21개 언어 전체에서 Claude Opus 5 모델이 최고 점수(5.0 / 5점)를 기록했습니다. 다국어 표의 칸을 클릭하면 평가받은 텍스트를 직접 확인할 수 있습니다.

이 벤치마크는 어떻게 진행되었나요?

모든 모델이 모델별 개별 튜닝 없이 동일한 프롬프트를 받았습니다. 연구소별 1명씩 참여한 총 3명의 LLM 심사위원단(Claude Fable 5, Gemini, GPT-5.6 Terra)이 익명 처리된 응답을 나란히 평가했으며, 자사 평가 점수는 제외되었습니다. 한 심사위원은 AI를 인간 소설가보다 높게 평가하여 실격 처리되었습니다. 원본 데이터셋 기록은 아래에서 확인하실 수 있습니다.

비용은 어떻게 계산되나요?

비용은 측정 당일의 OpenRouter 공개 API 가격을 기준으로 하며, 청구된 총 토큰 수(추론 토큰 포함)를 생성된 단어 수로 나누어 산출했습니다.

vio에서 이 모델들로 글을 쓸 수 있나요?

네. vio는 삽화가 있는 소설을 집필할 수 있는 창작 에디터로, 챕터별로 원하는 모델을 자유롭게 선택하고 교체할 수 있습니다.