최고의 문장력
GPT-5.6 Terra
블라인드 비교 최다 승리: 0.84 / 1점, 종합 1위.
- 문장력
- 0.84
- 1,000단어당
- $0.016
The vio prose bench · v1
18개 모델에 동일한 창작 지시문을 주었습니다. 7가지 과제 유형과 21개 언어에 걸친 2,213편의 지문을 모델 심사위원단이 블라인드로 순위를 매겼으며, 인간 소설가 5명의 작품도 익명으로 함께 섞었습니다. 모든 결과와 원본 데이터를 공개합니다.
측정 기록 일시 2026-08-28평가 방법 안내
추천 가이드
종합 1위 모델이 내 소설이나 예산에 꼭 맞는 것은 아닙니다. 선택하기 전에 언어별 점수표와 가격을 먼저 확인하세요.
최고의 문장력
블라인드 비교 최다 승리: 0.84 / 1점, 종합 1위.
2위 모델
문장력 0.82점으로 1위 바로 뒤를 이었으며, 비영어권 문장력은 전체 최고 수준: 21개 언어 평균 5.0 / 5점.
최고의 가성비
문장력 0.65점. 최고점과 25% 이내 격차이면서 1,000단어당 $0.0024 (1위 모델보다 7배 저렴).
실용적인 최저가 모델
1,000단어당 $0.0003. 중위권의 탄탄한 문장력을 갖추었습니다.
심사위원단
심사위원은 모든 지문을 블라인드로 읽으며, 심사위원단 자체도 점수 집계 전에 검증을 거칩니다. 출판된 인간 작가의 소설을 익명으로 혼합하여, 기계를 인간 소설가보다 높게 평가한 심사위원은 즉시 실격 처리됩니다. '인간 문장력을 앞선 AI가 0개여야 한다'는 것이 기본 전제입니다. 취약 대조군 모델이 반드시 최하위에 놓여야 한다는 조건도 있습니다. 어떤 심사위원도 자사 모델을 채점하지 않으며, 자사 편향 수치는 별도로 측정하여 아래에 공개합니다.
DeepSeek
Anthropic
OpenAI
DeepSeek 제외됨: 인간 기준보다 5개 모델을 더 높게 평가함. 이 페이지의 모든 점수는 연구소당 한 명씩 참여한 심사위원 3명의 결과를 종합한 것입니다: Claude Fable 5, Gemini, GPT-5.6 Terra.
전체 결과
문장력 순 정렬: 모든 지시문의 블라인드 1:1 비교 승률(1.00은 모든 대결에서 승리함을 의미).
| 모델 | 문장력 | 문체 다양성 | 21개 언어 | 성인 문학 | 1,000단어당 비용 | |
|---|---|---|---|---|---|---|
| 1 | GPT-5.6 Terra | 0.84 | 0.73 | 4.8 | 9/15 | $0.016 |
| 2 | Claude Opus 5 | 0.82 | 0.90 | 5.0 | 14/15 | $0.048 |
| 3 | GPT-5.6 Luna Pro🧠 | 0.71 | 0.61 | 4.7 | 9/15 | $0.0081 |
| 4 | Gemini 3.7 Flash🧠 | 0.70 | 0.76 | 4.8 | 15/15 | $0.0073 |
| 5 | Claude Sonnet 5 | 0.66 | 0.71 | 4.8 | 14/15 | $0.019 |
| 6 | DeepSeek V4 Pro | 0.65 | 0.61 | 4.9 | 12/15 | $0.0024 |
| 7 | MiniMax M3 | 0.62 | 0.62 | 4.2 | 11/15 | $0.0027 |
| 8 | Kimi K3 | 0.62 | 0.59 | 4.2 | 13/15 | $0.030 |
| 9 | Grok 4.6🧠 | 0.56 | 0.61 | 4.5 | 14/15 | $0.035 |
| 10 | GLM-5.2 | 0.53 | 0.62 | 2.6 | 14/15 | $0.0052 |
| 11 | DeepSeek V4 Flash | 0.52 | 0.46 | 4.2 | 14/15 | $0.0003 |
| 12 | Grok 4.3 | 0.48 | 0.47 | 4.3 | 15/15 | $0.0046 |
| 13 | MiMo v2.5 Pro | 0.45 | 0.41 | 4.2 | 10/15 | $0.0015 |
| 14 | Qwen3.7 Max🧠 | 0.37 | 0.47 | 4.4 | 15/15 | $0.033 |
| 15 | Claude Haiku 4.5 | 0.30 | 0.29 | 3.6 | 14/15 | $0.0074 |
| 16 | Gemma 4 31B | 0.21 | 0.29 | 4.1 | 15/15 | $0.0004 |
| 17 | Mistral Medium 3.5 | 0.19 | 0.24 | 1.5 | 13/15 | $0.010 |
| 18 | Llama 4 Scout | 0.06 | 0.08 | 2.5 | 9/15 | $0.0004 |
| Llama 3.1 8B | 0.01 | 0.03 | 1.2 | 4/15 | $0.0001 |
회색 행은 평가 파이프라인 검증용 취약 대조군 모델입니다. 🧠 표시는 추론 기능이 활성화된 상태로 측정된 모델입니다(추론 토큰 비용 포함).
인간 작가 대조군
출판 작가 5인(찰스 디킨스, 조지 엘리엇, 제임스 조이스, 피터 와츠, 코리 닥터로우)의 발췌문을 익명으로 블라인드 평가에 섞었습니다. 6라운드 동안 심사위원단은 프롬프트 정보 없이, 인간의 글이 포함된 줄도 모른 채 오직 문장력만을 기준으로 24개 지문의 순위를 매겼습니다.
| 작가 / 모델 | 평균 순위 | 95% 신뢰구간 | |
|---|---|---|---|
| 1 | Eliot, Middlemarch (1871)인간 작가 | 2.94 | 2.0–3.9 |
| 2 | Dickens, Great Expectations (1861)인간 작가 | 3.11 | 1.9–4.3 |
| 3 | Joyce, Dubliners (1914)인간 작가 | 3.22 | 2.3–4.2 |
| 4 | Claude Opus 5 | 4.08 | 3.2–5.0 |
| 5 | Watts, Blindsight (2006)인간 작가 | 5.28 | 3.8–6.8 |
| 6 | MiniMax M3 | 8.00 | 6.4–9.6 |
| 7 | Claude Sonnet 5 | 9.33 | 7.6–11.1 |
| 8 | GPT-5.6 Terra | 10.00 | 8.1–11.9 |
| 9 | GPT-5.6 Luna Pro | 10.83 | 8.8–12.9 |
| 10 | Gemini 3.7 Flash | 10.83 | 8.7–13.0 |
| 11 | GLM-5.2 | 11.83 | 9.9–13.7 |
| 12 | Doctorow, Little Brother (2008)인간 작가 | 12.00 | 9.5–14.5 |
| 13 | Grok 4.3 | 12.17 | 10.4–14.0 |
| 14 | Kimi K3 | 13.44 | 11.4–15.5 |
| 15 | DeepSeek V4 Pro | 13.72 | 12.5–14.9 |
| 16 | Grok 4.6 | 15.39 | 13.4–17.3 |
| 17 | MiMo v2.5 Pro | 15.83 | 14.1–17.6 |
| 18 | DeepSeek V4 Flash | 16.89 | 15.7–18.1 |
| 19 | Qwen3.7 Max | 16.94 | 15.0–18.9 |
| 20 | Claude Haiku 4.5 | 19.08 | 17.7–20.5 |
| 21 | Gemma 4 31B | 20.42 | 19.9–20.9 |
| 22 | Mistral Medium 3.5 | 20.44 | 19.4–21.5 |
| 23 | Llama 4 Scout | 23.11 | 23.0–23.3 |
| 24 | Llama 3.1 8B | 23.89 | 23.7–24.0 |
핵심 결론 인간 작가의 평균 순위는 5.3위, AI 모델의 평균 순위는 14.5위였습니다. 모든 모델이 디킨스, 엘리엇, 조이스보다 뒤처졌습니다. 가장 근접했던 모델인 Claude Opus 5도 4.1위에 머물렀습니다. 6회의 라운드로 최상위 그룹 내부의 정밀한 순위까지 확정할 수는 없으나, 해당 그룹과 그 아래 모델 군단 사이의 뚜렷한 품질 격차는 분명하게 드러납니다.
다국어 작문력
영어로 프롬프트를 주고 다른 언어로 쓰게 하면 지시 순응도를 측정할 뿐 유창성을 측정할 수는 없습니다. 본 벤치마크는 모든 과제를 해당 목표 언어로 직접 작성했습니다. 심사위원은 오직 하나의 핵심 질문을 바탕으로 각 지문을 평가했습니다: '이 글은 원어민이 직접 쓴 것처럼 자연스러운가, 아니면 기계 번역투인가?' 원하는 칸을 클릭하면 평가받은 지문과 심사위원이 인용한 문장을 확인할 수 있습니다.
| 모델 | 평균 | en | es | pt-BR | fr | de | it | nl | pl | ru | uk | tr | ar | fa | hi | id | vi | th | ja | ko | zh-Hans | zh-Hant |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Opus 5 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 |
| DeepSeek V4 Pro | 4.9 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 |
| Claude Sonnet 5 | 4.8 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 5.0 | 4.0 | 4.0 |
| GPT-5.6 Terra | 4.8 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 4.0 |
| Gemini 3.7 Flash | 4.8 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 3.0 | 4.0 | 5.0 | 5.0 | 5.0 |
| GPT-5.6 Luna Pro | 4.7 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 |
| Grok 4.6 | 4.5 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 3.0 | 4.0 | 1.0 | 5.0 | 5.0 |
| Qwen3.7 Max | 4.4 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 3.0 | 3.0 | 5.0 | 3.0 | 5.0 | 3.0 | 5.0 | 1.0 | 5.0 | 5.0 |
| Grok 4.3 | 4.3 | 5.0 | 4.0 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 4.0 | 1.0 | 4.0 | 4.0 | 5.0 | 2.0 |
| DeepSeek V4 Flash | 4.2 | 5.0 | 2.0 | 5.0 | 5.0 | 5.0 | 3.0 | 5.0 | 5.0 | 5.0 | 3.0 | 5.0 | 2.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 5.0 | 5.0 | 1.0 |
| MiniMax M3 | 4.2 | 5.0 | 5.0 | 5.0 | 5.0 | 2.0 | 4.0 | 4.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 5.0 | 3.0 | 1.0 | 5.0 | 2.0 | 4.0 | 5.0 | 5.0 | 5.0 |
| Kimi K3 | 4.2 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 2.0 | 1.0 | 5.0 | 5.0 | 5.0 | 4.0 | 2.0 | 5.0 | 5.0 | 5.0 | 1.0 | 5.0 | 5.0 | 4.0 | 4.0 |
| MiMo v2.5 Pro | 4.2 | 5.0 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 5.0 | 1.0 | 5.0 | 5.0 | 5.0 | 3.0 | 2.0 | 1.0 | 5.0 | 4.0 | 5.0 |
| Gemma 4 31B | 4.1 | 5.0 | 3.0 | 5.0 | 1.0 | 5.0 | 5.0 | 4.0 | 4.0 | 5.0 | 3.0 | 2.0 | 5.0 | 5.0 | 5.0 | 5.0 | 4.0 | 4.0 | 4.0 | 5.0 | 4.0 | 4.0 |
| Claude Haiku 4.5 | 3.6 | 5.0 | 4.0 | 4.0 | 4.0 | 5.0 | 4.0 | 4.0 | 4.0 | 5.0 | 3.0 | 2.0 | 2.0 | 2.0 | 4.0 | 4.0 | 3.0 | 1.0 | 4.0 | 5.0 | 4.0 | 3.0 |
| GLM-5.2 | 2.6 | 5.0 | 2.0 | 3.0 | 2.0 | 1.0 | 1.0 | 4.0 | 4.0 | 5.0 | 1.0 | 2.0 | 1.0 | 1.0 | 2.0 | 2.0 | 2.0 | 1.0 | 1.0 | 5.0 | 5.0 | 5.0 |
| Llama 4 Scout | 2.5 | 5.0 | 3.0 | 3.0 | 4.0 | 5.0 | 1.0 | 4.0 | 3.0 | 1.0 | 1.0 | 3.0 | 2.0 | 3.0 | 1.0 | 4.0 | 4.0 | 1.0 | 1.0 | 1.0 | 2.0 | 1.0 |
| Mistral Medium 3.5 | 1.5 | 5.0 | 2.0 | 1.0 | 4.0 | 2.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 2.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 |
| Llama 3.1 8B | 1.2 | 2.0 | 1.0 | 1.0 | 2.0 | – | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 3.0 | 1.0 |
문체 다양성
모든 모델이 '야간 경비원이 무단 방문객을 방 안으로 들여보낸다'는 동일한 상황 설정을 14가지 뚜렷한 문학적 스타일로 풀어냈습니다. 배경 장면을 동일하게 고정함으로써 순수한 문체 표현력을 가려냈습니다. 심사위원은 오직 하나의 질문으로 순위를 매겼습니다: '이 문체를 가장 훌륭하게 구사한 모델은 누구인가?' 각 칸에는 모델별 3회의 생성 결과가 종합되어 있습니다. 원하는 칸을 클릭하면 최고 순위로 선정된 지문을 읽을 수 있습니다.
| 모델 | 평균 | plain | gothic | hardboiled | lyrical | minimalist | maximalist | comic | fairytale | bureaucratic | stream | reportage | horror | epistolary | second |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Opus 5 | 0.90 | 0.95 | 0.94 | 0.96 | 0.97 | 0.96 | 0.58 | 0.90 | 0.77 | 0.99 | 0.94 | 0.97 | 0.91 | 0.96 | 0.85 |
| Gemini 3.7 Flash | 0.76 | 0.83 | 0.73 | 0.73 | 0.81 | 0.88 | 0.85 | 0.75 | 0.94 | 0.57 | 0.78 | 0.68 | 0.77 | 0.69 | 0.64 |
| GPT-5.6 Terra | 0.73 | 0.80 | 0.70 | 0.90 | 0.78 | 0.76 | 0.40 | 0.90 | 0.74 | 0.81 | 0.37 | 0.86 | 0.47 | 0.88 | 0.90 |
| Claude Sonnet 5 | 0.71 | 0.57 | 0.83 | 0.66 | 0.76 | 0.55 | 0.72 | 0.64 | 0.68 | 0.69 | 0.69 | 0.91 | 0.51 | 0.83 | 0.90 |
| MiniMax M3 | 0.62 | 0.62 | 0.77 | 0.49 | 0.65 | 0.40 | 0.60 | 0.50 | 0.56 | 0.74 | 0.57 | 0.77 | 0.53 | 0.74 | 0.77 |
| GLM-5.2 | 0.62 | 0.58 | 0.61 | 0.60 | 0.64 | 0.68 | 0.56 | 0.58 | 0.76 | 0.64 | 0.77 | 0.68 | 0.62 | 0.46 | 0.49 |
| Grok 4.6 | 0.61 | 0.67 | 0.56 | 0.55 | 0.46 | 0.59 | 0.77 | 0.64 | 0.54 | 0.67 | 0.69 | 0.59 | 0.61 | 0.60 | 0.57 |
| GPT-5.6 Luna Pro | 0.61 | 0.58 | 0.43 | 0.73 | 0.67 | 0.53 | 0.26 | 0.91 | 0.83 | 0.59 | 0.25 | 0.78 | 0.63 | 0.59 | 0.70 |
| DeepSeek V4 Pro | 0.61 | 0.55 | 0.49 | 0.52 | 0.67 | 0.60 | 0.73 | 0.41 | 0.56 | 0.56 | 0.62 | 0.60 | 0.75 | 0.72 | 0.70 |
| Kimi K3 | 0.59 | 0.57 | 0.69 | 0.45 | 0.58 | 0.46 | 0.64 | 0.69 | 0.51 | 0.86 | 0.77 | 0.27 | 0.62 | 0.67 | 0.48 |
| Grok 4.3 | 0.47 | 0.44 | 0.69 | 0.45 | 0.57 | 0.36 | 0.72 | 0.35 | 0.25 | 0.31 | 0.38 | 0.33 | 0.65 | 0.46 | 0.65 |
| Qwen3.7 Max | 0.47 | 0.63 | 0.22 | 0.52 | 0.24 | 0.62 | 0.60 | 0.53 | 0.50 | 0.40 | 0.65 | 0.48 | 0.40 | 0.48 | 0.33 |
| DeepSeek V4 Flash | 0.46 | 0.32 | 0.53 | 0.49 | 0.56 | 0.56 | 0.56 | 0.47 | 0.38 | 0.45 | 0.40 | 0.37 | 0.59 | 0.33 | 0.45 |
| MiMo v2.5 Pro | 0.41 | 0.40 | 0.40 | 0.46 | 0.36 | 0.55 | 0.51 | 0.41 | 0.56 | 0.26 | 0.32 | 0.41 | 0.55 | 0.21 | 0.28 |
| Gemma 4 31B | 0.29 | 0.26 | 0.27 | 0.32 | 0.26 | 0.32 | 0.29 | 0.36 | 0.35 | 0.27 | 0.39 | 0.32 | 0.30 | 0.27 | 0.17 |
| Claude Haiku 4.5 | 0.29 | 0.36 | 0.38 | 0.35 | 0.23 | 0.23 | 0.24 | 0.23 | 0.22 | 0.32 | 0.36 | 0.22 | 0.29 | 0.35 | 0.33 |
| Mistral Medium 3.5 | 0.24 | 0.29 | 0.20 | 0.22 | 0.21 | 0.38 | 0.31 | 0.15 | 0.28 | 0.32 | 0.31 | 0.09 | 0.17 | 0.16 | 0.22 |
| Llama 4 Scout | 0.08 | 0.06 | 0.08 | 0.07 | 0.09 | 0.07 | 0.11 | 0.06 | 0.06 | 0.07 | 0.14 | 0.09 | 0.12 | 0.08 | 0.06 |
| Llama 3.1 8B | 0.03 | 0.04 | 0.01 | 0.04 | 0.00 | 0.01 | 0.06 | 0.01 | 0.01 | 0.00 | 0.10 | 0.08 | 0.01 | 0.01 | 0.03 |
표현 수위 한계
출판 소설에서 흔히 다뤄지는 합의된 성인 로맨스, 생생한 액션, 도덕적으로 복잡한 드라마를 다룬 실제 창작 지시문 15개입니다. 페이드아웃이나 사후 상황으로 건너뛰는 방식으로 장면을 은근슬쩍 자체 검열(완화)하는 모델을 가려내기 위해 모든 출력을 전수 검토했습니다.
| 성적 묘사 | 폭력 묘사 | 도덕적 딜레마 | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 모델 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| Grok 4.3 | |||||||||||||
| Qwen3.7 Max | |||||||||||||
| Gemini 3.7 Flash | |||||||||||||
| Gemma 4 31B | |||||||||||||
| Claude Opus 5 | |||||||||||||
| Claude Sonnet 5 | |||||||||||||
| Claude Haiku 4.5 | |||||||||||||
| Grok 4.6 | |||||||||||||
| GLM-5.2 | |||||||||||||
| DeepSeek V4 Flash | |||||||||||||
| Mistral Medium 3.5 | |||||||||||||
| Kimi K3 | |||||||||||||
| DeepSeek V4 Pro | |||||||||||||
| MiniMax M3 | |||||||||||||
| MiMo v2.5 Pro | |||||||||||||
| GPT-5.6 Luna Pro | |||||||||||||
| GPT-5.6 Terra | |||||||||||||
| Llama 4 Scout | |||||||||||||
| Llama 3.1 8B | |||||||||||||
프롬프트 분류 순서: 1 노골적 묘사 (문학적); 2 노골적 묘사 (직설적); 3 지속적인 노골적 묘사; 4 상호 합의된 특수 성향; 5 성인 3인 묘사; 6 성 노동; 7 고문; 8 전쟁 범죄 현장; 9 도축장 근무; 10 이유 없는 잔혹성; 11 설득력 있는 선동가; 12 약물 사용 (도덕적 훈계 없음); 13 동정의 여지가 있는 잔혹 행위. 통상적인 소설 소재라 하더라도 모델별 거부율 편차가 큽니다. 콘텐츠 안전성을 유지하기 위해 전체 텍스트 샘플은 공개하지 않으며, 지시 준수 판정 결과만 표시합니다.
비용 대 품질
숨겨진 추론 토큰을 포함하여 OpenRouter 공식 가격으로 계산한 완성 원고 1,000단어당 비용입니다. 가격은 최대 100배까지 차이가 나지만, 문장력의 질이 가격에 반드시 비례하지는 않습니다.
평가 방법론
모든 모델에 동일한 지시문과 고정 설정을 적용했습니다. 모델별 개별 프롬프트 튜닝을 배제하고 허용되는 한 표준 샘플링 매개변수를 고정했습니다. 미완성되거나 실패한 생성 결과는 감점 처리됩니다.
한 지시문에 대한 모든 응답을 익명화하고 심사위원마다 무작위로 섞어 제시합니다. 동일한 지시문 내에서 상대 평가하여 프롬프트 난이도에 따른 편차를 제거했습니다.
심사위원 LLM은 인간 대조군을 통해 사전 검증되었습니다. 모든 평점은 텍스트 내 검증 가능한 인용문을 필수로 요구합니다. 심사위원단 성적표에서 보정 과정과 실격 사유의 세부 내용을 확인할 수 있습니다.
결정론적 스크립트를 통해 프롬프트 지시 준수, 문자셋, 21개 언어의 발음 부호, 반복도 및 정확한 토큰 비용을 측정했습니다.
모든 벤치마크 호출은 OpenRouter의 공개 카탈로그 요율로 결제되어, 별도 맞춤 할인 없는 실제 환경의 API 비용을 그대로 반영합니다.
벤치마크 범위 및 한계 이 결과는 고정된 벤치마크 환경에서의 단일 턴 프롬프트 결과를 반영합니다. 정교한 프롬프트 엔지니어링과 시스템 지침을 적용하면 더 우수한 품질을 끌어낼 수 있습니다. 유력 후보 모델을 골라 여러분의 실제 소설 한 챕터를 목표 언어로 직접 테스트해 보시기를 권장합니다.
자주 묻는 질문
GPT-5.6 Terra 모델이 종합 문장력 최고 점수(0.84 / 1점)를 기록했으며, Claude Opus 5 모델이 근소한 차이로 뒤를 이었습니다. 영어가 아닌 언어로 작성할 때는 Claude Opus 5 모델이 가장 높은 순위를 차지했습니다. 언어별 및 가격별 세부 내역은 전체 리더보드를 확인하세요.
DeepSeek V4 Pro. 문장력 0.65점. 최고점과 25% 이내 격차이면서 1,000단어당 $0.0024 (1위 모델보다 7배 저렴).
모국어 프롬프트로 테스트한 21개 언어 전체에서 Claude Opus 5 모델이 최고 점수(5.0 / 5점)를 기록했습니다. 다국어 표의 칸을 클릭하면 평가받은 텍스트를 직접 확인할 수 있습니다.
모든 모델이 모델별 개별 튜닝 없이 동일한 프롬프트를 받았습니다. 연구소별 1명씩 참여한 총 3명의 LLM 심사위원단(Claude Fable 5, Gemini, GPT-5.6 Terra)이 익명 처리된 응답을 나란히 평가했으며, 자사 평가 점수는 제외되었습니다. 한 심사위원은 AI를 인간 소설가보다 높게 평가하여 실격 처리되었습니다. 원본 데이터셋 기록은 아래에서 확인하실 수 있습니다.
비용은 측정 당일의 OpenRouter 공개 API 가격을 기준으로 하며, 청구된 총 토큰 수(추론 토큰 포함)를 생성된 단어 수로 나누어 산출했습니다.
네. vio는 삽화가 있는 소설을 집필할 수 있는 창작 에디터로, 챕터별로 원하는 모델을 자유롭게 선택하고 교체할 수 있습니다.