ThaiEval-2026 v3 · วัดจริงบน DGX Spark
ผลทดสอบภาษาไทยของโมเดลที่เราติดตั้งให้
ชุดคำถามภาษาไทย 170 ข้อ 7 แกน ตรวจด้วย judge เดียวกันทุกโมเดล คะแนนหลัก = เนื้อหาถูก × ตอบเป็นไทยจริง · ใช้เป็นจุดเริ่มต้นเลือกโมเดล แล้วเทียบกับความเร็วและหน่วยความจำที่งานคุณต้องใช้
LLM ภาษาไทย
เขียว ≥ 90 · เหลือง 80–89 · แดง < 80 · รายการที่ระบุ “อ้างอิง” ใช้หน่วยความจำเกิน 128 GB วัดไว้เป็นเพดานเท่านั้น ไม่ใช่ configuration ที่ส่งมอบ
| # | โมเดล · quant · engine | รวม | ภาษา | ร้อยแก้ว | ยาว | ความรู้ | เหตุผล | ทำตามคำสั่ง | ปลอดภัย |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Qwen3.8-Flash-Next F16 (ceiling) · llama.cpp · 354GB · อ้างอิง (เกิน 128 GB) | 94.7 | 88.9 | 81.5 | 96.2 | 90.0 | 100.0 | 99.2 | 99.2 |
| 2 | Qwen3.8-Flash-Next UD-Q2 (Unsloth) · llama.cpp · 79GB | 94.3 | 86.4 | 87.7 | 96.2 | 87.6 | 99.9 | 99.2 | 98.8 |
| 3 | Qwen3.8-Flash-Next MQ-Q5 SSD-PLE (Baekpica) · ds4-dfm-rs · 83GB+102GB PLE | 92.4 | 89.4 | 66.6 | 96.2 | 88.8 | 100.0 | 95.4 | 99.2 |
| 4 | DeepSeek-V4-Flash IQ2 (Unsloth) · llamacpp · 85GB | 88.8 | 77.5 | 63.1 | 96.2 | 82.8 | 97.2 | 98.6 | 94.8 |
| 5 | Qwen3.8-27B UD-Q4 · llama.cpp · 17G | 86.9 | 79.0 | 43.2 | 88.5 | 78.4 | 99.9 | 98.5 | 98.3 |
| 6 | Qwen3.8-27B GSQ-RCO IQ2_S 2.75bpw · llama.cpp · 9.26 GB | 83.5 | 77.9 | 32.5 | 96.2 | 68.0 | 97.4 | 95.6 | 97.6 |
| 7 | Qwen3.6-35B-A3B TD-Q2K · llama.cpp · 13GB | 82.3 | 65.4 | 33.4 | 100.0 | 62.0 | 100.0 | 95.8 | 99.2 |
| 8 | GLM-5.3-Flash UD-IQ1_S (low) · llamacpp · 87GB | 73.1 | 52.4 | 21.8 | 96.2 | 63.2 | 98.1 | 75.8 | 86.9 |
| 9 | Nemotron 3.5 Lightning 30B-A3B UD-Q4_K_XL + MTP · llama.cpp · 25.5GB | 67.8 | 38.4 | 20.9 | 89.2 | 38.6 | 93.3 | 84.4 | 92.2 |
คะแนนหลัก=thai_final (content×language penalty) · single-judge graded 0-1 · ปิด thinking ทุกโมเดลตอนวัด (thinking ทำให้การทำตามคำสั่งเพี้ยน) · อัปเดต 2026-09-28 · โมเดลที่วัดแล้วทั้งหมดเลือกโหลดได้จากหน้า AI Server
เสียงพูดภาษาไทย
ชุดทดสอบตามงานวิจัย Wayu (arXiv 2609.03502): คำสำคัญถูก 1,531 ประโยค + จังหวะ — เทียบเสียงที่เทรนเองใน Voice Studio กับเสียงอ้างอิง
| เสียง | คำสำคัญถูก | ไทยปนอังกฤษ | จังหวะหยุด |
|---|---|---|---|
| Gemini TTS (คลาวด์, อ้างอิงงานวิจัย) | 79.8 | — | 0.914 |
| Wayu-Paxa-Edge (อ้างอิงงานวิจัย) | 68.2 | — | — |
| เสียงเทรนเองบน Spark — ดีสุด | 67.4 | 71.1 | 0.938 |
| เสียงเทรนเองบน Spark — เฉลี่ย 6 เสียง | 64.0 | 63.2 | 0.912 |
วัด 2026-09-09 บน ASR ชุดเดียวกันทุกเสียง · ตัวเลขเทียบกันเองได้ตรง เทียบกับงานวิจัยให้เผื่อความต่างของ ASR
โมเดลสร้างภาพ
เวลาต่อภาพ 960×544 บน DGX Spark และความสามารถที่ต่างกัน
| โมเดล | ภาพจากข้อความ | ล็อกตัวละครจากรูปอ้างอิง | ข้อความไทยในภาพ |
|---|---|---|---|
| Flux-2 Klein 4B | 12 วิ | 24 วิ · ดีมาก | ไม่ได้ |
| Flux-2 Klein 9B | 21 วิ | 45 วิ · ดีมาก | ไม่ได้ |
| Flux-2 dev | 36 วิ | 117 วิ · ดี | ใกล้เคียง |
| Z-Image Turbo | 6 วิ | — | ใกล้เคียง |
| Qwen-Image 2512 | 51-72 วิ | — | ผิด |
960×544 · วัด 2026-09-09 · “ใกล้เคียง” = อ่านออกแต่สะกดผิด 1-2 ตัว ยังไม่มีโมเดลใดสะกดไทยได้แม่น
วิธีอ่านผล
- คะแนนไม่ใช่การรับรองทุกงานชุดคำถามสะท้อนงานทั่วไปภาษาไทย งานเฉพาะทางควรทดสอบด้วยข้อมูลของคุณ นัดทดลองบนเครื่องจริงได้
- quant เดียวกัน คะแนนต่างได้quant ที่ปรับด้วยข้อมูลไทย (imatrix) ให้ผลต่างจาก quant ทั่วไปโดยเฉพาะที่ 2-bit
- ความเร็วกับคุณภาพแลกกันโมเดลใหญ่ 2-bit vs โมเดลกลาง 8-bit ให้เลือกตามงาน หน้า AI Server สลับได้ในนาที
- อยากดูวิธีวัดอธิบายไว้ในคอร์ส Model & Inference Engine และบทความ บล็อก