บทความโดยทีม AIServer.in.th — 12 กันยายน 2026
ช่วงนี้มีข่าวเกี่ยวกับการรันโมเดลภาษาบน NVIDIA Jetson AGX Thor ออกมาถี่ขึ้น โดยเฉพาะข่าวที่มีคนเอา Qwen3.8-Flash-Next ซึ่งเป็นโมเดล 176B ขึ้นไปรันบนมันได้แล้วถึงสามวิธี ทีมเราซึ่งอยู่กับ DGX Spark ทุกวันเลยถือโอกาสนี้เขียนแนะนำเครื่องตัวนี้ตั้งแต่ต้น พร้อมสรุปข่าวและตัวเลขจริง เพื่อตอบคำถามที่ลูกค้าถามเรามากขึ้นเรื่อยๆ ว่า “Thor กับ Spark ต่างกันตรงไหน ควรซื้อตัวไหน”
Jetson AGX Thor คืออะไร
Jetson คือตระกูล “คอมพิวเตอร์ฝังตัว” ของ NVIDIA ที่ออกแบบให้อยู่ในตัวหุ่นยนต์ รถ โดรน หรือกล้องอัจฉริยะ รุ่นที่คนรู้จักกันมากคือ Jetson Nano และ Jetson AGX Orin ส่วน Thor คือรุ่นบนสุดรุ่นใหม่ที่ NVIDIA เปิดขายเมื่อ 25 สิงหาคม 2025 ในราคาชุดพัฒนา (Developer Kit) 3,499 ดอลลาร์ และโมดูล T5000 สำหรับผลิตจำนวนมาก 2,999 ดอลลาร์เมื่อสั่งพันชิ้นขึ้นไป
สเปกหลักตามหน้าผลิตภัณฑ์ของ NVIDIA
| Jetson AGX Thor (T5000) | |
|---|---|
| GPU | Blackwell 2,560 CUDA core, Tensor Core รุ่นที่ 5, ความถี่สูงสุด 1.57 GHz |
| กำลัง AI | 2,070 TFLOPS ที่ FP4 (แบบ sparse) |
| CPU | Arm Neoverse V3AE 14 คอร์ 2.6 GHz |
| หน่วยความจำ | 128 GB LPDDR5X 256 บิต แบนด์วิดท์ 273 GB/s (ใช้ร่วมกันระหว่าง CPU และ GPU) |
| เก็บข้อมูล | ช่อง M.2 NVMe 1 TB |
| ไฟ | 40–130 วัตต์ ปรับได้ |
| เครือข่าย | QSFP28 แยกเป็น 4 × 25 GbE + 5 GbE รวมราว 105 Gbps |
| ขนาด | 243 × 112 × 57 มม. (ชุดพัฒนา) |
NVIDIA บอกว่ามันแรงกว่า Jetson AGX Orin รุ่นก่อน 7.5 เท่าในงาน AI, CPU แรงขึ้น 3.1 เท่า และหน่วยความจำมากขึ้น 2 เท่า ลูกค้ากลุ่มแรกที่ประกาศชื่อคือผู้ผลิตหุ่นยนต์ฮิวแมนนอยด์ Agility Robotics (Digit) และ Boston Dynamics (Atlas) พร้อมซอฟต์แวร์ฝั่งหุ่นยนต์ของ NVIDIA ครบชุด ทั้ง Isaac, GR00T, Metropolis และ Holoscan
จะเห็นว่ามันไม่ได้เกิดมาเพื่อเป็น “เครื่อง LLM ตั้งโต๊ะ” แบบ Spark แต่เกิดมาเพื่อเป็นสมองของหุ่นยนต์ที่ต้องรับภาพจากกล้องหลายตัวพร้อมกัน ประมวลผลแบบเรียลไทม์ และกินไฟจำกัด สิ่งที่ทำให้มันเข้ามาอยู่ในบทสนทนาเรื่อง LLM คือหน่วยความจำ 128 GB ก้อนเดียวกันที่ Spark มี
Thor กับ DGX Spark ต่างกันตรงไหน
ทั้งสองเครื่องเป็น Blackwell รุ่นเล็ก มีหน่วยความจำรวม 128 GB LPDDR5X แบนด์วิดท์ 273 GB/s เท่ากัน จึงโหลดโมเดลขนาดเท่ากันได้ ความต่างอยู่ที่ “กำลังคำนวณ” และ “งานที่ออกแบบมาให้ทำ”
| DGX Spark (GB10) | Jetson AGX Thor (T5000) | |
|---|---|---|
| CUDA core | 6,144 | 2,560 |
| SM | 48 | 20 |
| หน่วยความจำ | 128 GB, 273 GB/s | 128 GB, 273 GB/s |
| CPU | Grace 20 คอร์ (Arm) | Neoverse V3AE 14 คอร์ |
| ไฟ | ~240 วัตต์ | 40–130 วัตต์ |
| เครือข่าย | ConnectX-7 200 GbE | 4 × 25 GbE |
| จุดขาย | AI workstation, ต่อสองเครื่องเป็นคลัสเตอร์ | สมองหุ่นยนต์/ยานยนต์, กล้องหลายตัว, ประหยัดไฟ |
| ชุดพัฒนา | ~3,999 ดอลลาร์ (ขึ้นกับรุ่น) | 3,499 ดอลลาร์ |
SM คืออะไร ทำไมเลขนี้ถึงสำคัญ
SM ย่อจาก Streaming Multiprocessor คือหน่วยประมวลผลหลักของ GPU NVIDIA เปรียบเหมือน “คอร์ใหญ่” หนึ่งตัว ข้างในมี CUDA core 128 ตัว, Tensor Core ที่ใช้คูณเมทริกซ์, register และหน่วยความจำแคชของตัวเอง GPU ทั้งตัวคือ SM หลายตัวต่อกับหน่วยความจำก้อนเดียว ดังนั้น 2,560 CUDA core ของ Thor คือ 20 SM ส่วน 6,144 ของ Spark คือ 48 SM
เลขนี้กำหนดพฤติกรรมของ LLM สองแบบ
- prefill (ตอนอ่าน prompt) เป็นงานคูณเมทริกซ์ที่ใช้ SM ทุกตัวพร้อมกัน จำนวน SM จึงแปลงเป็นความเร็วเกือบตรงตัว Spark 48 SM เร็วกว่า Thor 20 SM ราวสองเท่าในงานนี้
- decode (ตอนสร้างทีละโทเคน) ติดคอขวดที่แบนด์วิดท์หน่วยความจำ เพราะทุกโทเคนต้องอ่านน้ำหนักทั้งโมเดลหนึ่งรอบ ทั้งสองเครื่องมีแบนด์วิดท์เท่ากัน ความเร็วจึงใกล้กัน ต่างแค่ราว 1.1–1.4 เท่า
ผลวัด llama.cpp ของ JetsonHacks (ตุลาคม 2025) ยืนยันภาพนี้พอดี: gpt-oss-120B บน Spark เร็วกว่า Thor 1.90 เท่าตอน prefill แต่ 1.26 เท่าตอน decode
อีกความต่างที่คนมักไม่รู้คือ SM ของ Thor เป็นรุ่นย่อยคนละตัวกับ Spark (compute capability SM110 กับ SM121) kernel ที่ทีมต่างๆ เขียนและคอมไพล์มาให้ Spark เช่น NVFP4 MoE ของ vLLM จึงใช้บน Thor ตรงๆ ไม่ได้ ต้องมีเวอร์ชันสำรองที่ช้ากว่า นี่คือที่มาของ “งานทำสูตรเฉพาะเครื่อง” ที่จะเห็นในข่าวด้านล่าง
ข่าวล่าสุด: LLM ใหญ่ขึ้นเรื่อยๆ บน Thor
Qwen3.8-Flash-Next 176B ลง Thor ได้แล้วสามทาง
โมเดลตัวนี้มีจุดพิเศษคือตาราง n-gram ที่เรียกว่า PLE ขนาด 51 พันล้านพารามิเตอร์ ซึ่งเป็นแค่ตารางค้นหา ไม่ใช่ส่วนคำนวณ ชุมชนเลยใช้ท่าเดียวกับที่เราเห็นบน Spark คือเอาตารางไปไว้บน NVMe แล้วเอาแรมไปให้ตัวโมเดล
- qwen4-thor (thomas-hiddenpeak, อัปเดต 11 กันยายน) เครื่องยนต์ C++17/CUDA ที่เขียนใหม่เฉพาะ Thor stream ตาราง PLE แบบ FP8 จาก NVMe ด้วย io_uring คืนแรมได้ราว 47.6 GB ส่วน MoE ใช้ NVFP4 รองรับ context 262K และภาพ ยังไม่ประกาศตัวเลขความเร็วและยังเป็นโปรเจกต์อายุน้อย
- สูตร vLLM ของ Leibniz-HBI (ยืนยันใช้ได้ 29 สิงหาคม) ใช้ checkpoint NVFP4 ของ RadixArk, mmap ตาราง PLE จากดิสก์ และต้อง patch หลายจุดสำหรับ SM110 (kernel NVFP4 MoE พังต้องใช้ Marlin, MTP กับ GDN ต้องใช้ Triton, QSA ใช้ cluster launch ไม่ได้) ได้ decode สายเดียวราว 24 โทเคนต่อวินาที เมื่อเปิด MTP
- thor_llm_serving (sisgrad, 4 กันยายน) สูตร serve พร้อมตัวเลขที่วัดเอง: Flash-Next NVFP4 34.8 โทเคนต่อวินาที และ Qwen3.8-27B FP8 39.2 ด้วย prompt เขียนโค้ดแบบ thinking สูงสุด รับ 32 sequence
เทียบกับ Spark เครื่องเดียวที่เราวัดเอง: Flash-Next UD-Q2 บน llama.cpp ได้ 28.9 โทเคนต่อวินาทีสายเดียว และงานชุมชนที่ใช้ vLLM NVFP4 บน Spark ได้ 43.9 ตัวเลขของ Thor จึงอยู่ในระดับเดียวกัน ช้ากว่าเล็กน้อยตามจำนวน SM
ปัญหาที่คนใช้ Thor เจอ และวิธีแก้
กระทู้ใน NVIDIA Developer Forums ช่วงมีนาคมถึงมิถุนายนปีนี้เล่าเรื่องคลาสสิก: ใช้ container vLLM จาก NGC ทั่วไปแล้วโมเดล MoE ช้ากว่าตัวเลขอ้างอิงเกือบครึ่ง (Qwen3-30B-A3B ได้ 34 แทนที่จะเป็น 67 โทเคนต่อวินาที) log ฟ้องว่า “Using default MoE config. Performance might be sub-optimal!” เพราะไม่มีไฟล์ตั้งค่า fused-MoE สำหรับ GPU ของ Thor พอเปลี่ยนไปใช้ container เฉพาะ Jetson (ghcr.io/nvidia-ai-iot/vllm:latest-jetson-thor) ตัวเลขกระโดดเป็น 81 ทันที บทเรียนคือบน Thor ต้องใช้ของที่ build มาให้ Thor ไม่ใช่ของทั่วไปสำหรับ Blackwell
ตัวเลขทางการจาก NVIDIA
หน้า Jetson Benchmarks (JetPack 7.0, vLLM, prompt 2,048 ตอบ 128 โทเคน)
| โมเดล | 1 สาย (tok/s) | 8 สาย รวม |
|---|---|---|
| Qwen3-30B-A3B (MoE) | 61 | 226 |
| Qwen3-32B | 13.2 | 79 |
| DeepSeek-R1 32B | 13.3 | 82.6 |
| DeepSeek-R1 7B | 41.3 | 305 |
และ NVIDIA เคยโชว์ว่าแค่ซอฟต์แวร์ก็เปลี่ยนเครื่องได้: container vLLM 25.09 ทำ Llama 3.3 70B จาก 12.6 เป็น 41.5 โทเคนต่อวินาทีภายในห้าสัปดาห์หลังวางขาย และเมื่อเปิด EAGLE-3 speculative decoding ขึ้นไปถึง 88.6
TensorRT Edge-LLM: เครื่องมือของ NVIDIA เองสำหรับ Thor
มกราคม 2026 NVIDIA เปิดซอร์ส TensorRT Edge-LLM เฟรมเวิร์ก C++ สำหรับ LLM และ VLM บน Jetson Thor และ DRIVE Thor เน้นงานเรียลไทม์ในรถและหุ่นยนต์ มี EAGLE-3, NVFP4, chunked prefill, VLM และ LoRA พันธมิตรยานยนต์อย่าง Bosch, ThunderSoft และ MediaTek เอาไปทำ AI ในรถโชว์ที่ CES 2026 นี่คือทิศทางที่ NVIDIA มองสำหรับ Thor: โมเดลขนาดกลางที่ตอบเร็วและเสถียร ไม่ใช่โมเดลใหญ่สุดที่ยัดลงได้
แล้วควรเลือกอะไร
จากข้อมูลทั้งหมด เราสรุปให้ลูกค้าแบบนี้
- ถ้าเป้าหมายคือใช้ LLM ในออฟฟิศ ให้ทีมหลายคนใช้ ทำ RAG ทำเอเจนต์ ทำวิดีโอ/เสียง Spark ยังเป็นคำตอบ เพราะ prefill เร็วกว่าราวสองเท่า รับหลายสายได้ดีกว่า ซอฟต์แวร์ทุกตัว build มาให้ก่อน และต่อสองเครื่องเป็นคลัสเตอร์ได้ผ่าน 200 GbE
- ถ้าเป้าหมายคือใส่ AI ลงในหุ่นยนต์ รถ หรืออุปกรณ์ที่ต้องกินไฟจำกัด Thor ไม่มีคู่แข่ง มันรันโมเดลชุดเดียวกับ Spark ได้ ในซองไฟ 40–130 วัตต์ พร้อมช่องกล้องและ CAN bus ที่ Spark ไม่มี
- ถ้าอยากรัน Flash-Next หรือโมเดลระดับร้อยพันล้านบน Thor ทำได้แล้ววันนี้ แต่เตรียมใจกับงานสูตรเฉพาะเครื่อง ใช้ container ของ Jetson และรอ kernel SM110 ตามมาให้ครบ
สำหรับเรา Thor คือสัญญาณที่ดี เพราะมันหมายความว่าโมเดลที่เราปรับแต่งให้ทำงานบน Spark (quant ภาษาไทย, ชุดเสียงพูด, pipeline วิดีโอ) มีเส้นทางลงไปถึงอุปกรณ์ปลายทางบนสถาปัตยกรรมเดียวกัน ถ้าคุณกำลังทำโครงการหุ่นยนต์หรืออุปกรณ์ที่ต้องมี AI ภาษาไทยอยู่ในตัว คุยกับเราได้ และถ้าอยากเห็นตัวเลข Spark ที่วัดแบบเดียวกัน ดูได้ที่หน้า ผลวัด
อ้างอิง
– NVIDIA: หน้าผลิตภัณฑ์ Jetson AGX Thor และบล็อกเปิดตัว 25 สิงหาคม 2025 (“Jetson Thor unlocks real-time reasoning for millions of robots”)
– NVIDIA Jetson Benchmarks และ Jetson AI Lab (GenAI Benchmarking)
– NVIDIA Technical Blog: “Unlock Faster, Smarter Edge Models with 7x Gen AI Performance on Jetson AGX Thor” (15 ตุลาคม 2025) และ “Accelerating LLM and VLM Inference with TensorRT Edge-LLM” (8 มกราคม 2026)
– JetsonHacks: llama.cpp Benchmarks DGX Spark vs Jetson AGX Thor (31 ตุลาคม 2025)
– NVIDIA Developer Forums: “Jetson AGX Thor + vLLM: MoE performance significantly below reference”
– GitHub: thomas-hiddenpeak/qwen4-thor, Leibniz-HBI/Qwen3.8-Flash-Next-Jetson-Thor-vLLM, sisgrad/thor_llm_serving