วิธีติดตั้ง vLLM (โหมดหลายผู้ใช้)

vLLM คือ inference engine โหมด “เสิร์ฟหลายผู้ใช้พร้อมกัน” — ต่างจาก llama.cpp
ที่เหมาะกับใช้คนเดียว/ทีมเล็ก vLLM รับหลายคำขอพร้อมกัน (batch) ได้ throughput รวมสูงกว่า
เหมาะเมื่อมีผู้ใช้/แอปหลายตัวยิงเข้าเครื่อง Spark ตัวเดียวตลอดเวลา

เมื่อไหร่ควรใช้ / ไม่ควรใช้

สถานการณ์	แนะนำ
ใช้คนเดียว / ทดลอง / thClaws ส่วนตัว	llama.cpp (ค่า default ของ AI Server) — เร็วต่อคำขอเดี่ยวกว่า
ทีม 3+ คนใช้พร้อมกัน / เสิร์ฟแอปที่มีผู้ใช้ต่อเนื่อง	vLLM — throughput รวมสูงกว่า (บน GB10: batch-4 ≈ 30 tok/s รวม)

ติดตั้ง (ครั้งเดียว ~22GB)

เปิด terminal บนเครื่อง Spark แล้วรัน (image ทางการจาก NVIDIA — ไม่ต้อง login):

docker pull nvcr.io/nvidia/vllm:26.07-py3

ใช้เวลาตามความเร็วเน็ต (22GB) — ถ้าเน็ตหลุดกลางทาง รันคำสั่งเดิมซ้ำ docker จะต่อจาก layer ที่ได้แล้ว
เสร็จแล้วรายการ “vllm (docker image)” ในกล่อง 🧰 ซอฟต์แวร์ จะขึ้น ✅ เอง

ใช้งานผ่าน AI Server

1. ดาวน์โหลดโมเดลตระกูล NVFP4 (รูปแบบที่ vLLM ใช้บน Spark) — เลือกโมเดลที่ลงท้าย (vLLM + MTP) ในกล่อง GPU Manager แล้วกดโหลด
2. ระบบจะเคลียร์แรม สตาร์ท container และเปิดเสิร์ฟที่พอร์ตหลัก :8000 อัตโนมัติ (vLLM ใช้ได้เฉพาะพอร์ตหลัก — โหมดนี้ควรได้เครื่องทั้งเครื่อง)
3. client ต่อผ่าน LiteLLM http://<IP>:4000/v1 เหมือนเดิมทุกประการ — สลับ engine โดย client ไม่ต้องแก้อะไร

ข้อจำกัดบน DGX Spark ที่ควรรู้

• ใช้แรมมาก — ระบบตั้ง gpu-memory-utilization 0.55 ให้แล้ว (ค่าที่ผ่านการทดสอบจริงบน GB10; ตั้งสูงกว่านี้เสี่ยงเครื่องค้าง)
• ctx ตั้งไว้ 32k ต่อคำขอในโหมดนี้ (แลกกับจำนวนผู้ใช้พร้อมกัน)
• คำขอเดี่ยวจะช้ากว่า llama.cpp — จุดแข็งคือปริมาณรวม ไม่ใช่ความเร็วต่อคน

---

กลับไปที่ คู่มือหลัก AI Server · สอบถาม: jimmy@thaigpt.com