DGX Spark ทุกเครื่องมีพอร์ต ConnectX-7 (QSFP) 2 ช่องด้านหลัง — ต่อตรงระหว่าง
Spark สองเครื่องได้ความเร็วระดับ 100-200Gb ใช้ส่งไฟล์ใหญ่ (โมเดลหลายสิบ GB ในไม่กี่นาที)
หรือทำ cluster สองเครื่อง โดยไม่กิน WiFi เลย
1. ต่อสาย
- ใช้สาย QSFP DAC/AOC เสียบพอร์ต QSFP ด้านหลังเครื่องหนึ่ง → อีกเครื่องหนึ่ง (พอร์ตไหนก็ได้)
- ไม่ต้องมี switch — ต่อหัวถึงหัวได้เลย
2. หา interface ที่สายเสียบอยู่
รันบนแต่ละเครื่อง:
for i in /sys/class/net/en*; do echo "$(basename $i) carrier=$(cat $i/carrier 2>/dev/null)"; doneตัวที่ carrier=1 คือพอร์ตที่สายเสียบและลิงก์ขึ้นแล้ว (ชื่อมักเป็น
enp1s0f1np1 หรือ enP2p1s0f1np1 — แต่ละเครื่องอาจไม่เหมือนกัน)
3. ตั้ง IP (ถาวร)
ใช้วงแยกจาก WiFi เช่น 192.168.100.x — เครื่องแรก .1 เครื่องที่สอง .2
(แทน enp1s0f1np1 ด้วยชื่อ interface จากข้อ 2):
sudo tee /etc/netplan/60-cx7.yaml >/dev/null <<'EOF'
network:
version: 2
ethernets:
enp1s0f1np1:
addresses: [192.168.100.1/24]
EOF
sudo chmod 600 /etc/netplan/60-cx7.yaml
sudo netplan applyอีกเครื่องทำเหมือนกันแต่ใช้ 192.168.100.2/24 — ไม่ต้องใส่ gateway/DNS
(กันไม่ให้เน็ตปกติวิ่งผิดเส้น) การตั้งนี้ไม่กระทบ WiFi ใดๆ และอยู่ถาวรข้ามรีบูต
4. ทดสอบ
ping -c 3 192.168.100.2 # จากเครื่อง .1
ssh <user>@192.168.100.2 # ใช้งานได้เหมือน ssh ปกติ แต่วิ่งผ่านสายตรง5. ตัวอย่างการใช้
# ส่งไฟล์ใหญ่ (โมเดล ฯลฯ) — เร็วกว่า WiFi หลายสิบเท่า
rsync -a --progress ~/models/gguf/บางไฟล์.gguf user@192.168.100.2:models/gguf/
# ส่ง docker image ข้ามเครื่องโดยไม่ผ่านอินเทอร์เน็ต
docker save ghcr.io/aeon-7/comfyui-aeon-spark:latest | ssh user@192.168.100.2 docker loadหมายเหตุ: ผ่าน ssh/rsync จะได้ราว 4-6 Gbps (คอขวดที่การเข้ารหัส ไม่ใช่สาย) —
เพียงพอสำหรับงานส่งไฟล์ทั่วไป (17GB ≈ ครึ่งนาที)
6. แก้ปัญหา
| อาการ | ทางแก้ |
|---|---|
carrier=0 ทุกพอร์ต |
เช็คสายเสียบแน่น/ลองพอร์ตข้างๆ — QSFP ต้องดันจนคลิก |
| ping ไม่ตอบ | เช็คว่า IP อยู่วงเดียวกัน (ip -br addr) และตั้งบน interface ที่ carrier=1 จริง |
| ssh ขึ้น Host key verification failed | เครื่องเดิมเปลี่ยน IP/สลับพอร์ต — ลบ key เก่า: ssh-keygen -R 192.168.100.2 |
| จะเอาเครื่องไปใช้ที่อื่น | ถอด config: sudo rm /etc/netplan/60-cx7.yaml && sudo netplan apply |
กลับไปที่ คู่มือหลัก AI Server · สอบถาม: jimmy@thaigpt.com