คลังรีวิว RTX Spark

ความเห็น · ระดับปานกลาง

RTX Spark, M5 Max หรือ RTX 5090: เลือกเครื่องรัน Local LLM

ชื่อคลิปต้นฉบับ: RTX Spark, M5 Max or RTX 5090: What to Buy Before Black Friday?

ช่อง
The 10x Stack
เผยแพร่
(2 วันก่อน)
ความยาว
10:00
ยอดวิว
235
ไลก์
4

คลิปแนะนำการเลือกซื้อเครื่องรัน local LLM โดยแยกคิดเป็นความจุ แบนด์วิดท์ และพลังประมวลผล เหมาะกับคนที่ลังเลระหว่างการ์ด RTX 5090, MacBook Pro M5 Max, โน้ตบุ๊ก RTX Spark และ DGX Spark

คำตัดสินของคลิปไม่มีเครื่องใดดีที่สุดเสมอไป การเลือกขึ้นกับโมเดลที่ต้องการรันจริง: ถ้าโมเดลพอดีใน 32GB การ์ดเร็วกว่า ส่วนโมเดลใหญ่ต้องใช้เครื่อง unified memory 128GB

สรุปสั้น

  • การซื้อเครื่องรัน local LLM คือการซื้อสามอย่าง: capacity, bandwidth และ compute ไม่ใช่เพียงจำนวนแรม
  • Qwen3.8-27B (17GB ที่ 4 บิต) เขียนได้ราว 75 tokens/s บน RTX 5090 และราว 38 บน M5 Max 128GB
  • 128GB คุ้มก็ต่อเมื่อโมเดลที่ต้องการไม่พอดีใน 32GB เช่น Flash Next 180B ที่ใช้ราว 86GB
  • เหตุผลหลักในการเลือกโน้ตบุ๊ก RTX Spark คือซอฟต์แวร์ที่ต้องใช้ CUDA และควรใช้ Windows หรือ WSL ไม่ใช่ Linux native
  • ผู้ทำคลิปมองว่าการรอ Black Friday ไม่ช่วย เพราะราคาหน่วยความจำยังสูงทั่วโลก

แหล่งของบทสรุปสรุปจากคำบรรยายอัตโนมัติ (อาจสะกดชื่อผิด)

เนื้อหาในคลิป

ซื้อสามอย่าง: ความจุ แบนด์วิดท์ และพลังประมวลผล

ผู้ทำคลิปเริ่มจากข้อสังเกตว่าการ์ด 32GB รันโมเดลเล็กได้เร็วกว่าโน้ตบุ๊กที่มีหน่วยความจำมากกว่าสี่เท่า แต่โน้ตบุ๊กเครื่องนั้นรันโมเดลที่การ์ดโหลดไม่ได้ จึงไม่ได้ซื้อเครื่องเดียว แต่ซื้อ capacity, bandwidth และ compute เครื่องที่เทียบคือ RTX 5090 (32GB) MacBook Pro M5 Max (สูงสุด 128GB) โน้ตบุ๊ก RTX Spark (สูงสุด 128GB รัน Windows) และ DGX Spark ซึ่งเป็นกล่อง Linux ที่ใช้ชิปแนวเดียวกัน

ตัวทดสอบหลักคือ Qwen3.8-27B โมเดล dense ขนาดราว 17GB ที่ 4 บิต บน RTX 5090 เขียนได้ราว 75 tokens ต่อวินาที บน M5 Max 128GB ราว 38 เพราะแบนด์วิดท์ 614 GB/s เทียบกับ 1,792 GB/s ของการ์ด ทุกโทเค็นคือการอ่านน้ำหนักทั้งก้อนหนึ่งรอบ ความจุจึงกำหนดว่าโมเดลโหลดได้หรือไม่ ส่วนแบนด์วิดท์กำหนดความเร็วเขียน สำหรับ coding agent ส่วนที่อ่านบริบท 20,000 ถึง 30,000 โทเค็นใช้พลังประมวลผลเป็นหลัก การอ่านโค้ด 48,000 โทเค็นใช้ราว 11 วินาทีบน RTX 5090 ราว 32 วินาทีบน DGX Spark และราว 20 วินาทีถึงหนึ่งนาทีครึ่งบน Mac เขาจึงไม่แนะนำ Mac สำหรับ agent

กับดัก 128GB และโมเดลที่การ์ดโหลดไม่ได้

ผู้ทำคลิปเตือนว่าโน้ตบุ๊กที่ขายว่า 5090 ไม่ใช่ชิปเดียวกับการ์ดเดสก์ท็อป มี 24GB และแบนด์วิดท์ 896 GB/s ให้ดู memory bus แทนตัวเลขบนกล่อง จากนั้นยก Qwen3.8 Flash Next ขนาด 180B แบบ mixture of experts ที่ใช้งานราว 6B ต่อโทเค็น คะแนนบน Artificial Analysis 40 เทียบกับ 20 ของ 27B ที่ 4 บิตใช้ราว 86GB การ์ดโหลดไม่ได้

เขาสรุปว่า 128GB ซื้อความสามารถรันโมเดลขนาดนั้น ไม่ใช่ความเร็ว รุ่น dense ต้องการแบนด์วิดท์ ส่วน sparse อย่าง Flash Next ต้องการความจุ ในกลุ่มเครื่องที่ถือโมเดลใหญ่ได้ Mac เร็วกว่า DGX Spark ราวสองเท่า GPT-OSS 120B ได้ 79 ถึง 91 tokens ต่อวินาทีบน M5 Max เทียบกับ 37 ถึง 58 บน Spark ส่วนโมเดล 27B บนเครื่องกลุ่มนี้ได้ราว 8 ถึง 13 เทียบกับ 75 บนการ์ด

เหตุผลที่เลือก RTX Spark ราคา และคำแนะนำ

เหตุผลที่ควรเลือกโน้ตบุ๊ก RTX Spark คือซอฟต์แวร์ที่ต้องใช้ CUDA เช่น การสร้างภาพและวิดีโอ ComfyUI และ fine-tune ผู้ทำคลิปแนะนำ Windows หรือ WSL เพราะ Linux แบบ native บนโน้ตบุ๊กเป็นกับดัก เขาอ้างว่าตัวควบคุมแบ่งพลังงาน CPU กับ GPU ใช้ได้เฉพาะ Windows ทำให้ความเร็วลดเหลือราว 14 tokens ต่อวินาทีจากราว 65 และเพราะเป็น ARM จึงต้องเช็กเครื่องมือ Ollama รันได้ แต่ซอฟต์แวร์ Windows จำนวนมากยังออกเฉพาะ Intel และ AMD

ราคาที่ยกมา (128GB) MacBook Pro 6,699 ดอลลาร์ โน้ตบุ๊ก RTX Spark 5,900 ถึง 7,000 Mac Studio 5,100 DGX Spark 6,950 (สูงกว่าราคาเปิดตัว 74%) RTX 5090 ใหม่ราว 5,600 และ RTX 3090 มือสอง 24GB ราว 1,500 ซึ่งรัน 27B ได้ราว 39 tokens ต่อวินาที แต่บริบทของ agent จะคับ เขามองว่ารอ Black Friday ไม่ช่วย เพราะหน่วยความจำขาดแคลนทั่วโลก ส่วนลด MacBook ที่มีเป็นรุ่น 36GB

คำแนะนำ ถ้าใช้ coding agent ให้ซื้อการ์ด หรือ 3090 มือสอง หรือเช่าการ์ดชั่วโมงละ 0.65 ดอลลาร์เพื่อลองก่อน ถ้าต้องการโมเดลเปิดที่ดีที่สุดและสร้างภาพหรือวิดีโอด้วย ให้ซื้อ RTX Spark 128GB บน Windows ถ้าไม่อยากใช้ Windows ให้ซื้อ DGX Spark ถ้าเน้นข้อความในเครื่องพกพาให้ซื้อ M5 Max คำถามสำคัญคืออยากรันโมเดลอะไรจริง ๆ

คำถามเกี่ยวกับคลิปนี้

ทำไม RTX 5090 32GB จึงเขียนเร็วกว่า M5 Max 128GB

ตามคลิป ความเร็วเขียนขึ้นกับแบนด์วิดท์ การ์ดมี 1,792 GB/s ส่วน M5 Max มี 614 GB/s จึงได้ราว 75 เทียบกับ 38 tokens ต่อวินาทีบนโมเดล 27B

โน้ตบุ๊กที่ขายว่า RTX 5090 เหมือนการ์ดเดสก์ท็อปหรือไม่

ไม่เหมือน ผู้ทำคลิประบุว่าเป็นชิปคนละตัว มีหน่วยความจำ 24GB และแบนด์วิดท์ 896 GB/s ซึ่งเป็นครึ่งหนึ่งของการ์ดเดสก์ท็อป จึงให้ดูที่ memory bus

RTX 3090 มือสองยังน่าใช้สำหรับ local LLM หรือไม่

ผู้ทำคลิปบอกว่ารุ่น 24GB ราว 1,500 ดอลลาร์รัน 27B ได้ราว 39 tokens ต่อวินาที แต่โมเดลใช้ 17GB ทำให้พื้นที่ของ agent จำกัดเมื่อบริบทยาวหลายหมื่นโทเค็น

ควรรอ Black Friday ก่อนซื้อหรือไม่

ผู้ทำคลิปมองว่าไม่ควรรอ เพราะราคาหน่วยความจำยังสูงขึ้นทั่วโลก และส่วนลด MacBook ที่มีเป็นรุ่น 36GB ซึ่งโหลดโมเดลใหญ่ไม่ได้

คลิปที่เกี่ยวข้อง

  1. รีวิวและทดสอบ · ระดับขั้นสูง

    GMKtec EVO X5 Pro เทียบ DGX Spark รันโมเดล AI ใหญ่

    Alex Ziskind

    เผยแพร่
    ความยาว
    30:11
    ยอดวิว
    221,649
  2. ความเห็น · ระดับปานกลาง · คำอธิบายคลิปเท่านั้น

    M5 Ultra เทียบ RTX Pro 6000D และ DGX Spark รัน AI ในบ้าน

    抡锤者

    เผยแพร่
    ความยาว
    12:08
    ยอดวิว
    7,046
  3. เผยแพร่
    ความยาว
    10:33
    ยอดวิว
    6
  4. รีวิวและทดสอบ · ระดับปานกลาง

    RTX Spark รันโลคัล AI Lenovo Yoga 9N 64GB ทดสอบจริง

    ZCOPE

    เผยแพร่
    ความยาว
    10:52
    ยอดวิว
    73,465