הדגמה: מודל DeepSeek עם 1.6 טריליון פרמטרים רץ על MacBook M5 Max דרך SSD

הדגמה הראתה מודל DeepSeek בגודל 1.6 טריליון פרמטרים — לפי הדיווחים variant של DeepSeek v4 PRO — רץ על MacBook M5 Max באמצעות streaming של ה-weights מ-SSD. ההישג מרשים כי מודל בקנה מידה כזה דורש בדרך כלל GPUs של data-center, לא לפטופ.

הטריק הטכני הוא היררכיית זיכרון: במקום להחזיק את כל 1.6 הטריליון פרמטרים ב-RAM, ה-setup מעמיד weights מאחסון SSD מהיר, ומוותר על חלק מה-throughput בתמורה ליכולת להריץ מודל ענק על חומרה צרכנית. זהו proof-of-concept לכמה רחוק אפשר לדחוף inference על המכשיר עם ארכיטקטורות sparse/MoE וניהול זיכרון חכם.

הסיפור משתלב בדיוק בתמה הדומיננטית של השבוע — local AI: Gemma 4 של Google על לפטופ עם 16GB, AI Edge Gallery על macOS, NVIDIA RTX Spark, והדחיפות של Intel ו-Perplexity לכיוון on-device. הקסם הוא פרטיות, יכולת עבודה offline ועלות אפסית per-token; ה-trade-off הוא מהירות.

ההסתייגות הכבדה: streaming מ-SSD של מודל 1.6T יהיה איטי, ולכן זו יותר הדגמה של אפשרות מאשר setup מעשי ליום-יום. גם המקורות דלים (פוסטים של aggregators), כך שראוי לאישור עצמאי של ה-throughput וה-configuration המדויק לפני שמסיקים יותר מדי. ובכל זאת, זה מדגיש את כיוון ההתקדמות: יכולת בקנה מידה frontier שזוחלת לכיוון ה-edge.