128GB זיכרון מאוחד: מחשבי NVIDIA RTX Spark מגיעים ב-October 16

RTX Spark מביאה את גישת הזיכרון המאוחד של NVIDIA ללפטופים. 128GB משותפים ל-CPU ול-GPU מאפשרים להריץ על המכשיר מודלים בסדר גודל של 70B, וגם מודלים מכווצים (quantized) של 100B ומעלה. NVIDIA השיקה את המכשיר יחד עם עדכוני תוכנה ל-AI מקומי.

הקהילה התמקדה ברוחב הפס. משתמשים ב-r/LocalLLaMA הצביעו על כך שנתון ה-'600 GB/s' שבכותרת מתייחס לחיבור בין ה-CPU ל-GPU ולא לרוחב הפס של הזיכרון, שלפי הערכתם עומד על כ-273-400 GB/s. מאחר שיצירת token מקומית מוגבלת ברוחב הפס של הזיכרון, זה מגביל את מהירות ה-inference במודלים גדולים. מגיבים גם ראו בנתון ה-'petaflop', ככל הנראה חישוב sparse בדיוק נמוך, בעיקר שיווק.

מבחינה תחרותית, RTX Spark מכוונת ל-MacBook Pro עתירי הזיכרון של Apple ולמכונות Strix Halo של AMD, שהפכו לפופולריות להרצת LLM מקומית. רוחב הפס הגבוה של שבבי ה-Max של Apple נשאר הרף שצריך לעבור.

כדאי לעקוב אחרי benchmarks עצמאיים של tokens לשנייה על מודלים של 70B ו-120B אחרי ההשקה, ואחרי התמחור ביחס לחלופות של Mac.