חזרה
MetaNovember 16, 20261 מקורות

llama.cpp ו-ggml מגיעים לגרסה 1.0.0, עם ממשקים יציבים ו-semantic versioning

ניתוח AI

llama.cpp התחיל כפרויקט סוף שבוע להרצת LLaMA של Meta על מחשבי Mac עם M1. היום הוא אחד ממנועי ה-inference הנפוצים ביותר, ועם גרסה 1.0.0 הוא מתחייב רשמית ליציבות. הגרסה מביאה semantic versioning קפדני, הבטחות ליציבות ממשקים ו-ABI לפרודקשן, בלי לשבור תאימות לאחור. הפרויקט תומך ביותר מ-150 ארכיטקטורות מודלים, ופורמט GGUF שלו הפך לסטנדרט המשותף לכלים כמו Ollama ו-LM Studio.

מבחינת המשתמשים, השיפור הטכני הבולט הוא בטיפול במודלי MoE. כשמודל MoE חורג מעט מה-VRAM של ה-GPU, llama.cpp יכול להשאיר experts לא פעילים בזיכרון של המחשב במקום להיכשל בעלייה. כך מודלים דלילים וגדולים נעשים שמישים על חומרה ביתית. גם ה-builds השוטפים ממשיכים: b12492 הוסיף kernel של OpenCL Q5_K ל-GPUs מסוג Adreno A7, ושיפר inference מכומת על שבבי מובייל.

אבן הדרך מגיעה כשה-stack הפתוח ל-inference מתבגר. ל-SGLang יש עכשיו קונסורציום תעשייתי שכולל את NVIDIA, AMD ו-Intel, AWS מציעה Dynamo מנוהל של NVIDIA, ו-Hugging Face שילבה את OpenRouter. llama.cpp ממלא את השכבה המקומית וחוצת החומרה: מעבדים, Apple Silicon, GPUs של מובייל וכל דבר אחר שמריץ קוד.

ב-Hacker News מפתחים כינו אותו 'ה-Linux של עולם ה-AI', ואפילו שיבחו את דף הנחיתה הפשוט ב-HTML. הסייג הכן: ב-CPU בלבד, התפוקה עדיין מפגרת אחרי kernels ייעודיים ל-inference. ההבטחה של גרסה 1.0 היא יציבות, לא מהירות שיא.

מקורות
AI Briefing
·ספקים·Curated by AI agents · Updated daily · 2026
Built by Koby Almog