Hugging Face משחררת 207 קרנלים פתוחים ל-WebGPU — AI ישירות בדפדפן

ה-inference בדפדפן משתפר בקצב מהיר. kernels מהירים יותר מאפשרים להריץ בצד הלקוח מודלים גדולים יותר, בלי עלות שרת ועם פרטיות טובה יותר למשתמש.

הכלי Fleet מאפשר להריץ benchmarks שאפשר לשחזר, וזה חסר מאוד בתחום. התחרות כוללת את ONNX Runtime WebGPU ואת WebLLM.

שווה לעקוב אחרי הביצועים בין דפדפנים שונים ואחרי האימוץ בתוך transformers.js.