TorchTPU: ‏Google יוצאת למלחמה בחפיר ה-CUDA של NVIDIA

Google חשפה את TorchTPU, גרסה של PyTorch, ה-framework ה-open-source, שנבנתה במיוחד עבור TPU. במשך שנים ה-TPU היה קשור ל-JAX ול-TensorFlow, בזמן שרוב החוקרים כתבו ב-PyTorch והריצו על חומרה של Nvidia דרך CUDA. עם TorchTPU מנסה Google להגיע למפתחים בכלים שהם כבר עובדים איתם.

כאן המנגנון הוא העיקר. הניסיונות הקודמים להריץ PyTorch על TPU עברו דרך XLA, ובדרך כלל דרשו שינויי קוד, דיבאג של קומפילציית הגרף וכוונון ביצועים. גרסת PyTorch ייעודית אמורה לאפשר להעביר קוד אימון ו-inference קיים ל-TPU עם הרבה פחות חיכוך. אם זה יעבוד, תקטן עלות המעבר שמחזיקה היום את העומסים על Nvidia.

המסגור התחרותי גלוי, ו-Google לא לבד. באותו יום השיקה AWS את TorchNeuron ב-public beta: backend נייטיב של PyTorch ל-Trainium, שגם הוא נועד לחסוך שכתוב של קוד. Nvidia הגיבה ב-X במהלך שבוע PyTorch Conference והזכירה שהיא תומכת ב-PyTorch "מהיום הראשון", ושה-framework רושם יותר מ-50 מיליון הורדות בחודש עם תמיכה ב-CUDA. ספקיות הענן מתכנסות לאותה אסטרטגיה: לתקוף את החפיר של Nvidia בשכבת התוכנה, ולא דרך מפרטי השבב.

הסייג: port של PyTorch טוב רק כמו הכיסוי שלו לאופרטורים, ל-kernels ולזנב הארוך של ספריות שנבנו על CUDA. מפתחים ישפטו את TorchTPU לפי השאלה אם מודלים אמיתיים רצים בלי שינויים ובמהירות תחרותית, לא לפי ההכרזה. כדאי לעקוב אחרי השוואות benchmark, ולראות אילו מחברות ה-AI הגדולות יעבירו בפומבי עומסי PyTorch ל-TPU.