Kimi K3.1 Pro (Highspeed) של Moonshot נוחת ב-Amazon Bedrock עם context של מיליון tokens

Kimi K3.1 Pro של Moonshot AI מבייג׳ינג זמין עכשיו ב-Bedrock. גרסת Highspeed מכוונת לקצב גבוה של output tokens לשנייה, וזה קריטי ללולאות agent שמבצעות הרבה קריאות רצופות למודל. המודל מציע חלון הקשר של מיליון token, שייך לקטגוריה של כ-3 טריליון פרמטרים ורץ תחת בקרות האבטחה והממשל הסטנדרטיות של Bedrock.

ב-AWS מדגישים את ה-prompt caching המפורש. מפתחים יכולים לשמור ב-cache קידומות גדולות שחוזרות על עצמן, כמו בסיסי קוד או אוספי מסמכים, ולשלם פחות ולחכות פחות בקריאות הבאות. בעבודת קוד agentית עם הקשר ארוך, שבה אותו ריפו נקרא שוב ושוב, ה-caching הוא לא פעם הגורם הדומיננטי בעלות הכוללת.

התוספת מחזקת את האסטרטגיה של AWS לבנות מרקטפלייס מודלים רחב. Jassy הגדיר השבוע את Bedrock כעסק של מיליארדים שצומח הכי מהר ב-AWS. אירוח מודלים פתוחים סיניים לצד Claude של Anthropic, Llama של Meta ו-Mistral נותן לארגונים אפשרויות מחיר-ביצועים בלי להוציא את הנתונים מ-AWS. מודלים פתוחים סיניים כמו DeepSeek, Qwen ו-Kimi מובילים כיום רבות מטבלאות המודלים הפתוחים.

כמה הסתייגויות: חלק מהארגונים מגבילים שימוש במודלים ממקור סיני משיקולי רגולציה, גם כשהם מתארחים על תשתית אמריקאית. המקורות לא פירטו מחיר ל-token. כדאי לעקוב אם Bedrock תוסיף את Qwen 4 במהירות, אם Alibaba תשיק אותו.