Amazon Bedrock מקצרת לכם את ה-prompt אוטומטית

AWS הוסיפה קיצור prompts ל-Advanced Prompt Optimization ב-Amazon Bedrock. ה-optimizer משכתב prompts כך שיהיו קצרים יותר, ובודק שאיכות הפלט לא נפגעת. יחס דחיסה של 0.7, למשל, פירושו חיסכון של 30% ב-tokens.

המנגנון המרכזי הוא הערכה בתוך הלולאה. המערכת לא סתם חותכת: היא בודקת כל גרסה מקוצרת מול הקריטריונים שהלקוח הגדיר. אלה יכולים להיות rubrics של LLM-as-a-judge, או evaluators מותאמים שממומשים כפונקציות Lambda. prompt מקוצר מתקבל רק אם הציונים שלו שווים או טובים מאלה של המקור. כך מטפלים בסיכון העיקרי של דחיסה: פגיעה שקטה בהתנהגות במקרי קצה.

זה רלוונטי במיוחד לעומסי עבודה של agents, שבהם system prompts ארוכים נשלחים מחדש בכל איטרציה, ועלויות ה-tokens מצטברות. התגובות בקהילה חיוביות, ומפתחים מדווחים על חיסכון משמעותי בלולאות agents. הכלי משלים מנופי עלות אחרים כמו prompt caching, ש-Google מוזילה באגרסיביות עם הנחה של 95% על cache ב-Gemini 4 Argon, ואת ה-semantic caching ש-Couchbase הוסיפה לאחרונה ל-Bedrock.

הסייגים הם הרגילים של שכתוב prompts אוטומטי. ההבטחה לאיכות חזקה רק כמו סט ההערכה, ו-prompts שכוונו מול rubric צר עלולים להידרדר על קלטים שה-rubric לא מכסה. צוותים צריכים לשמור סט בדיקות holdout ולעקוב אחרי מדדי ה-production אחרי שהם עוברים ל-prompts מקוצרים.