שבב Jalapeño של OpenAI: כיצד מאיץ ייעודי משנה את כלכלת האינפרנס של LLM

נערך על ידי: Tatyana Hurynovich

OpenAI הציגה את השבב הייעודי הראשון שלה, Jalapeño, למשימות אינפרנס של מודלי שפה גדולים. פותח בשיתוף עם Broadcom, המאיץ מיועד לעיבוד בקשות למודלים כמו GPT ו-Codex, ולא לאימון. ההכרזה בוועידת Hot Chips באוגוסט 2026 לוותה במבחני הביצועים הראשונים, שהראו יתרון ניכר בטוקנים לוואט והפחתת השהיות.

ההיבט הטכני המרכזי הוא הארכיטקטורה, המותאמת לדפוסי האינפרנס האופייניים של LLM: תפוקה גבוהה עם השהיה נמוכה וניצול זיכרון יעיל. בניגוד ל-GPU הכלליים, Jalapeño מתמקד בפעולות ספציפיות כמו attention ו-feed-forward בטרנספורמרים. בדיקות מוקדמות ב-SemiAnalysis InferenceX מראות 1.5–1.9 פעמים יותר עבודה לוואט בהשוואה ל-Nvidia Blackwell, ובמקרים מסוימים נטען לעד 104-כפול של טוקנים לוואט – נתון הדורש אימות בלתי תלוי.

המתודולוגיה כוללת השוואה למערכות מבוססות Nvidia GB200/GB300, עם נרמול לפי הספק השבב המוצהר (700 וואט, עם צריכה בפועל עד 550 וואט). התוצאות מכסות גם מודלים פנימיים של OpenAI וגם חיצוניים – DeepSeek R1 ו-Kimi K2.5. זה מחזק את הטיעון על ישימות בין-מודלית, אך היעדר ablations מפורטים ותיאור מלא של מערכי הנתונים מותיר שאלות לגבי שחזוריות.

בנוף שבבי ה-AI, Jalapeño תופס נישה של ASIC ייעודיים לאינפרנס, בדומה ל-TPU של גוגל או ל-Trainium/Inferentia של אמזון. בניגוד לגישת Meta או Microsoft, OpenAI שמה דגש על אינטגרציה הדוקה עם המודלים שלה ועל פלטפורמה רבת-דורות. זה מקרב את האסטרטגיה לזו של גוגל, אך מאיץ את מחזור הפיתוח לתשעה חודשים הודות לשימוש ב-AI בתכנון.

מבחינת התעשייה, המשמעות היא הפחתה פוטנציאלית בעלויות האינפרנס במרכזי נתונים, מה שחשוב במיוחד בהרחבת מערכות סוכניות ו-API. השהיה נמוכה יותר (1.7–3.6 פעמים) מאפשרת לשרת יותר משתמשים ללא פשרות בין ביצועים למהירות תגובה.

לא ברור עד כמה הנתונים יציבים בעומס אמיתי בשנת 2027, כאשר המתחרים יוציאו דורות חדשים. בדיקות בלתי תלויות וחשיפת פרטי ארכיטקטורה יהיו מפתח להערכת ההשפעה ארוכת הטווח.

הפיתוח של Jalapeño מדגיש שיעילות האינפרנס נקבעת כעת לא רק על ידי גודל המודל, אלא גם על ידי התמחות חומרתית לעומסי עבודה ספציפיים.

5 צפיות

מקורות

  • OpenAI’s Jalapeño outpaces Blackwell

קראו כתבות נוספות בנושא זה:

מצאתם טעות או אי-דיוק?הערותיכם ייבחנו בהקדם האפשרי.