OpenAIは、大規模言語モデルの推論タスク向けに設計された最初の専用チップJalapeñoを発表しました。Broadcomと共同開発されたこのアクセラレータは、GPTやCodexなどのモデルへのクエリ処理に焦点を当てており、トレーニングには対応していません。2026年8月のHot Chipsカンファレンスでの発表には、ワットあたりのトークン数とレイテンシの削減において顕著な利点を示す最初のベンチマークが伴いました。
重要な技術的側面は、LLM推論の特徴的なパターン（低レイテンシでの高スループットとメモリの効率的な使用）に最適化されたアーキテクチャです。汎用GPUとは異なり、Jalapeñoはトランスフォーマーにおけるアテンションやフィードフォワードなどの特定の操作に焦点を当てています。SemiAnalysis InferenceXでの初期テストでは、Nvidia Blackwellと比較してワットあたりの作業量が1,5〜1,9倍であり、特定のシナリオではワットあたりのトークン数が最大104倍向上すると主張されていますが、この数字は独立した検証が必要です。
テスト方法には、Nvidia GB200/GB300ベースのシステムとの比較、チップの定格電力（700W、実際の消費電力は最大550W）による正規化が含まれます。結果は、OpenAIの内部モデルと外部モデル（DeepSeek R1やKimi K25）の両方をカバーしています。これにより、モデル横断的な適用可能性の主張が強化されますが、詳細なアブレーション研究やデータセットの完全な説明がないため、再現性に関する疑問が残ります。
AIチップの状況において、JalapeñoはGoogleのTPUやAmazonのTrainium/Inferentiaと同様に、推論専用のASICというニッチを占めています。MetaやMicrosoftのアプローチとは異なり、OpenAIは自社モデルとの緊密な統合と多世代プラットフォームに重点を置いています。これはGoogleの戦略に近いものですが、設計にAIを使用することで開発サイクルを9か月に短縮しています。
業界にとって、これはデータセンターでの推論コストの潜在的な削減を意味し、エージェントシステムやAPIのスケーリングにおいて特に重要です。レイテンシの低減（1,7〜3,6倍）により、パフォーマンスと応答速度のトレードオフなしに、より多くのユーザーをサポートできます。
2027年に競合他社が新世代をリリースした際に、実際の負荷下でこれらの指標がどれだけ持続するかは不明です。独立したテストとアーキテクチャの詳細の開示が、長期的な影響を評価する鍵となるでしょう。
Jalapeñoの開発は、推論の効率がモデルのサイズだけでなく、特定のワークロードに特化したハードウェアによっても決定されることを強調しています。
