OpenAI a présenté sa première puce spécialisée Jalapeño pour les tâches d'inférence de grands modèles de langage. Développé en collaboration avec Broadcom, l'accélérateur est conçu pour traiter les requêtes vers des modèles comme GPT et Codex, et non pour l'entraînement. L'annonce à la conférence Hot Chips en août 2026 a été accompagnée des premiers benchmarks, montrant un avantage notable en tokens par watt et une réduction des latences.
L'aspect technique clé est l'architecture, optimisée pour les schémas caractéristiques de l'inférence des LLM : une bande passante élevée avec une faible latence et une utilisation efficace de la mémoire. Contrairement aux GPU polyvalents, Jalapeño se concentre sur des opérations spécifiques, telles que l'attention et les feed-forward dans les transformeurs. Les premiers tests sur SemiAnalysis InferenceX montrent 1,5–1,9 fois plus de travail par watt par rapport à Nvidia Blackwell, et dans certains scénarios, on annonce jusqu'à 104 fois plus de tokens par watt — un chiffre qui nécessite une vérification indépendante.
La méthodologie de test comprend une comparaison avec des systèmes basés sur Nvidia GB200/GB300, avec une normalisation par la puissance annoncée de la puce (700 W, avec une consommation réelle allant jusqu'à 550 W). Les résultats couvrent à la fois les modèles internes d'OpenAI et des modèles externes — DeepSeek R1 et Kimi K2.5. Cela renforce l'argument de l'applicabilité inter-modèles, mais l'absence d'ablations détaillées et de description complète des jeux de données laisse des questions sur la reproductibilité.
Dans le paysage des puces IA, Jalapeño occupe une niche d'ASIC spécialisés pour l'inférence, à l'instar des TPU de Google ou des Trainium/Inferentia d'Amazon. Contrairement à l'approche de Meta ou Microsoft, OpenAI mise sur une intégration étroite avec ses propres modèles et une plateforme multi-générationnelle. Cela rapproche la stratégie de celle de Google, mais accélère le cycle de développement à neuf mois grâce à l'utilisation de l'IA dans la conception.
Pour l'industrie, cela signifie une réduction potentielle des coûts d'inférence dans les centres de données, ce qui est particulièrement important lors du passage à l'échelle des systèmes d'agents et des API. Une latence plus faible (1,7–3,6 fois) permet de servir plus d'utilisateurs sans compromis entre performance et vitesse de réponse.
Il reste à savoir dans quelle mesure les performances sont durables en charge réelle en 2027, lorsque les concurrents sortiront de nouvelles générations. Des tests indépendants et la divulgation des détails de l'architecture seront essentiels pour évaluer l'impact à long terme.
Le développement de Jalapeño souligne que l'efficacité de l'inférence est désormais déterminée non seulement par la taille du modèle, mais aussi par la spécialisation matérielle pour des charges de travail spécifiques.
