OpenAI memperkenalkan chip khusus pertamanya, Jalapeño, untuk tugas inferensi model bahasa besar. Dikembangkan bersama Broadcom, akselerator ini difokuskan pada pemrosesan permintaan ke model seperti GPT dan Codex, bukan untuk pelatihan. Pengumuman di konferensi Hot Chips pada bulan Agustus 2026 disertai dengan tolok ukur pertama yang menunjukkan keunggulan signifikan dalam token per watt dan pengurangan latensi.
Aspek teknis kunci adalah arsitektur yang dioptimalkan untuk pola khas inferensi LLM: throughput tinggi dengan latensi rendah dan penggunaan memori yang efisien. Tidak seperti GPU serbaguna, Jalapeño berfokus pada operasi spesifik seperti attention dan feed-forward dalam transformer. Tes awal pada SemiAnalysis InferenceX menunjukkan 1,5–1,9 kali lebih banyak kerja per watt dibandingkan dengan Nvidia Blackwell, dan dalam skenario tertentu diklaim peningkatan token per watt hingga 104 kali lipat — angka yang memerlukan verifikasi independen.
Metodologi pengujian mencakup perbandingan dengan sistem berbasis Nvidia GB200/GB300, dinormalisasi berdasarkan daya chip yang dinyatakan (700 W, dengan konsumsi aktual hingga 550 W). Hasil mencakup model internal OpenAI dan model eksternal — DeepSeek R1 dan Kimi K2.5. Ini memperkuat argumen tentang penerapan lintas model, namun kurangnya ablasi terperinci dan deskripsi lengkap dataset meninggalkan pertanyaan tentang reproduktibilitas.
Dalam lanskap chip AI, Jalapeño menempati ceruk ASIC khusus untuk inferensi, mirip dengan TPU Google atau Trainium/Inferentia Amazon. Tidak seperti pendekatan Meta atau Microsoft, OpenAI bertaruh pada integrasi erat dengan modelnya sendiri dan platform multi-generasi. Ini mendekatkan strategi dengan Google, tetapi mempercepat siklus pengembangan menjadi sembilan bulan berkat penggunaan AI dalam desain.
Bagi industri, ini berarti potensi penurunan biaya inferensi di pusat data, yang sangat penting saat menskalakan sistem agen dan API. Latensi yang lebih rendah (1,7–3,6 kali) memungkinkan melayani lebih banyak pengguna tanpa kompromi antara kinerja dan kecepatan respons.
Masih belum jelas seberapa stabil kinerja di bawah beban nyata pada tahun 2027, ketika pesaing akan merilis generasi baru. Tes independen dan pengungkapan detail arsitektur akan menjadi kunci untuk mengevaluasi dampak jangka panjang.
Pengembangan Jalapeño menegaskan bahwa efisiensi inferensi kini ditentukan tidak hanya oleh ukuran model, tetapi juga oleh spesialisasi perangkat keras untuk beban kerja tertentu.
