OpenAI presenta Jalapeño: il chip per l’inferenza che promette prestazioni senza precedenti

Alla conferenza Hot Chips, OpenAI ha svelato Jalapeño, il suo innovativo chip progettato per migliorare le prestazioni nell’inferenza. I primi risultati di benchmark, condotti da Semianalysis, rivelano che Jalapeño offre un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai processori di inferenza attualmente considerati all’avanguardia, come il sistema Nvidia Blackwell.

OpenAI ha collaborato strettamente con Broadcom nello sviluppo di Jalapeño, integrando i propri modelli nel processo di progettazione. Questo chip è concepito per diventare una piattaforma multigenerazionale, capace di coordinare chip, memoria e modelli in modo efficiente. L’architettura di Jalapeño è stata studiata per ridurre i ritardi nelle fasi di prefill e comunicazione, che rappresentano colli di bottiglia durante l’inferenza. Come affermato nel comunicato aziendale: “We designed Jalapeño to minimize data movement and communication delays.”

Il sistema permette di allocare e mantenere localmente lo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte. Questo approccio consente di attivare la combinazione adeguata di calcolo, memoria e rete per ogni fase di inferenza, ottimizzando così le prestazioni.

Richard Ho, responsabile hardware di OpenAI, ha commentato i risultati ottenuti: “The bottom line is that the results show a very, very significant performance advance over state of the art. Jalapeño can serve more AI work per unit of power, while also returning responses more quickly. It’s very efficient to serve a lot of customers, but it can also be very low latency.”

OpenAI prevede un primo dispiegamento di Jalapeño in volumi molto ridotti entro la fine del 2026, con una distribuzione più significativa attesa per il 2027. Questo sviluppo rappresenta un passo importante verso l’ottimizzazione delle tecnologie di intelligenza artificiale, promettendo di migliorare l’efficienza e la velocità dei servizi AI a livello globale.