Jalapeño je prvi OpenAI-jev čip, namijenjen zaključivanju, dakle radu već istreniranih modela. Od prve zamisli arhitekture do prvog silicija prošlo je manje od 20 mjeseci, a tim je u prosjeku imao manje od sto ljudi. IEEE Spectrum opisuje kako su u tom poslu sudjelovali OpenAI-jevi vlastiti jezični modeli.
Gdje su modeli radili
U prednjem dijelu projektiranja, gdje se logika čipa opisuje kodom, korišten je Googleov otvoreni alat XLS uz pomoć modela. Modeli su sudjelovali i u provjeri dizajna te u analizi signala iz simulacija.
U fizičkoj izvedbi model je jedinicu za množenje matrica smanjio za deset posto površine. U optimizaciji softvera rezultat jednog mjerila podignut je s 0,31 na 88,94 posto za otprilike 40 sati.
Od gotovog opisa logike do slanja u proizvodnju prošlo je devet mjeseci.
Što je Broadcom radio
Fizičko projektiranje, od logičkih vrata nadalje, obavio je Broadcom. OpenAI-jev tim vodio je sustav u cjelini: sam akcelerator, hijerarhiju memorije i mrežu među čipovima.
Vanjski istraživači s kojima je Spectrum razgovarao kažu da je Broadcomov udio bio nužan za ovako kratak rok. Dodaju i da je automatizacija stražnjeg dijela projektiranja slabije razvijena od prednjeg.
Brojke čipa
OpenAI navodi do 13,4 petaflopsa u četverobitnom računanju, 232 gigabajta memorije HBM4 i propusnost od 15,4 terabajta u sekundi. Kašnjenje od ulaza do odgovora bilo bi do 3,6 puta manje nego kod Nvidijina GB300, uz manju potrošnju. Te brojke dolaze od OpenAI-ja i nisu neovisno izmjerene.
Čipovi su stigli iz tvornice u svibnju, a raspoređuju se u skupine od po 2048 komada. Richard Ho, potpredsjednik za sklopovlje, i Chris Leary, inženjer u OpenAI-ju, u Spectrumu opisuju posao.
