AI-geheugen, en de speler die de uitbreiding levert

In elke discussie over AI gaat het over chips. NVIDIA bouwt de GPU's, AMD probeert in te lopen, Intel zoekt zijn plek. Wat in die discussie ontbreekt is dat AI-inferentie, dus elke keer dat iemand ChatGPT een vraag stelt of een AI-agent een taak laat uitvoeren, niet vastloopt op rekenkracht maar op geheugen.

In een typische enterprise-inferentie installatie staat een GPU een aanzienlijk deel van de tijd te wachten. Niet omdat hij niet kan rekenen, maar omdat zijn werkgeheugen vol zit. De data die hij nodig heeft past niet meer in het snelle HBM-geheugen op de chip, en de standaard alternatieven zijn duizend keer langzamer. Dit is wat in de industrie de memory wall wordt genoemd, en het is op dit moment de duurste verspilling in elke AI-fabriek ter wereld.

De voor de hand liggende oplossing zou meer HBM zijn, maar dat is uitverkocht tot in 2027. SK hynix levert vrijwel exclusief aan NVIDIA, Micron en Samsung racen om hetzelfde tekort in te lopen. Voor enterprises die geen hyperscaler zijn, is HBM in de praktijk niet beschikbaar. De industrie heeft daarom een andere uitweg gezocht via een open industriestandaard die het mogelijk maakt om grote hoeveelheden DDR5-geheugen aan een AI-cluster te koppelen.

Er is een bedrijf dat daar als eerste een production-ready oplossing heeft op gezet en levert nu de complete geheugensystemen. De omzet van het kernsegment groeit met dubbele cijfers per kwartaal. De jaarguidance werd in één kwartaal verdubbeld. Het bedrijf opereert op het kruispunt van geheugen en AI-infrastructuur, gepositioneerd tussen pure chip-ontwerpers zoals Astera Labs en grote systeembouwers zoals Dell en HPE.