Van videokaart tot supercomputer: de AI-revolutie geeft Nvidia vleugels

‘Nee”, zegt Jack Dahlgren resoluut. „Ik geloof best dat je dertig of veertig kilo kunt tillen, maar doe het niet.” Voor hem, op een stevige tafel, ligt de koning van de datacenters: een DGX H100. Het is een van de snelste chips van Nvidia; acht grote grafische processors omringd door geheugenchips, schakelapparatuur en koelribben. Zo groot als de bakplaat van een flinke oven, met een adviesprijs van 400.000 dollar. Te duur om uit je handen te laten vallen – zeker omdat deze rekenmonsters momenteel niet aan te slepen zijn. Ze zijn de motor achter de AI-revolutie die Nvidia vleugels geeft.

Jack Dahlgren is ‘producer’ bij het Amerikaanse chipbedrijf: hij is een ervaren techneut die de bezoekers uitleg geeft bij de demonstraties in het Nvidia-hoofdkantoor in Santa Clara, Californië. Hij mijdt termen als terabytes en petaflops (tien tot de vijftiende macht berekeningen per seconde) maar weet wel alles van het bedrijf dat in één jaar tijd verdrievoudigde in beurswaarde. Sinds ChatGPT, de slimme chatbot van OpenAI, eind 2022 voor het grote publiek beschikbaar werd, steeg de waarde van Nvidia tot nu ruim 1.300 miljard dollar.

Nvidia richt zich van oudsher op grafische chips voor videokaarten die games realistisch op het scherm toveren. Nvidia verkoopt nog altijd aan gamers, maar de omzet uit datacenters groeit sneller, veel sneller. Dat komt omdat de grafische chips ook goed zijn in het ontwikkelen van kunstmatige intelligentie. Techreuzen als Google, Meta, Amazon en Microsoft willen zich dezelfde AI-techniek meester maken die ten grondslag ligt aan ChatGPT. Ze ontwikkelen generatieve AI (artificiële intelligentie) die tekst, plaatjes of een video fabriceert naar aanleiding van een geschreven opdracht. Het trainen van die onderliggende taalmodellen, elk met honderden miljarden variabelen, vergt veel rekenwerk. Zolang Nvidia de snelste AI-chips weet te produceren, rinkelt de kassa in Santa Clara.

Deze server van Nvidia is de motor achter de AI-revolutie. Acht grote grafische processors omringd door geheugenchips, schakelapparatuur en koelribben. Zo groot als de bakplaat van een flinke oven, met een adviesprijs van 400.000 dollar.

De miljardair met het motorjasje

Jensen Huang is de zestigjarige topman en oprichter van Nvidia. Hij werd geboren in Taiwan en verhuisde als kind naar de Verenigde Staten. Daar studeerde hij elektronica in Oregon, later aan Stanford University, en ging hij aan de slag bij chipfabrikanten LSI Logic en AMD.

In 1993 sprak Huang af met twee van zijn vrienden, Chris Malachowsky en Curtis Priem. Ze ontmoetten elkaar in een vestiging van Denny’s, de fastfoodketen waar Huang in zijn studietijd ooit als bordenwasser werkte, en smeedden een plan om de pc-markt te veroveren met iets nieuws. Het was een ‘beeldversneller’: een processor gespecialiseerd in het omzetten van digitale data in pixels. Nvidia groeide mee met de populaire gamemarkt. Spellen werden steeds realistischer en veeleisender, en daardoor groeide de videokaart uit tot het duurste onderdeel van de pc. Er is brute kracht nodig om complexe 3D-beelden zonder hapering te tonen.

Jensen Huang besteedde veel tijd aan het zoeken van nieuwe toepassingen voor GPU’s, om meer dan alleen videogames aan te sturen. De grafische versnellers bleken onmisbaar om data te verwerken, robots te trainen en zelfrijdende auto’s aan te sturen

Twee afkortingen zijn niet te vermijden als je Nvidia wilt begrijpen. Gewone pc’s worden aangestuurd door een centrale processor of CPU (central processing unit). Die kan veel verschillende instructies uitvoeren, achter elkaar. Maar voor sommige taken is dat niet handig. Een grafische kaart telt daarentegen meer ’kernen’ per processor – vele duizenden inmiddels – die elk een kleinere taak uitvoeren en parallel werken. Die rekenmethode helpt om snel pixels op een scherm te toveren, of om de taalmodellen achter ChatGPT te trainen met veel voorbeelden. Zo werd de GPU (graphic processing unit) gewild gereedschap voor AI-onderzoek. De gewone CPU, het domein van chipfabrikant Intel, schiet daarin tekort.

Lees ook dit interview over AI en chips: Aartsvijand van crypto richt zich nu op AI: ‘Iedereen lijkt in paniek’

Nvidia – afgeleid van het Latijnse woord invidia, jaloezie – wil anders zijn dan de gangbare chipfabrikanten. Huang oogt dan ook niet als een doorsnee topman. Hij verschijnt overal in een zwarte leren motorjas en op zijn linker bovenarm draagt hij een tatoeage van het bedrijfslogo: Jensen Huang is Nvidia. Een horloge draagt hij bewust niet, vertelde hij in een interview, om meer „van het moment te kunnen genieten”. Huang is de langstzittende topman uit de techsector en een van de rijkste; als eigenaar van 3,5 procent van de Nvidia-aandelen is hij multimiljardair.

Twee ruimteschepen

Aan Nvidia’s hoofdkantoor in Santa Clara zie je waar het succes toe leidde. Het lijkt alsof er net twee ruimteschepen geland zijn langs de San Tomas Expressway. Voyager en Endeavor heten de gebouwen, namen uit de Amerikaanse ruimtevaart en sciencefiction-serie Star Trek. Ze werden gebouwd tussen 2017 en 2022; de architect ging zich te buiten aan driehoekige figuren die de constructie van de gewelfde plafonds vormen. Het zijn dezelfde geometrische figuren waarmee videokaarten beelden generen op een computerscherm.

Jack Dahlgren leidt rond door het indrukwekkende complex dat bijna een miljard dollar kostte om te bouwen. Hij bemoeide zich intensief met de huisvesting, die zo ontworpen is dat mensen elkaar continu tegen het lijf kunnen lopen. Geen gesloten kantorencomplex waar je elkaar alleen in de lift tegenkomt, maar een pand met open trappen en plek voor spontane ontmoetingen. Zo ontstaan de beste ideeën, was het plan.

De entree van het nieuwste pand, Voyager, lijkt op de aankomsthal van een groot vliegveld – meer dan dertig meter hoog. De werkplekken zijn rondom de laboratoria opgetrokken, zodat zoveel mogelijk mensen een lichte plek bij het raam kunnen krijgen. Hier zitten de ontwikkelaars, in het andere gebouw huizen de ondersteunende afdelingen en de demoruimten. Ook Jensen Huang werkt daar, als hij niet op reis is. Hij heeft geen eigen kantoor, alleen een conferentiekamer waar hij af en toe zit te vergaderen, zichtbaar voor iedereen die langsloopt.

In het enorme kantorencomplex heerst een serene stilte – opvallend weinig mensen die er op deze donderdagmiddag in december werken. „Verkijk je er niet op, het werk gaat hier altijd door”, zegt Dahlgren, „want dit gebouw is 24 uur per dag geopend.” Ontspannen kan in de centrale Nvidia-bar, waar ’s middags tussen vijf en zeven ook wijn en bier geserveerd wordt. Het is makkelijker om daar met je collega’s na te borrelen dan op zoek te gaan naar een gezellig café in het niet zo gezellige Santa Clara. Je mag bovendien je hond meenemen, arbeidsvoorwaarde nummer één in Silicon Valley.

Met hulp van ASML

Met 26.000 medewerkers, waarvan er ruim 5.000 in Santa Clara werken, heeft Nvidia in vergelijking met de andere chipgiganten relatief weinig mensen in dienst. Dat komt omdat het bedrijf de productie van de chips uitbesteedt aan TSMC, de Taiwanese chipfabriek.

AI-processors, zoals die bakplaat vol H100’s, zijn chips die gemaakt worden met de meest nauwkeurige productiemethoden die TSMC in huis heeft. De Taiwanese fabrikant gebruikt daarvoor de apparatuur van de Nederlandse chipfabrikant ASML. De allernieuwste AI-chip van Nvidia telt zelfs bijna 200 miljard transistoren, die alleen op een klein oppervlakte geperst kunnen worden met de meest geavanceerde lithografiemachines uit Veldhoven, en een hele hoop AI.

Generatieve AI is niet alleen een kwestie van modellen trainen. Nvidia maakt ook chips die de ‘inference’ afhandelen. Dat is de vakterm voor het raadplegen van ChatGPT, Microsoft CoPilot, Google Bard of Grok, de sarcastische chatbot van Elon Musk. Als die inference-chips niet snel genoeg zijn, duurt het te lang voordat de chatbots met een antwoord op de proppen komen. Op zo’n haperende assistent zit niemand te wachten.

De kater na de cryptowinter

De omzet van de volledige chipindustrie kromp in 2023 met 11 procent, maar Nvidia is de uitzondering. In de rijtjes van onderzoeksbureau Gartner steeg Nvidia in 2023 van plek twaalf naar de vijfde plaats, met een omzet van 24 miljard dollar. Die opmars heeft Nvidia te danken aan zijn AI-chips voor datacenters. Dat marktsegment stijgt met 80 procent per jaar door, verwachten analisten.

Het is niet de eerste keer dat Nvidia zo’n onstuimige groeispurt beleeft. De afgelopen jaren sleurde de cryptohype Nvidia mee. Het minen, of munten, van bitcoin – een klusje waarvoor je veel wiskundige sommetjes op moet lossen – werkt goed op een grafische kaart. Het gevolg: de hele bitcoinwereld aasde op Nvidia’s spullen. Dat leidde tot tekorten, opgeblazen prijzen en boze gamers die hun favoriete hardware niet meer konden betalen. In 2018 halveerde de waarde van Nvidia door een kelderende bitcoinprijs, de cryptowinter. In één dag verloor Nvidia 20 procent van zijn beurswaarde.

Om een nieuwe cryptokater te voorkomen, schroefde Nvidia de ‘mijncapaciteit’ van gewone grafische kaarten terug waardoor ze niet meer gehamsterd werden door de cryptogemeenschap. Het kon niet voorkomen dat de koers in 2022 weer inklapte, totdat ChatGPT op de markt verscheen en alles veranderde.

Die introductie van ChatGPT was, in de woorden van Huang, het ‘iPhone-moment’ voor kunstmatige intelligentie, maar hij was de hype voor. Al in 2012 verdiepte de topman zich in de neurale netwerken waarmee onderzoekers de computer zelfstandig lieten leren en hij leverde in 2016 persoonlijk de eerste chips af bij OpenAI, met handtekening.

Windows voor AI

Door gebrek aan productiecapaciteit kan Nvidia de vraag naar AI-chips niet aan. Het huidige hoge marktaandeel (85 procent) zal op den duur wel onder druk komen te staan: chipfabrikanten Intel en AMD voeren hun eigen AI-processors op en ook Google, Microsoft en Amazon ontwikkelen eigen AI-chips.

Maar het is de ervaring die Nvidia in de kaart speelt. Al in 2006 bedacht het bedrijf een besturingssysteem voor zijn hardware. CUDA, zoals deze programmatuur heet, kun je zien als een soort Windows voor AI waar iedereen zijn eigen software op draait. En net zoals het lastig is om over te schakelen van Windows naar een onbekend besturingssysteem, zo blijven ontwikkelaars liever werken met CUDA.

In de AI-wereld is Nvidia nu in feite Intel en Microsoft ineen. Het levert én de snelste chips, én het dominante systeem om ze aan te sturen. Sinds het in 2020 het Israëlische bedrijf Mellanox (6,9 miljard dollar) overnam heeft Nvidia ook de techniek in huis om grafische chips aan elkaar te knopen tot een ‘supercomputer’. Nvidia verhuurt zulke supercomputers ook als clouddienst; het is zelf een techreus geworden.

Maar Jensen Huang is nog lang niet klaar met Nvidia. Hij gaat ervan uit dat chatbots als ChatGPT binnen vijf jaar uitgroeien tot een artificial general intelligence (AGI), software die elke denkbare menselijke taak kan uitvoeren. De centrale supercomputer in ieders leven, dát is pas een afzetmarkt. En nu maar hopen dat zich geen AI-winter aandient.

Delen Mail de redactie