Kunstmatige intelligentie (AI) groeit snel, maar de enorme energiebehoefte en rekenkosten ervan worden onhoudbaar. Nu komt er een verrassende oplossing naar voren uit de wereld van de kwantumfysica: tensornetwerken. Deze wiskundige structuren zijn oorspronkelijk ontwikkeld om complexe interacties tussen deeltjes aan te kunnen en blijken opmerkelijk effectief in het comprimeren van AI-modellen, het verminderen van het energieverbruik en het zelfs toegankelijker maken van AI.
Het knelpunt: opgeblazen AI-modellen
Grote taalmodellen (LLM’s) zoals ChatGPT zijn notoir arbeidsintensief. Hun omvang en complexiteit vereisen enorme hoeveelheden energie om te trainen en te runnen, waardoor sommige technologiebedrijven extreme oplossingen overwegen, zoals speciale kleine kerncentrales om datacenters online te houden. Dit is niet alleen een zorg voor het milieu; het beperkt ook waar AI kan worden ingezet.
Het kernprobleem is dimensionaliteit. Naarmate AI-modellen complexere taken aanpakken, explodeert het aantal variabelen, waardoor opslag en verwerking onmogelijk worden. Natuurkundigen hebben dit decennia geleden opgelost met tensornetwerken.
Tensornetwerken: een op fysica gebaseerde compressieoplossing
Tensornetwerken splitsen kolossale datasets op in kleinere, beter beheersbare componenten. Stel je een gigantische worst voor die te groot is om in één keer te koken; door het in perfect geportioneerde hotdogs te draaien, is het grillklaar. Op dezelfde manier ontleden tensornetwerken massieve tensoren (multidimensionale reeksen getallen) in gekoppelde, kleinere tensoren.
Het belangrijkste voordeel? Ze behouden de nauwkeurigheid terwijl ze de omvang aanzienlijk verkleinen. Multiverse Computing, een startup mede opgericht door natuurkundige Román Orús, heeft dit al aangetoond met het Llama 2 7B-model. Hun CompactifAI-techniek comprimeert het model met meer dan 90%, van 27 GB naar slechts 2 GB, met een minimale nauwkeurigheidsdaling.
Voorbij compressie: een nieuwe AI-architectuur
De langetermijnvisie is nog krachtiger: AI-modellen vanaf de basis opbouwen met behulp van tensornetwerken, waarbij traditionele neurale netwerken volledig worden omzeild. Neurale netwerken zijn weliswaar krachtig, maar verbruiken ook energie en zijn ondoorzichtig. Tensornetwerken bieden het potentieel voor snellere training en een transparantere innerlijke werking.
Miles Stoudenmire van het Flatiron Institute gelooft dat deze aanpak ‘latente kracht’ in AI kan ontsluiten, waardoor deze efficiënt kan werken op persoonlijke apparaten zonder afhankelijk te zijn van cloudverbindingen. Stel je voor dat AI-aangedreven koelkasten of wasmachines offline werken.
Hoe het werkt: de vloek van de dimensionaliteit en de oplossing ervan
De ‘vloek van de dimensionaliteit’ is het idee dat naarmate de complexiteit van gegevens toeneemt, opslag onmogelijk wordt. Een spreadsheet is een 2D-matrix; tensoren generaliseren dit naar meerdere dimensies. Overweeg om de pizzavoorkeuren van 100.000 mensen bij te houden (100 toppings, 100 sauzen). De resulterende tensor zou een miljard getallen hebben, maar nog steeds beheersbaar zijn. Voeg echter meer variabelen toe (korst, kaas) en de grootteballonnen exponentieel.
Tensornetwerken lossen dit op door een gigantische tensor voor te stellen als een netwerk van kleinere. Correlaties tussen datapunten zijn van cruciaal belang. Mensen die van witte champignons houden, houden bijvoorbeeld ook van cremini. Door redundantie te elimineren, comprimeren tensornetwerken het model zonder dat dit ten koste gaat van de prestaties.
Resultaten uit de praktijk en toekomstperspectieven
De voordelen worden al in de praktijk gezien. Sopra Steria ontdekte dat de gecomprimeerde versie van Multiverse van Llama 3.1 8B 30-40% minder energie verbruikte. Onderzoekers van het Imperial College London hebben aangetoond dat tensornetwerkcompressie de nauwkeurigheid zelfs kan verbeteren in vergelijking met modellen op volledige grootte, omdat grote datasets vaak irrelevanties bevatten die door de techniek worden weggefilterd.
Het uiteindelijke doel is om verder te gaan dan compressie en geheel nieuwe AI-architecturen te creëren op basis van tensornetwerken. Deze aanpak zou de trainingstijd drastisch kunnen verkorten (één model wordt in 4 seconden getraind in vergelijking met 6 minuten voor een tegenhanger van een neuraal netwerk) en zou AI-modellen begrijpelijker kunnen maken.
Tensornetwerken zijn niet alleen een compressietruc; ze vertegenwoordigen een fundamentele verandering in de manier waarop we AI bouwen en inzetten. Als dit lukt, kan dit een toekomst ontsluiten waarin krachtige AI energie-efficiënt, toegankelijk en transparant is.
