Naar een nieuwe generatie mens-geïnspireerde taalmodellen
Kan een computer een taal leren zoals een kind dat doet? Een recente studie gepubliceerd in het toonaangevende tijdschrift Computational Linguistics door professoren Katrien Beuls (Universiteit van Namen) en Paul Van Eecke (AI-lab, Vrije Universiteit Brussel) werpt nieuw licht op deze vraag. De onderzoekers pleiten voor een fundamentele herziening van hoe kunstmatige intelligentie taal verwerft en verwerkt.
“Kinderen leren hun moedertaal door in hun leefomgeving te communiceren met de mensen om hen heen. Terwijl ze spelen en met taal experimenteren trachten ze de intenties van hun gesprekspartners te interpreteren. Zo leren ze gaandeweg om taalconstructies te begrijpen en te gebruiken. Dit proces, waarin taal verworven wordt via interactie en betekenisvolle context, vormt de kern van de menselijke taalverwerving”, zegt Katrien Beuls.
“De huidige generatie grote taalmodellen (LLMs), zoals ChatGPT, leren taal op een heel andere manier”, vervolgt Paul Van Eecke. “Door in enorme hoeveelheden tekst te gaan observeren welke woorden vaak in elkaars buurt voorkomen, leren ze teksten te genereren die vaak niet van menselijke teksten te onderscheiden zijn. Dit leidt tot modellen die enorm krachtig zijn in vele vormen van tekstgeneratie, van het samenvatten of vertalen van teksten tot het beantwoorden van vragen, maar die tegelijkertijd een aantal inherente beperkingen vertonen. Zo zijn ze vatbaar voor hallucinaties en vooroordelen, hebben ze vaak moeite met menselijke redeneervormen, en zijn enorme hoeveelheden data en energie nodig om ze te bouwen en te gebruiken.”
De onderzoekers stellen een alternatief model voor waarin kunstmatige agenten taal leren zoals mensen dat doen: door in hun leefomgeving deel te nemen aan betekenisvolle communicatieve interacties. In een reeks experimenten laten ze zien hoe deze agenten taalconstructies ontwikkelen die direct gekoppeld zijn aan hun omgeving en sensorische waarnemingen. Dit leidt tot taalmodellen die:
- Minder vatbaar zijn voor hallucinaties en vooroordelen omdat hun taalbegrip gebaseerd is op directe interactie met de wereld.
- Efficiënter omgaan met data en energie, waardoor ze een kleinere ecologische voetafdruk nalaten.
- Sterker geworteld zijn in betekenis en intentie, waardoor ze op een meer menselijke manier taal en context begrijpen.
“Het integreren van communicatieve en gesitueerde interacties in AI-modellen is een cruciale stap in de ontwikkeling van de volgende generatie taalmodellen. Dit onderzoek biedt een veelbelovende weg naar taaltechnologieën die dichter aanleunen bij hoe mensen taal begrijpen en gebruiken”, besluiten de onderzoekers.
Referentie:
Katrien Beuls, Paul Van Eecke; Humans Learn Language from Situated Communicative Interactions. What about Machines?. Computational Linguistics 2024; 50 (4): 1277–1311. doi: https://doi.org/10.1162/coli_a_00534
Contact:
Katrien Beuls
katrien.beuls@unamur.be
+32 (0)81 72 55 13
Paul Van Eecke
paul@ai.vub.ac.be
+32 (0)2 629 37 01
Koen Stein
