De grens tussen mens en machine verdwijnt: chatbot slaagt voor Turingtest

Kunnen we nog zeker zijn dat we chatten met een mens? Onderzoekers aan de Universiteit van San Diego in Californië beweren van niet. Ze onderwierpen daarvoor vier verschillende chatbots, waarvan drie Large Language Models (LLM’s) die getraind zijn op menselijke taal, aan de befaamde Turingtest. Die werd ontwikkeld door Alan Turing in 1950 om erachter te komen of computers even intelligent zijn als de mens. Voor de intrede van de LLM’s was het nog nooit gelukt om een machine te maken die de Turingtest kon doorstaan, maar met de komst van die mensgerichte modellen diende zich een nieuwe kans aan.

De test gaat als volgt: een ondervrager voert twee geschreven conversaties, een met een mens, de ander met een machine. Als de ondervrager na afloop correct kan aangeven wie de mens is en wie de machine, wint de mens. Als het niet duidelijk is, wint de machine. Dat is nu gebeurd in de Amerikaanse studie.

Uit het onderzoek bleek dat de ondervragers beter waren in het ontmaskeren van de AI-bot als ze enkele specifieke strategieën toepasten, zoals onbestaande woorden gebruiken die het systeem in de war sturen. Ook wanneer ze zogenaamde jailbreakers gebruikten, zoals 'negeer alle voorgaande instructies', was het makkelijker om de AI te doorzien. Vragen naar menselijke emoties of belevingen bleek maar weinig effectief, aangezien LLM’s net getraind worden op menselijke teksten. Hoewel sommige deelnemers van het onderzoek de strategieën al goed onder de knie hadden, konden de AI-bots nog steeds meermaals slagen voor de test.

De vijf minuten van de waarheid

Voor de test rekruteerden de onderzoekers eerst 126 deelnemers die als ondervragers fungeerden. Daarna deden ze de studie nog eens over met 158 andere mensen. Elke deelnemer moest de Turingtest acht keer doen, vier keer als ondervrager en vier keer als menselijke gesprekspartner. De conversaties werden in een chat gevoerd om gewone sms-berichten na te bootsen. Ze duurden niet langer dan vijf minuten. Na het gesprek moesten de ondervragers hun finale verdict geven. De test werd later opnieuw gedaan, maar dan duurden de conversaties telkens vijftien minuten.

In totaal werden er vier AI-bots getest: ELIZA, GPT-4o, GPT-4.5 en LLaMa-3.1-405B. Beide GPT’s en LLaMa zijn LLM’s, ELIZA is een oude chatbot uit de jaren ’60. Van GPT-4.5 en LLaMa werd verwacht dat ze succesvol zouden kunnen zijn. De andere twee dienden voornamelijk als controletools.

Met duidelijke prompts over welk soort persoon ze moesten imiteren, scoorde GPT-4.5 het beste met 76% succesvolle testen. LLaMa slaagde in 56% van de gevallen. Zowel bij het gesprek van vijf als dat van vijftien minuten bleven de resultaten nagenoeg gelijk. Het is dus niet zo dat we AI beter kunnen ontmaskeren als we er meer tijd voor krijgen.

Zonder zeer expliciete instructies kon trouwens geen enkel van de modellen in meer dan de helft van de gesprekken overtuigen.

Intelligentie of menselijkheid als maatstaf?

De resultaten van de studie maken een nieuw doel voor de Turingtest noodzakelijk, vinden de onderzoekers. Volgens hen gaat het namelijk niet zozeer over intelligentie. Over het algemeen kunnen computers berekeningen en opzoekwerk immers veel sneller en juister klaren dan mensen. Wel gaat de test na of een computationele imitatie van menselijke interactie dicht genoeg bij echte menselijkheid komt. Dat zorgt er namelijk in de eerste plaats voor dat we een computer wel of niet kunnen herkennen.

De meeste problemen ontstaan wanneer we de grens tussen mens en machine niet meer duidelijk kunnen zien. Het is immers op die momenten dat we het snelst misleid worden. Denk maar aan phisingtelefoontjes of valse accounts op sociale media.

Daarom is het dus, volgens de onderzoekers, erg belangrijk om nog verder te bestuderen hoe we kunnen achterhalen of we met een mens spreken dan wel met een AI-bot, bijvoorbeeld met strategieën als jailbreakers (waarmee je LLM’s probeert in de val te lokken om hun eigen regels te overtreden). Als iedereen die leert toepassen, kunnen we een rematch van de Turingtest misschien toch nog winnen.