ChatGPT zaait argwaan en wantrouwen
Hoe toetsen we wat een student heeft geleerd? Plagiaat is verboden, maar is de inzet van een taalmodel bij schrijfwerk altijd plagiaat? Ruim een jaar na de introductie van ChatGTP ontbreekt het bij de meeste universiteiten nog altijd aan heldere richtlijnen. Dat levert docenten een hoop kopzorgen op.
Beeld: Ivo de Boer & Peter van Dorst
Pepijn Stoop (1998) studeert kunstmatige intelligentie aan de Universiteit van Amsterdam (UvA) en begeleidt als student-assistent eerstejaars. Hij kent de verleidingen en gevaren van ChatGTP daardoor van beide kanten. Hij ziet de beperkte schrijfvaardigheid van de coronageneratie én kent de hoge eisen die aan het gebruik van het academisch Engels worden gesteld. Hij weet ook hoe ChatGPT miskleunen overtuigend kan presenteren. Zo overtuigend dat Gerard Reve meerdere keren opduikt als winnaar van de Nobelprijs voor literatuur in de schrijfopdrachten die hij nakijkt. Dat plaatst hem voor dilemma’s, want ChatGTP-gebruik is bij de UvA tot nader orde verboden. “Ik kan er melding van maken bij de examencommissie met alle tijd en stress die dat kost. Of het laten gaan maar dan geef ik impliciet het signaal af dat het gebruik van ChatGTP oké is. Maar ik wil ook niet de boeman zijn. Ik vertel studenten nu wat ik heb gezien en dat de docent zal beslissen. Die heeft de meeste ervaring.”
Op het merendeel van de universiteiten geldt net als bij de UvA een jaar na de introductie nog altijd een globaal verbod op het gebruik van ChatGTP bij schrijfopdrachten. Bij verdenking volgen soms straffe maatregelen. In juli vorig jaar beschreef de Volkskrant hoe de Vrije Universiteit (VU) alle Engelstalige papers van derdejaars pedagogische ethiek ongeldig verklaarde nadat een docent melding maakte van grootschalig gebruik van een chatbot. Een achthoofdige taskforce werkt sindsdien aan gezamenlijke richtlijnen voor de twee Amsterdamse universiteiten.
Wat daarin komt te staan mag VU-hoogleraar vakdidactiek van informatica Felienne Hermans (1984) pas zeggen als het advies aan de rectoren is uitgebracht. Zelf ziet ze weinig kwaad in het gebruik van ChatGTP als schrijfhulp. “Ik zie geen wezenlijk verschil met andere technische hulpmiddelen zoals appen met je broer of het raadplegen van samenvattingen. Zodra het om opdrachten gaat die studenten buiten de collegezaal uitvoeren, kun je niet controleren wat ze gebruiken. We hebben ook opdrachten waarbij ze samenwerken. Als de één dan sterk leunt op de ander, zakt die eerste uiteindelijk voor het tentamen. Je moet als eerstejaars leren dat je op de universiteit het werk echt zelf moet doen, en dat je een keer de sigaar bent als je dat niet doet.”
Argwaan
Zolang richtlijnen ontbreken waarschuwt Carolien van Dullemen (1958), docent bestuurskunde bij de VU, haar studenten dat ze het kan zien als ze een taalmodel gebruiken. “Dat merk ik aan de structuur, aan bepaald taalgebruik.” Ze heeft het taalprogramma uitgebreid uitgeprobeerd. “Ik was razend nieuwsgierig toen het verscheen. Het is nieuw gereedschap en daarmee van belang voor blended learning. Je moet toch als docent op zijn minst weten wat het is. Het verbaasde me dat er collega’s waren die het programma na drie maanden nog niet hadden bekeken. Op de dag van de release zat ik het zelf tot diep in de nacht uit te proberen.”
Net als elk stuk gereedschap valt ChatGPT in te zetten met minder goede bedoelingen. “Toch iets inleveren als je je taken slecht hebt gepland bijvoorbeeld”, zegt universitair hoofddocent organisatiewetenschappen Yvette Taminiau (1965) die lid is van de examencommissie bij de VU-faculteit sociale wetenschappen. “Tijdsdruk, deadline, niet goed opgelet, de klassieke aanleidingen voor fraude. Nu komt daar de verleiding bij dat je binnen enkele seconden resultaat hebt.”
Maar de computer een volledig essay laten afleveren zonder dat de docent het merkt is niet eenvoudig, zegt Steven Dorrestijn (1977) lector ethiek en technologie bij hogeschool Saxion. Zeker niet in zijn keuzemodule ethiek waarin een kleine groep studenten meewerkt aan zijn onderzoek. “Ik heb nog nooit een student gehad die ons wilde bedotten, maar ik zie hoe er bij andere vakken is ingegrepen omdat allerlei toetsen niet meer werkten. De argwaan en onzekerheid nemen toe bij docententeams, een ongewenst en vervelend effect.”
Dorrestijn pleit daarom voor verstandig afremmen van de inzet van kunstmatige intelligentie. “En we moeten niet meer massaal en machinaal toetsen, anders nemen straks machines elkaar de tentamens af terwijl wij denken dat we de kennis van studenten toetsen.”
Plagiaatchecker
Is een ChatGTP-verbod te handhaven? De Universiteit Maastricht denkt van wel. Sinds september 2023 zet de universiteit de plagiaatchecker Turnitin Originality in die belooft zelfs alarm te slaan als een student zijn eigen tekst heeft laten verbeteren door een chatbot. Of dat in de praktijk echt werkt is nog niet te zeggen. Daarvoor had de universiteit bij het afsluiten van dit blad nog te weinig opsporingservaring opgedaan.
Maar of een melding nu komt van een geavanceerde plagiaatchecker of van een argwanende docent, het leidt altijd tot discussie. “De eerste gevallen waren vooral grappig omdat het programma van alles had gefabuleerd”, vertelt Yvette Taminiau van de VU-examencommissie. “Nu is dat al niet meer zo. Als de docent doorheeft dat de tekst niet van de student is, wordt het een gesprek over ethiek. Studenten schrikken van de uitnodiging om bij onze examencommissie te komen. Sommige liegen, dat is de moeilijke groep. Er zijn er die beweren dat ze kunstmatige intelligentie alleen hebben gebruikt voor eindredactie. Daar kan ik niet veel tegenover zetten. Het aantal meldingen is helemaal niet groot, dus het kan zijn dat een en ander ontglipt aan de waarneming van docenten.”
'Niet het nieuwe gereedschap is het probleem maar de schaalvergroting op universiteiten'
Studenten hebben dankzij de overspannen marketing van de tech-bedrijven onrealistisch hoge verwachtingen van het nieuwe gereedschap, ziet Felienne Hermans. “Ze snappen dit nog niet, denken dat zo’n tekst er goed uitziet dus hup naar mevrouw Hermans ermee en dan zien we het cijfer wel. In de informatica kennen we deze tools en de beperkingen doordat ze leunen op statistiek. Zelfs als je er perfect materiaal in stopt, komt er nog geen perfecte informatie uit. Ik zie dan ook echt niet wat ik aan deze programma’s zou kunnen uitbesteden, behalve het schrijven van programmeercodes.”
Niet het nieuwe gereedschap is het probleem maar de schaalvergroting op universiteiten, stelt Hermans onomwonden. Eerstejaars die met behulp van chatbots hoge cijfers hebben gehaald, vallen bij kleinschalige werkvormen in het tweede of derde jaar snel door de mand. “Als ik zulke studenten voor mijn neus heb in een werkcollege merk ik snel genoeg of ze die cijfers zelf hebben gehaald. Dat lukt in werkcolleges, maar niet bij hoorcolleges met 250 of 650 studenten.”
Startblokken
Taalmodellen falen jammerlijk als het om wetenschappelijk inzicht of denkwerk gaat, maar wat kan dan wel een zinvolle toepassing zijn? De Universiteit Utrecht tipt studenten om de chatbot in te zetten als persoonlijke leercoach. De computer krijgt dan het verzoek om overhoringsvragen te formuleren bij de collegestof. Over assistentie bij schrijfwerk doet Utrecht evenmin moeilijk: het is toegestaan vragen te stellen en de antwoorden in te zetten als inspiratiebron voor het eigen werk. Niet kopiëren, en alle informatie verifiëren met de juiste bronnen, waarschuwt de Utrechtse handleiding, want chatbots kunnen veel inhoudelijke fouten maken. En check bij de docent voor je eraan begint, want elk vak kan eigen regels hanteren.
Wageningen formuleert het strikter: stel gerust vragen aan ChatGPT, maar gebruik de antwoorden alleen als zoekterm voor zoekmachines die wel verwijzen naar bestaande academische publicaties. Vermeld je methode, maar wen niet aan schrijfhulp van ChatGPT, want wetenschappelijke tijdschriften accepteren het niet.
“Academisch onderwijs moet mensen leren hun gedachten op papier te krijgen”, stelt VU-docent Carolien van Dullemen. “Als je gaat schrijven, weet je vaak beter wat je denkt. Een taalprogramma kan je op gedachten brengen, je uit de startblokken helpen als je worstelt met het begin. Maar ik zeg wel tegen studenten: die computer liegt waar je bij staat, je moet alles controleren. Voor ons zou het heel fijn zijn als ze het taalprogramma mogen gebruiken als schrijfhulp, omdat ze dan in ieder geval geen taalfouten meer hoeven te maken. En ze gebruiken het sowieso, ook al mag ik het niet aanmoedigen. Daardoor hebben de handigste mensen een voorsprong.”
Student-assistent Pepijn Stoop kan niet wachten tot er duidelijke regels zijn. “We zijn straks halverwege het jaar terwijl deze problemen eind 2022 zijn begonnen. Als je het nog niet weet, publiceer daar dan over. Zolang we het probleem negeren met een verbod, schuiven we het op het bordje van de docenten en begeleiders. Dat bezorgt ons veel werk en het is niet fair, want zo ontstaat bij elk vak een andere regeling.”
Erasmus Universiteit ontwikkelt eigen taalmodel
Alleen tech-bedrijven als Open AI weten wat er gebeurt in de black box van ChatGPT en zijn maatjes. Daarom heeft Erasmus Universiteit Rotterdam een eigen taalmodel in elkaar gezet voor onderwijs en onderzoek. Michele Murgia (1993), onderwijscoördinator Artificial Intelligence, kan bevlogen vertellen over de kansen die er liggen voor samenwerking tussen docenten en studenten.
In de Rotterdamse minor AI and Societal Impact draait het Erasmian Language Model (ELM) volop mee. ELM kent uitsluitend geverifieerde bronnen, vooral van de eigen universiteit. Het doel: een sjabloon ontwikkelen waarmee andere organisaties hun eigen modellen kunnen bouwen.
Vrolijk chatten met deze nieuwkomer is er alleen bij voor gebruikers de die met of zonder hulp van het ELM-team de open source software zelf weten te installeren - dat kan ook op een gewone laptop. Financiering is aangevraagd om een server in de lucht houden waar het model 24 uur per dag te raadplegen valt via een webpagina. “Dit model is er alleen voor onderzoek en onderwijs, je kunt het niet om een recept voor spaghetti vragen”, benadrukt Murgia.
Ook bij de EUR verkennen studenten intussen marktleider ChatGPT terwijl docenten er nog weinig mee kunnen. Daar levert het vervelende situaties op, vertelt Murgia. “Het meest schrijnend zijn de vals positieve plagiaatmeldingen. Dan stelt een docent op basis van vermoedens dat een student kunstmatige intelligentie heeft gebruikt zonder dat te melden, terwijl dat niet het geval is. Wantrouwen hadden we al voor de doorbraak van ChatGTP, maar in dit soort gevallen voert het de boventoon. Het taalmodel biedt daar een extra voedingsbodem voor.”
