Selectie van studenten is riskant experiment

Tekst Klaas Visser - 7 december 2017 - 5 Minuten om te lezen

Illustratie Typetank

Een aantal opleidingen in hbo en wetenschappelijk onderwijs kent meer belangstellenden dan er plaatsen zijn zodat een numerus fixus nodig is. Sinds 2016/2017 is de gewogen loting afgeschaft en worden alle studenten decentraal geselecteerd. Opleidingen bepalen zelf welke studenten het meest geschikt zijn. De wetgever stelt wel eisen: de selectie moet bijdragen aan het studiesucces en moet begrijpelijk, uitvoerbaar en betaalbaar zijn, zowel voor de aspirant-student als voor de instelling. De selectie hoort te bestaan uit minstens twee criteria (niet alleen eindexamencijfers).

De beste voorspeller van studiesucces, het eindexamen­gemiddelde, is helaas onbruikbaar

Het lijkt een goed idee: niet langer de willekeur van het lot maar de beste studenten toelaten tot opleidingen waar maar beperkt plaats is. Maar hoe pakt het uit?
Uit een eerste rapportage van de Onderwijsinspectie blijkt dat studenten met een niet-westerse migratieachtergrond, studenten met een lager gemiddeld cijfer in het voortgezet onderwijs en mannen in selecterende opleidingen ondervertegenwoordigd zijn. Dit geldt ook voor studenten met lager opgeleide ouders en studenten uit de lagere inkomensgroepen. Zorgelijk.

Vrije hand

In het onlangs gesloten regeerakkoord klinkt deze zorg door. Er staat in dat selectie transparant en eerlijk moet zijn. Maar zijn de selectieprocedures dat wel? En hoe komen we daar achter?
Opleidingen hebben de vrije hand gekregen. Als men maar minstens twee criteria gebruikt kan iedereen op zijn eigen manier selecteren. De inspectie rapporteert dat opleidingen veel verschillende en bijna altijd meerdere selectiecriteria toepassen maar de weging ervan is onduidelijk. Men voert selectiegesprekken, vraagt referenties en er worden toetsen en vragenlijsten afgenomen. Daarbij wordt kennis gemeten en nagegaan of leerlingen bepaalde vaardigheden hebben. Verder worden meetinstrumenten ingezet waarmee men vaststelt of de leerling avontuurlijk, doelgericht, gemotiveerd, zorgvuldig, creatief of wat dan ook is.

De wetgever neemt een groot risico met dit sociale experiment. Er is jarenlang onderzoek gedaan naar selectie en steeds weer wordt gevonden dat er wel veel wishful thinking is maar weinig bewijs. Veel selectie-instrumenten blijken weinig te voorspellen en effecten verdwijnen op de langere termijn. De relatie met uitval en rendement is beperkt of afwezig en de gehanteerde methoden blijken vaak niet betrouwbaar en valide. Men denkt dat interviews, referenties en vragenlijsten goed voorspellen maar dat is niet zo. En toch heeft iedereen de vrije hand gekregen met als gevaar dat we over een paar jaar constateren dat de gehanteerde methoden <I>niet<P> transparant en eerlijk bleken en dat bepaalde groepen buiten de boot zijn gevallen.

Onbetrouwbaar

Wat gaat er mis? Uit meta analyses van selectieonderzoek blijkt dat referentiebrieven, individuele gesprekken zoals intakegesprekken, emotionele intelligentietests, motivatiebrieven en personal statements niet of nauwelijks iets voorspellen. Toch worden ze volop gebruikt. Er wordt gebruik gemaakt van zelfrapportage, bijvoorbeeld in de vorm van motivatiebrieven en cv’s. Het gevaar van onbetrouwbare gegevens is groot: bij aangeleverde gegevens weet men niet wie het materiaal geproduceerd heeft. Bovendien gaan aanmelders bedenken wat het meest wenselijke antwoord is. Zelfrapportage is daarom feitelijk onbruikbaar als selectiemiddel. Zelfs als een vragenlijst in normale omstandigheden wel iets voorspelt weten we dat studenten gaan faken als er iets vanaf hangt. Daarom zijn veel vragenlijsten onbruikbaar als selectiemiddel. Verder zijn er trainingsbureaus die er alles aan doen om er achter te komen waar de selectie uit bestaat zodat ze aanmelders kunnen trainen. Geheimhouding van de manier waarop wordt geselecteerd is bovendien erg moeilijk omdat de wetgever transparantie eist.

Een ander groot probleem betreft de zelfselectie: bepaalde categorieën leerlingen zullen niet meedoen omdat men denkt: dat lukt mij toch niet en dat wordt vermoedelijk deels bepaald door iemands achtergrond.

Examencijfers

De beste voorspeller is nog altijd het eindexamen­gemiddelde, dat in het verleden dan ook meetelde in de gewogen loting. Helaas is het onbruikbaar omdat de selectie moet plaatsvinden voordat de eindexamencijfers bekend zijn. Een andere bewezen voorspeller is een toelatingstoets op basis van een curriculumsample of proefstuderen. Die toets legt iemand af na het volgen van onderwijs en het bestuderen van literatuur die representatief is voor de studie die men wil gaan doen. Het aardige van deze methode is bovendien dat de student een goed beeld krijgt van de studie. Verder meet men een zekere inspanningsbereidheid die gerelateerd is aan motivatie. Het nadeel is dat de kans groot is dat men de toets onvoldoende geheim kan houden en dat we niet weten hoeveel hulpbronnen de kandidaten inschakelen (trainingsbureuas, afgestudeerden).

Het is denkbaar dat er opleidingen zijn waar men specifieke vaardigheden voor nodig heeft en dat die betrouwbaar en valide kunnen worden gemeten. In een brief aan de Tweede Kamer noemde oud-minister Jet Bussemaker afgelopen zomer twee opleidingen (mondzorgkunde en verpleegkunde) die spectaculaire verschillen rapporteren tussen geselecteerde en ingelote studenten. Deze gegevens moeten wetenschappelijk gecheckt worden en gepubliceerd zodat ze gedeeld kunnen worden met anderen.

Onaanvaardbaar

Veel opleidingen zullen hun instrumenten met de beste bedoelingen kiezen. Maar we zien dat selectie wordt gebruikt om van alles uit te proberen en dat is onaanvaardbaar als er al zo veel kennis en onderzoek bestaat. Daarom bepleit ik dat elke opleiding die selecteert wordt verplicht te onderbouwen op grond van welke empirische evidentie men de selectie heeft ingericht. Daarnaast moet iedereen openheid geven over de gehanteerde criteria en de toegepaste weging. Als blijkt dat het bewijs niet te leveren is, moeten we heroverwegen of selecteren wel beter is dan gewogen loting. Anders hebben we een systeem (loting) dat willekeurig was maar in elk geval niet naar kleur en achtergrond keek ingeleverd voor een systeem dat juist niet eerlijk en transparant is.

Klaas Visser was van 2007 tot 2015 directeur van de opleiding Psychologie van de Universiteit van Amsterdam, publiceerde onder andere over studiesucces en selectie, en is nu werkzaam als zelfstandig adviseur in het hoger onderwijs.