Predictieve validiteit in selectie

Inleiding

Sinds de invloedrijke meta-analyse van Schmidt en Hunter (1998) wordt incrementele validiteit gebruikt om de voorspellende waarde van selectiemethoden te bepalen. Door in assessments cognitieve capaciteiten, persoonlijkheid, integriteit en motivatie te meten en te combineren, zou een predictieve validiteit van r ≈ 0,82 mogelijk zijn. Dit lijkt echter erg hoog. In de praktijk wordt vaker uitgegaan van een r ≈ 0,41, zoals vermeld door Tini van der Heijden in Alles over Recruitment software, Assessment software & Talent management (2020).

De maat ‘r’ staat voor de correlatiecoëfficiënt, een getal dat aangeeft hoe sterk twee variabelen met elkaar samenhangen. In dit geval laat het zien hoe goed een selectiemethode toekomstige werkprestaties kan voorspellen. Een waarde van 0 betekent geen verband, terwijl 1 een perfect voorspellende relatie zou zijn. Een r-waarde van 0,41 wordt als redelijk sterk beschouwd, terwijl 0,82 uitzonderlijk hoog is en door recente onderzoeken wordt betwijfeld.

Nieuwe inzichten uit recent onderzoek

De meta-analyse van Sackett, Zhang, Berry en Lievens (2022) roept op tot een hernieuwde evaluatie van de predictieve validiteit van selectiemethoden. Zij bekritiseren meta-analyses in het algemeen en die van Schmidt en Hunter in het bijzonder. Volgens hen is de predictieve validiteit overschat door een te sterke compensatie voor “restriction of range”. Daarnaast stellen zij dat gestructureerde interviews de hoogste voorspellende waarde hebben, en niet cognitieve capaciteiten. Dit suggereert dat gestructureerde interviews een prominentere rol zouden moeten krijgen in het selectieproces.

Gecorrigeerde predictieve validiteit

Sackett et al. stellen dat een selectieprocedure die gestructureerde interviews combineert met cognitieve vaardigheden, persoonlijkheid, drijfveren en integriteit, een r-factor van ongeveer 0,55 – 0,60 zou kunnen hebben, afhankelijk van de onderlinge correlaties tussen de predictoren. Dit is lager dan eerdere schattingen van Schmidt & Hunter (1998), maar nog steeds een solide voorspeller van werkprestaties.

Niet elke vragenlijst of test is zomaar bruikbaar. Het is essentieel dat de gebruikte instrumenten wetenschappelijk onderbouwd, valide en betrouwbaar zijn. Dit geldt in het bijzonder voor persoonlijkheidsvragenlijsten, vooral wanneer deze gebaseerd zijn op big-five constructen.

Implicaties voor selectieprocessen

Indien de bevindingen van Sackett et al. (2022) standhouden, heeft dit belangrijke implicaties voor de manier waarop organisaties hun selectieprocedures inrichten:

• Herwaardering van cognitieve tests: Hoewel cognitieve capaciteiten een rol blijven spelen, zouden organisaties minder afhankelijk moeten zijn van deze tests als primaire voorspellende factor.
• Meer focus op gestructureerde interviews: Deze blijken volgens de nieuwe inzichten de grootste voorspellende waarde te hebben en verdienen daarom een prominentere rol in het selectieproces.
• Kritische evaluatie van bestaande modellen: Veel assessmentmodellen zijn gebaseerd op oudere meta-analyses en moeten mogelijk opnieuw worden beoordeeld op basis van recente inzichten.
• Gebruik van multimethodische benaderingen: Een combinatie van methoden blijft belangrijk, maar de weging van de verschillende methoden moet worden herzien in het licht van de nieuwe onderzoeksresultaten.

Sackett et al. benadrukken dat de effectiviteit van een selectiemethode afhangt van hoe goed deze past bij de specifieke taakeisen en competenties van een functie.

Specifieke aanbevelingen per selectiemethode

1. Arbeidsproeven en vakkennis-tests

Arbeidsproeven en vakkennis-tests zijn vooral nuttig voor functies waarbij specialistische kennis of directe praktische vaardigheden vereist zijn, zoals technici, elektriciens en medische professionals.

2. Gestructureerde interviews als breed inzetbare selectiemethode

Gestructureerde interviews hebben een hoge voorspellende waarde en kunnen breed worden toegepast. Ze kunnen specifiek worden ontworpen om gedragingen, motivatie en vaardigheden te meten die relevant zijn voor de functie.

3. Cognitieve vaardigheidstests en de validiteit-diversiteit trade-off

Cognitieve vaardigheidstests zijn nuttig voor analytische en probleemoplossende functies, maar kunnen nadelig zijn voor diversiteit. Organisaties moeten daarom overwegen om cognitieve tests aan te vullen met andere selectie-instrumenten, zoals gestructureerde interviews en biodata, om bias te verminderen.

4. Integriteitstests en consciëntieusheid bij betrouwbaarheidseisen

Voor functies waarbij betrouwbaarheid, ethiek en verantwoordelijkheid essentieel zijn (zoals in de financiële sector of beveiliging), hebben integriteitstests en consciëntieusheidstests een sterke voorspellende waarde.

5. Contextualiseren van voorspellers

Sackett et al. pleiten ervoor dat selectieprocedures niet generiek moeten worden toegepast. Persoonlijkheidsmetingen en competentietests moeten specifiek worden afgestemd op de eisen van de baan. Bijvoorbeeld: een drijfverentest die focust op de werkcontext heeft een hogere voorspellende waarde dan een algemene drijfverentest.

Conclusies

Wat betekent dit voor de inrichting van selectieprocessen?

• Voor bepaalde functies zijn arbeidsproeven en vakkennis-tests bijzonder nuttig.
• Competentiegebaseerde interviews helpen bij het aanbrengen van structuur, objectiviteit en voorspellende validiteit in selectieprocedures. Gedrags- en situationele vragen kunnen bijdragen aan een betrouwbaarder selectieproces.
• Cognitieve tests zijn nuttig, maar moeten met voorzichtigheid worden gebruikt en aangevuld met andere methoden om diversiteit te waarborgen.
• Integriteitstests kunnen van grote waarde zijn in functies waar ethisch en integer handelen cruciaal is.
• Een synergetische aanpak, waarbij psychometrische tests worden gebruikt om interviewvragen te structureren en te contextualiseren, verhoogt de validiteit van het selectieproces en zorgt voor een betere match tussen kandidaat en functie.

Over de auteur

Jeroen Visscher is directeur van HRorganizer, een bedrijf dat de prestaties van mensen, teams en organisaties verbetert door middel van realtime prestatie-inzichten, 360 feedback en zinvolle assessments. Met ruime ervaring in HR-technologie en prestatiemanagement streeft hij ernaar innovatieve oplossingen te ontwikkelen die bedrijven helpen bij het verbeteren van hun selectieprocessen. Naast zijn rol bij HRorganizer is hij ook betrokken bij HawkAi en Bentlie, en actief in de regio Arnhem-Nijmegen.

Referenties

• Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology. DOI: 10.1037/apl0000994
• Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124(2), 262–274.
• Heijden, T. van der (2020). Alles over Recruitment software, Assessment software & Talent management. HRorganizer B.V. download