262. Waarom kennis (meestal) geen gedrag wordt

Waarom slagen mensen glansrijk voor je training, maar lukt het ze niet om het gedrag te laten zien op de werkvloer? In deze aflevering laten Jeanne en Jan-Peter zien dat dit vaak geen transferprobleem is, maar een ontwerpfout. Veel trainingen beloven vaardigheden, maar toetsen kennis. En zolang je dat blijft doen, weet je eigenlijk niet of je training werkt. 

Aan de hand van Biggs’ Constructive Alignment wordt pijnlijk duidelijk wat er misgaat als leerdoelen, leeractiviteiten en toetsing niet op één lijn liggen. Je hoort waarom een theorie-examen logisch voelt, maar je niets vertelt over kunnen, en hoe één simpele check je ontwerp direct scherper maakt. 

Deze aflevering helpt je eerlijk kijken naar je eigen trainingen en laat zien wat er moet veranderen als je echt wilt dat mensen na afloop iets kunnen doen.

Lees hier het blog over deze podcast:
https://www.brainbakery.com/brainsnacks/je-toetst-kennis-maar-je-beloofde-een-vaardigheid

Transcript

SPEAKER_01 0:01

Welkom bij een nieuwe boost voor jouw missie No More Boring Learning.

SPEAKER_02 0:06

Dit is de Brain Bakery Podcast. We zijn blij, want je bent er weer bij. Een nieuwe aflevering samen met Jana.

SPEAKER_00 0:14

Lekker Jan-Peter. We gaan aan de bak. We gaan het even hebben over het meten van resultaten na afloop van een leeractiviteit. Het zorgen voor return on learning. En onze allereerste podcast in het jaar onze seren 1813. Of was het? 2019 toen we begonnen. Die ging al over meten. Zo belangrijk vinden we dat. En mijn hart maakte sprongetjes van vreugde de afgelopen weken. Om ik steeds meer artikelen zag over meten, steeds meer LinkedIn-posten over zag, valt het jou ook op dat het normaler wordt?

SPEAKER_02 0:47

Ik weet niet of het trend goede wordt, maar je ziet het echt duidelijk dat er veel meer rumoer is over het meten van de effecten van leeractiviteiten.

SPEAKER_00 0:54

Absoluut. Het bedroeft me dan soms vaak nog wel. Dat er wel staat: je moet meten, maar niet hoe hebben wij dan gemeten bij dit traject.

SPEAKER_02 1:02

En wat zijn de resultaten? Dat valt me ook op. Het gaat heel vaak over dat je moet meten.

SPEAKER_00 1:06

En dan denk ik, onthul dat nou, laten we onze community beter maken. Wij hebben volgens mij iets van twintig cases of zoiets op de website staan met waar we gemeten hebben en waar we op gemeten hebben. We hebben er meerdere podcasts over gemaakt. Dus als je al goed bent hierin, wil je het dan alsjeblieft verspreiden. En wat ik heel gek vind, is onze branchevereniging Develop. Die heeft ook al een aantal jaar nu de Impact Award. Waar ze echt aan het kijken zijn naar wie levert er nou echte performance verbetering, betere resultaten, mooiere KPI's voor een organisatie. En hoe doen ze dat? Dus ja, ik word hier blij van. Ik heb ook een oproep om dat meten nog slimmer te gaan doen. Want ik kwam een aantal keer tegen dat ik lees veel mee met mensen die trajecten maken. En dan kwam ik een aantal keer tegen dat hoe ze gingen meten niet echt een antwoord was op wat ze uiteindelijk in eerste instantie hadden gewild om aan performance te verbeteren. Dus daar zat een soort misalignment in. En daar wil ik het even over hebben. En daarom wil ik jullie meenemen naar laten we even teruggaan naar de tijd dat wij autorijles hadden. Dan heb je denk ik een uur of veertig. Of als je Jan Peter heet misschien 38. En als je Sciane heet misschien 45. En dan heb je heel lang in die auto gezeten. Je hebt daarvoor natuurlijk al dat theorie-examen gedaan. Je hebt gereden de eerste keer dat je gaat rijden, vergeet je in al die spiegels te kijken. En je hoeft ook alleen maar te gassen, want hij of zij remt wel voor.

SPEAKER_02 2:38

Het voelt ook zo hard ook.

SPEAKER_00 2:40

En dan op een gegeven moment begin je een soort te snappen: oh ja, ik ben hier niet alleen op de weg. Ik kan ook verder dan 3 meter vooruit kijken. Anticiperen. Je begint een beetje de hang of it te krijgen. Stel je nou voor dat als je dan die 40 uur autorijles hebt gehad, dat je dan je finale examen krijgt. En dat ze dan zeggen: kom maar in dit hokje. Ik laat je nu een heel aantal multiple choice vragen zien over verkeersborden. Zet hem op.

SPEAKER_02 3:03

Dat is raar.

SPEAKER_00 3:04

Ja, dat is natuurlijk belachelijk. Want je moet kijken, kan iemand ook straatje keren? Want dat moet je namelijk in de praktijk kunnen. Want als je dat niet kunt en je rijdt een doodlopende weg in, dan moet je te wegen wacht bellen. Dus we snappen allemaal dat het meten van hoe je kunt rijden, rijdend moet gebeuren. Maar in de praktijk, als je kijkt naar wat meten we nou allemaal over wat wij in leeractiviteiten doen, dan zit daar vaak wel zo'n soort vergissing in. Dan komen we met een multiple choice over dat we willen dat iemand iets kan. De deelnemers moeten adviesgesprekken leren voeren. Training, zes uur, gespreksmodellen, filmpje, discussiëren, wat herken je, en de toetsing een multiple choice over de theorie. Ze weten het. Ik ken de theorie, maar heel raar dat ze het niet doen op de werkvloer. En dit wat John Biggs, een onderwijspoloog in 96 al opschreef, en die zei: we moeten constructive alignment gaan hebben. Dat betekent simpelweg je leerdoelen, je leeractiviteiten en de toetsing, die moeten op één lijn liggen. Je moet aligned zijn. Je moet op één lijn liggen. Als je wilt dat mensen kunnen presenteren, laat ze dan presenteren. En beoordeel ze dan tijdens het presenteren. Ga niet beoordelen over kennis, over presentatietechnieken. Klinkt logisch, maar kijk even eerlijk naar je eigen trainingen. Want waarom gaat het dan vaak mis? Nou, theorie uitleggen is vrij makkelijk. Je maakt een mooi schema, je hebt een model, dat heb je misschien wel zelf bedacht of slim gat. Je legt het uit. Je ziet mensen denken. Die snappen het ook, kunnen het terug uitleggen aan je. Dan ga je misschien ook echt een beetje oefenen met ze. Maar ja, dat is al wel gedoe. Moet je best wel veel doen. Rollens spellen, organiseren, acteurs inhuren. Mensen observeren. Je moet ook de casuïstiek nog maken. Dat kost al veel tijd, energie. En het is ook nog spannend voor mensen. Dus je krijgt misschien ook een minder fijne beoordeling omdat je iedereen een rollenspel hebt aangedaan. Dus wat doen we? We vertellen de mensen hoe iets werkt, we laten ze een beetje oefenen. En we toetsen dan aan het eind, soms zelfs als we acteurs hebben ingehuurd, of ze de kennis hebben over hoe adviesgesprekken werken.

SPEAKER_02 5:31

Dat is natuurlijk ook veel makkelijker te meten. Absoluut.

SPEAKER_00 5:34

Je toet op kennis. En heel veel mensen doen dat nog steeds niet. Dus hulden aan jou als je nu luistert en jij meet al wel kennis. Maar het is wel niet aligned. Het meten van kennis zegt niets over of iemand iets kan. En Big zegt eigenlijk, er zijn drie dingen die je op elkaar moet aansluiten. De learning outcomes. Wat moeten ze kunnen aan het eind? De leeractiviteiten. Hoe oefen ik daarop tijdens de training? En hoe maak ik die oefening ook steeds gradueel steeds moeilijker? En dan het assessment. Hoe toets ik nou of ze het echt ook kunnen? En als deze drie niet matchen. Dan heb je geen training. En dan zegt Biks dus: dan heb je een show. Oh, pijnlijk.

SPEAKER_02 6:16

Voelde bij iedereen. Of je hoort bij met sommige mensen nog ontkenning, maar.

SPEAKER_00 6:24

Dus laten we even heel simpel nemen feedbackgesprekken voeren. Het leerdoel kan feedbackgesprekken voeren. Op een goede constructieve manier kun je nog heel mooi formuleren. Training, het oermodel, een filmpje, een goed gesprek. Een discussie, een acteur die binnenkomt en dan de toetsing. Een kennisquiz met 20 vragen. Iedereen slaagt, niemand kan het. Aligned, leerdoel kan feedbackgesprekken voeren, maar dan in een mooiere zin. Training, oefenen met de acteur elkaar feedback geven. Videopnames terugkijken en analyseren. Daar weer feedback op geven, zichzelf verbeteren na het analyseren van hun video. Toetsing en echt feedbackgesprek voeren terwijl iemand observeert. Resultaat, je weet precies wie het kan en wie het nog niet kan. Natuurlijk kunnen ze het binnen deze zeer kunstmatige kind setting. Misschien even de podcast checken over kind versus wicked leeromgevingen.

SPEAKER_02 7:22

256.

SPEAKER_00 7:23

Check die eventjes, want je wilt eigenlijk dat ze het nog beter gaan kunnen dan dit. Maar dit is al iets waarvan Big zou zeggen: Stempel of improvement, je hebt een aligned manier van meten genomen.

SPEAKER_02 7:36

Klinkt inderdaad heologisch. Het klinkt zo logisch dat je echt denkt. hé, waarom doen we dit dan mashaal niet?

SPEAKER_00 7:44

Nee. En waarom zijn we dan al blij als wij wel de kennis toetsen en de rest niet. Rijxamen is dus eigenlijk de gouden standaard. Rijkzamen is perfect gealignd, leerdoel, je kunt veilig een auto besturen in het verkeer. De leeractiviteit rijden. Huren. In echte verkeersituaties. Memand die steeds minder ingrijpt. De toetsing: je rijdt met een examinator in het echte verkeer.

SPEAKER_01 8:09

Heel duidelijk.

SPEAKER_00 8:10

Niemand haalt zijn rijbewijs door een quiz over de koppeling te maken. Je moet het doen. Waarom accepteren we in trainingen dan wel dat mensen slag op een quiz terwijl een leerdoel een vaardigheid is? En wat je heel goed zou kunnen doen, is we hebben een podcast ook opgenomen over Blooms taxonomy. Daar zit ook wat kritiek in. Maar ga nou eens kijken naar het leerdoel wat je geformuleerd hebt en welk werkwoord zit erin.

SPEAKER_02 8:33

In aflevering 247 hoor je alles over Blooms taxonomy, de levels die daarin zitten, de niveaus van leren, inderdaad ook welke kritiek erop is. En natuurlijk kun je bij de BrainS op de website ook dat artikel bijlezen. Overigens, ook het artikel van deze aflevering.

SPEAKER_00 8:49

Als het werkwoord op Bloom niveau 1 of 2 zit, dus als het werkwoord van wat je wilt dat ze leren in niveau 1 of 2 zit, bijvoorbeeld ze moeten dit onthouden of begrijpen, dan zitten ze laag in Bloemstaxonomie. Dan is een quiz een prima meeting. Want dan toet je gaat het over weten of begrijpen. Maar als het werkwoord van het leerdoel op niveau 3 of hoger zit, toepassen, analyseren, evalueren, creëren en je toetst het met een quiz, dan is het niet aligned. Dus deelnemers kunnen feedback geven. Dat is toepassen, dat is niveau 3. Een quiz over feedbackmodellen, ja, dat is niveau 1, waarop je dan aan het toetsen bent. Dus je belooft eigenlijk in je leerdoel niveau 3, maar je levert niveau 1. Dat is geen training, dat is misleiding.

SPEAKER_02 9:37

Wat een statement. Ja, toch? Zo kun je deze twee. Het Constructive Alignment is dus niet echt een model, dat is een theorie, maar die kun je dus heel mooi combineren met het model van Bloom.

SPEAKER_00 9:47

Ja, want je formuleert een leerdoel. Als je tenminste je huiswerk doet, dan zeg je niet, het leerdoel is een ficback training, want dat is gewoon het leveren van een beleving. Maar als je zegt, ik wil dat ze dit en dit beter kunnen, dan kun je met Bloom taxonomy kijken op welk niveau zit het. En dan kun je daar je toetsing aan alignen. Nou, vergt dit wat meer van je? Ja, want een quizje is makkelijk gemaakt, makkelijk uitgelegd, makkelijk gemeten. Het kan nog tijdens de sessie zelf. Dan weet je trouwens nog niet wat de retentie op lange termijn is. Maar je wilt dat je iets inbouwt. We noemen het wel soms een development center. Je wilt dat je iets inbouwt waardoor je kunt aantonen dat ze het kunnen. En dat is niet alleen heel lekker voor je opdrachtgever en voor jezelf. Dat je weet, ik heb geleverd. Maar dat helpt ook die deelnemer weer om te denken. tering, ik kon het in een hele spannende situatie wel. Ik weet dat ik ooit, toen ik heel lang geleden nog bij Manpower werkte, dat wij een development center hadden gehouden van tevoren met salesmeten. En dat we hen allemaal vroegen: goh, tijdens een van de settings, opdrachtgeven, ben heel enthousiast. Op prijs zitten jullie niet ver van de anderen vandaan. En ik heb op jullie website gekeken, soms lijk je toch wel een beetje op de andere. Ik zie een beetje door de bomen het bos niet meer. Waarom zou ik nou voor jullie moeten kiezen? En we hadden geturfd wat eruit. En daar kwam niet echt uit de USP's die manpower voorstaat in de markt. waar ze veel geld aan besteden, waar ze veel tijd aan besteden, die werden niet genoemd, het werd vooral genoemd. We hebben toch een leuke klik. Dat hoor je denk ik best wel vaak in trainingen. Dus het leerdoel was het goed kunnen onderbouwen van de USP's. Toen was het voorstel in eerste instantie van ons team. Dan gaan we de USP's toetsen op kennis.

SPEAKER_02 11:32

O ze die kennen. Wat als ze die kennen, zullen ze het ook wel zeggen. Dan gaan ze het ook wel zeggen.

SPEAKER_00 11:37

En daar staat dus gelijk een structurele fout die we gelukkig op tijd hebben achterhaald. Waardoor we hem hebben kunnen toetsen in, doe je het ook echt met een klant of in een klantzetting. En doe je het ook echt als de vraag weer zo gesteld wordt, zoals we gemeten hadden, dat die vaak gesteld werd. Dus constructive alignment, zorg dat je het juiste meet en dat je niet iemand de straat opstuurt met een levensgevaarlijk voorwerp, genaamd een auto.

SPEAKER_02 12:03

Maar wel met kennis van alle verkeersborden. En we hebben in heel veel podcasts verwijzen we inderdaad naar deze oproep om te gaan meten. En eigenlijk ook in elke podcast zeggen we. Ja, goed meten kost vaak wat meer inspanning, wat meer denkwerk en wat meer tijd. Maar dit is ons beroep. Dit is wat we doen. Ja, hoe we het doen is via leeractiviteiten en trainingen. Maar we zijn performance verbeteraars. Laten we dat dan ook aantonen. En ja, dat is soms iets meer tijd. Maar het levert zoveel op.

SPEAKER_00 12:40

En je toont oprecht aan dat je gedaan hebt waar je voor stond opgesteld. Dus luister naar John Biggs, mensen. Hij zei het al in de vorige eeuw. We kunnen dit.

SPEAKER_01 12:50

Heel veel succes met meten. No more boring learning. Wil je meer weten? Kijk dan op brainbakery.com of volg ons op onze socials.