Aanleiding: schoolbesturen downloaden benchmark niet in eerste jaar
NCO heeft schoolrapportages ontwikkeld waarin basis- en middelbare scholen op allerlei uitkomsten worden vergeleken met het landelijk gemiddelde en met scholen die qua leerlingpopulatie op ze lijken. In een brief worden schoolbesturen erop geattendeerd de benchmark van hun scholen te downloaden. Ongeveer 40% tot 50% van de besturen deed dit echter niet in het eerste jaar. In hoeverre kunnen gedragsinzichten het downloadpercentage verhogen?
Interventie: twee varianten van een attenderingsbrief en een alternatieve envelop
Ten opzichte van de brief uit het eerste jaar zijn vier nieuwe condities getest:
- beknopte interventiebrief + standaardenvelop;
- beknopte interventiebrief + interventie-envelop;
- interventiebrief met extra visuele informatie + standaardenvelop;
- interventiebrief met extra visuele informatie + interventie-envelop.
Gebruikte technieken in de beknopte interventiebrief zijn onder meer: het direct benadrukken van het belang (‘De rapportage bevat essentiële informatie over uw school/scholen’) en het doelgedrag (‘U kunt nu uw rapportage gratis downloaden’), sociale bewijskracht (‘Meer dan 3000 scholen hebben vorig jaar hun rapportage gedownload’) en een opvallend stappenplan met tijdsindicatie (‘1-2 minuten’). De uitgebreidere interventiebrief bevat ook nog twee voorbeelden van figuren uit de rapportage. De interventie-envelop (zie afbeelding) benadrukt de urgentie en valt meer op tussen alle andere voornamelijk witte enveloppen.
Afbeelding: alternatieve envelop
Methode: RCT
Er is een Randomized Controlled Trial (n=1187 schoolbesturen) opgezet met vijf condities:
de controlegroep en de vier alternatieven. Voorafgaand aan het ontwerp van de interventies is een beknopt vooronderzoek gedaan met interviews met schoolbesturen, een analyse van de customer journey en een literatuuronderzoek.
Resultaat: korte brief met alternatieve envelop leidt tot 40% meer downloads
Het meest effectief bleek een combinatie van de beknopte interventiebrief en de opvallende envelop. Gemeten een maand na verzending van de brieven leverde deze variant relatief gezien 40% meer downloads op dan de oude brief (49% versus 35%). De opvallende envelop lijkt daarmee nog extra effect te hebben ten opzichte van de standaardenvelop, want het downloadpercentage bij de beknopte brief met de standaardenvelop bedroeg 45%. De twee varianten met de uitgebreidere brief waren minder effectief met downloadpercentages van iets boven de 40%, maar nog wel significant effectiever dan de oude brief.
Figuur: Verschil in percentage downloads van de benchmarkrapportage tussen controle- en interventiegroepen
Impact: downloadpercentages rapportages gestegen
Naar aanleiding van het succes van dit experiment is besloten om de ontwikkelde alternatieve beknopte brief met gedragstechnieken en de opvallende envelop voortaan standaard te gebruiken naar alle besturen. Bij de rapportages uit 2019 liggen de definitieve downloadpercentages inmiddels op zo’n 80% voor het primair onderwijs en tussen de 86% (vmbo) en 89% (vwo) voor het voortgezet onderwijs. Besloten is om ook gedragsinzichten te gaan inzetten om de rapportages leesbaarder te maken.
Kosten en baten
De totale kosten van het project bedroegen circa 35 duizend euro, waarvan verreweg het grootste gedeelte eenmalige analyse- en ontwikkelkosten. Er waren geen meerkosten voor het verzenden van brieven, wel geringe meerkosten voor het ontwikkelen en drukken van een alternatieve envelop.
De baten zijn lastig in geld uit te drukken. Het gaat om meer schoolbesturen en scholen die door de interventie toegang hebben gekregen tot waardevolle benchmarkinformatie die de schoolbesturen en scholen kunnen benutten ten behoeve van zelfevaluatie en plannen voor schoolverbetering en voor hun periodieke gesprekken met de Onderwijsinspectie.