Vragenlijst of interviews? Maak de juiste keuze bij onderzoek naar interne communicatie

Je staat op het punt onderzoek te (laten) doen naar interne communicatie. Of je nu de opdrachtgever bent die budget vrijmaakt, of de adviseur die de aanpak ontwikkelt – vroeg of laat komt dezelfde vraag: doen we een vragenlijst, gaan we interviews doen, of kan het allebei? Dit artikel helpt je die keuze maken. En wel op basis van wat je wilt bereiken, niet op basis van wat het meest voor de hand ligt.

Als adviseur begeleid ik organisaties bij onderzoek naar interne communicatie en wat ik steeds zie: de initiële onderzoeksvraag is vaak nog niet helemaal scherp, terwijl er wel een beeld is van de gewenste onderzoeksmethode. Door een goede verkenningsfase komen we tot een passende opzet, die regelmatig anders is dan eerst gedacht. De opdrachtgever die zeker wist dat hij een vragenlijst wilde, kiest uiteindelijk voor gesprekken. De ander, die dacht dat interviews genoeg waren, besluit toch te starten met een brede meting. De keuze qua aanpak wordt dus idealiter gemaakt, nadat scherp is wat je wil weten, en wat je met de uitkomsten wil doen.

Dat is de vraag die dit artikel centraal stelt: wat is je doel van het onderzoek en wat wil je kunnen beslissen als het onderzoek klaar is? En daarna volgt de vraag: welke onderzoeksopzet past daar het beste bij?

Kernvraag: wat wil je uit het onderzoek halen?

Voordat je keuzes gaat maken over welke onderzoeksmethodes je gaat inzetten, is het belangrijk om stil staan bij wat je wil bereiken. En dat is niet altijd direct helder als wij met opdrachtgevers om tafel zitten. Vaak zijn hier wel wat ideeën over, maar is het onvoldoende scherp. De volgende twee vragen helpen je vooraf meer duidelijkheid te krijgen.

1. Wat is het doel: begrijpen of bewijzen?

Wat je wilt bereiken met onderzoek valt grofweg uiteen in drie varianten. Soms is het doel aantonen door te meten en bewijzen: je hebt cijfers nodig om een probleem te bewijzen of verbetering zichtbaar te maken. Soms is het doel begrijpen en verklaren: je wilt weten waarom iets niet werkt en wat je er concreet mee kunt doen. En soms is het doel prioriteren en kiezen: je weet dat er keuzes gemaakt moeten worden en wilt die onderbouwen. Hieronder geef ik per variant voorbeelden van uitkomsten die daarbij passen. Waar zijn jullie naar op zoek?

Meten en bewijzen:

Soms is het niet genoeg om te weten dat er iets speelt, je wilt het kunnen aantonen. Met cijfers die je kunt vergelijken en laten zien aan de directie, de ondernemingsraad, of je team. Een vragenlijst is hier leidend.

Dit levert uitkomsten op als:

• We hebben een nulmeting. Over een jaar kunnen we laten zien of de tevredenheid over interne communicatie is gestegen.
• We kunnen nu aantonen dat X% van onze medewerkers informatie mist
• Ons huidige intranet wordt door docenten gewaardeerd met een 6,6, versus een 4,8 bij managers/ teamleiders.
• We kunnen aan de directie laten zien dat het probleem breed speelt – over alle locaties en functies
• We hebben cijfers waarmee we kunnen aantonen dat de nieuwe app alleen in Nederland en niet in de andere landen leidt tot meer tevredenheid over de informatievoorziening

Begrijpen en verklaren:

Heb je al cijfers of een sterk gevoel van wat er speelt, maar weet je niet waarom of wat je er concreet mee moet doen? Dan heb je context nodig, niet meer data. Gesprekken en observatie zijn hier leidend.

Dit levert uitkomsten op als:

• We weten nu waarom medewerkers afhaken en wat we morgen anders kunnen doen
• We weten waarom in Duitsland de nieuwe app niet tot verbetering heeft geleid en kunnen concreet aan de slag met verbeteringen
• We kunnen volgende maand een eerste verbetering doorvoeren op basis van wat medewerkers zelf als meest urgente knelpunt benoemen.
• We hebben concrete voorbeelden van frustraties en knelpunten van medewerkers. Deze zijn herkenbaar voor directie en aanleiding om te investeren om hier oplossing voor te vinden.
• Managers/ teamleiders werken veelal vanaf hun mobiel/ tablet en het huidige intranet is hiervoor niet geschikt. Hierdoor krijgt het een lage waardering van 4,8 voor deze doelgroep.
• Er spelen onderstroomthema’s als gebrek aan veiligheid, openheid en wederzijds begrip

Prioriteren en kiezen

Of je nu al een beeld hebt van wat er speelt of nog niet, soms is het primaire doel niet begrijpen maar kiezen. Wat pakt de meeste pijn weg, waar begin je, en hoe onderbouw je dat intern? Hier vullen vragenlijst en gesprekken elkaar aan: de cijfers geven richting, de gesprekken geven betekenis.

Dit levert uitkomsten op als:

• We kunnen een volgorde bepalen: wat pakken we dit jaar aan, wat schuiven we door?
• We kunnen aan de ondernemingsraad laten zien dat medewerkers zijn gehoord en dat hun input de richting heeft bepaald

2. Wat weten jullie al?

Een tweede vraag om aan het begin te stellen is ‘wat weet je al?’. Heb je al signalen (klachten, verloop, uitkomsten van eerdere gesprekken), dan weet je al wat de thema’s zijn en kun je die kwantificeren met een vragenlijst. Of je kunt juist verdiepen op de waarom-vraag in gesprekken. Is het een echte blinde vlek, kies dan eerst voor enkele gesprekken. Anders loop je het risico een vragenlijst te maken over de verkeerde dingen.

Kijk vooraf ook naar de bereidheid bij de doelgroep voor deelname aan het onderzoek. Als het vertrouwen er is, werkt een vragenlijst. Bij scepsis of praktische drempels, zoals geen pc, weinig tijd, taalbarrières, zijn mensen minder bereid vragenlijst in te vullen en is de kans op een representatief beeld klein. Als referentie helpt het om respons op eerdere onderzoeken erbij te pakken.

Deze twee vragen bepalen al grotendeels welke opzet het beste past. Toch is het goed om de kansen en aandachtspunten van elke aanpak te kennen, zodat je ook intern kunt uitleggen waarom je kiest wat je kiest.

3 varianten van de onderzoeksopzet

Ons startpunt is altijd eerst het doen van deskresearch en voeren van startgesprekken. Dit maakt duidelijk wat al eerder is onderzocht, wat de aanleiding is, wat al bekend is en waar met name de vraagtekens zitten. Vervolgens is grofweg te kiezen uit onderstaande routes.

1. Vragenlijst als basis en aanvullend verdiepende interviews/ focusgroepen
2. Gesprekken als basis, daarna gefocuste vragenlijst
3. Kwalitatief (interviews, observatie, luistersessie en eventueel focusgroepen) versus alleen een vragenlijst (met optioneel kwalitatieve open vragen).

1. Vragenlijst en aanvullend verdiepende interviews/ focusgroepen

Bij deze aanpak is de kern van je onderzoek een organisatiebrede vragenlijst. Na de analyse van de uitkomsten doe je aanvullend verdiepende onderzoek via interviews en/ of focusgroepen. Dit geeft je de gelegenheid om de uitkomsten beter te duiden en ook naar oplossingsrichtingen te vragen.

Kansen:

Je kunt meten én vergelijken. Een vragenlijst geeft je cijfers, en cijfers kun je herhalen. Dat maakt het mogelijk om later aan te tonen of de situatie is veranderd.

Je overtuigt sneller intern. Cijfers overtuigen beslissers die twijfelen aan de urgentie of omvang van een probleem. Een verhaal uit vijf interviews is makkelijker weg te zetten als anekdotisch. “67% van de frontline medewerkers mist informatie op het juiste moment” niet.

Je bereikt iedereen tegelijk. Bij grote of verspreide organisaties is kwalitatief onderzoek per definitie een selectie. Een vragenlijst bereikt potentieel alle medewerkers – op alle locaties, in alle functies, tegelijk.

Een eventueel kwalitatief vervolgonderzoek wordt gerichter. Je weet al waar de frictiepunten zitten. In plaats van breed te verkennen kun je dieper duiken op de plekken die er echt toe doen. En het waarom achterhalen, en oplossingsrichtingen verkennen.

Aandachtspunten

Je meet je eigen aannames. Een vragenlijst bevat alleen vragen die jij hebt bedacht. Wat je niet wist te vragen, meet je niet. Als de werkelijke aandachtspunten liggen op plekken die jij niet had bedacht, mis je ze structureel.

Frontline medewerkers moeilijker te bereiken met vragenlijst. Medewerkers zonder vaste werkplek hebben minder makkelijk toegang tot een vragenlijst: geen pc, weinig tijd, vaak een gedeeld device. Daarnaast is de bereidheid om eerlijk te antwoorden lager als het vertrouwen ontbreekt dat er iets met de uitkomsten gebeurt. Dat vergroot het risico op een lage of sociaal wenselijke respons – juist bij de groep die je het meest wilt bereiken.

Het kwalitatieve onderzoek volgt de uitkomsten van de vragenlijst. Dat is efficiënt, maar ook sturend: je duikt dieper in wat de cijfers aanwijzen. Als de vragenlijst iets belangrijks heeft gemist, loop je het risico dat de gesprekken dat niet meer corrigeren.

2. Kwalitatief (interviews/ luistersessies) als basis, daarna gefocuste vragenlijst

De kern van deze opzet zijn interviews of luistersessies. Bij het ontwikkelen van persona’s kiezen we vaak voor deze aanpak met interviews. Als basis gebruiken we beschikbare (HR/IT)-data. In interviews verdiepen we ons vervolgens in de belevingswereld van medewerkers. Met een topiclijst gaan we het gesprek aan over de communicatie en de onderwerpen die je verwacht dat relevant zijn. In het gesprek ben je wendbaar om in te zoomen op de context en antwoorden die je van je gesprekspartner krijgt. We luisteren naar opvallende quotes die kenmerkend zijn voor een grote groep. We vragen hoe hun gemiddelde werkdag eruitziet, welke apparaten ze gebruiken en wat communicatiemomenten zijn.

Als er sprake is van een grote verandering, kiezen we vaak voor luistersessies om een goed beeld en gevoel te krijgen van wat er speelt in de organisatie. De opzet hiervan luistert nauw. De samenstelling van de deelnemers is een bewuste keuze en het creëren van een veilige sfeer is de basis om vanuit te werken. Dan kan het gesprek onder andere gaan over: wat zijn dingen die goed gaan, waar zitten knelpunten? En ook wat zijn mogelijke versnellers?

Kansen

Je ontdekt wat je niet wist te vragen. Gesprekken brengen dingen boven die je niet kan aanvinken: informele kanalen, frictiesituaties die als normaal worden beschouwd, taalbarrières. Kwalitatief onderzoek vergroot je blikveld en laat je zien wat je miste.

Je kunt direct handelen. Interviews leveren concrete situaties en knelpunten op, geen statistieken. Je hoeft niet te wachten op een volledig rapport om de eerste stap te zetten – en dat geldt ook als die vragenlijst niet volgt.

Een eventuele vragenlijst daarna is beter gefocust. Je bouwt hem op basis van wat je écht hebt gehoord. Betere vragen, meer herkenbaarheid, minder ruis. En omdat je alleen meet wat er echt toe doet, kan hij ook korter.

Aandachtspunten

Je bereikt een kleinere groep. Interviews en gesprekken kosten tijd per persoon. Bij een grote of verspreide organisatie bereik je nooit iedereen. Dat maakt de uitkomsten kwetsbaar: een directeur kan zeggen “dit zijn maar tien mensen.”

Je hebt geen nulmeting. Kwalitatief onderzoek levert geen cijfers waarmee je later kunt aantonen dat iets is verbeterd. Als je over een jaar wilt kunnen zeggen “de situatie is veranderd”, mis je een cijfermatig vergelijkingspunt. Die nulmeting kun je achteraf niet meer maken.

Het duurt langer voor je iets concreets kunt laten zien. Gesprekken leiden tot inzichten, niet direct tot een rapport met grafieken. Voor opdrachtgevers die intern moeten verantwoorden wat het onderzoek heeft opgeleverd, is dat uitdagend. “We hebben twaalf gesprekken gevoerd” overtuigt minder snel dan een dashboard.

Kwalitatief onderzoek is zelf al een interventie. Zodra je gesprekken voert, beïnvloed je de organisatie. Mensen gaan nadenken, praten met collega’s, verwachtingen ontstaan. Als je daarna een vragenlijst uitzet, meet je niet meer de beginsituatie, je meet een organisatie die al in beweging is gekomen.

3. Als je moet kiezen voor één methode

Niet elke opdracht biedt ruimte voor een combinatie van kwantitatief en kwalitatief onderzoek. Tijd, budget of draagvlak maken soms dat je een keuze moet maken. Welke methode dan het beste past, hangt uiteraard af van wat je wilt bereiken. Als ik bovenstaande overwegingen meeneem, kom ik tot de volgende aanbeveling:

Kies voor een vragenlijst als je primaire behoefte is om te meten en te vergelijken. Wil je straks kunnen aantonen dat de situatie is verbeterd – of juist niet? Dan heb je een nulmeting nodig, en die werkt alleen als je hem vroeg in het traject maakt. Een vragenlijst is ook de juiste keuze als je al een redelijk beeld hebt van wat er speelt en dat beeld wilt kwantificeren en prioriteren. En als de doelgroep groot en verspreid is met veel locaties, veel medewerkers, biedt een vragenlijst het bereik dat met kwalitatief onderzoek logistiek vaak niet haalbaar is. Heb je bovendien te maken met beslissers die intern bewijs nodig hebben om te investeren in verbetering, dan overtuigen cijfers sneller dan verhalen.

Kies voor kwalitatief onderzoek als je nog geen goed beeld hebt van wat er speelt. Thema’s kiezen voor een vragenlijst is dan uitdagend, en als je de verkeerde dingen vraagt, mis je de kern. Kwalitatief onderzoek is ook de betere keuze als je snel wilt kunnen handelen: gesprekken leveren concrete situaties en knelpunten op waarmee je morgen al iets kunt verbeteren. Een vragenlijst geeft je aantallen en scores, maar de prioriteiten moet je daarna nog bepalen. Speelt er bovendien weinig vertrouwen bij de doelgroep – “er gebeurt toch niks mee” – dan is een vragenlijst contraproductief. Je krijgt lage respons of sociaal wenselijke antwoorden. Gesprekken bouwen eerst vertrouwen op. Tot slot: als de organisatie sterk verschilt per locatie of rol, is één vragenlijst per definitie een compromis. In gesprekken kun je die verschillen beter opvangen en benoemen.

Van vraagteken naar helderheid

Opdrachtgevers komen soms met een beeld van wat ze willen: een vragenlijst, interviews, persona’s, een dashboard, een nulmeting. Anderen zijn nog volledig blanco. Wat ik steeds merk: een goede verkenningsfase met de juiste vragen, helpt echt om helderheid te krijgen. De ene opdrachtgever kiest uiteindelijk voor een uitgebreid traject, de ander voor een veel kleinere opzet. Niet omdat ze van gedachten zijn veranderd, maar omdat scherp werd wat ze eigenlijk wilden weten, en wat ze met de uitkomsten willen doen.

Onderzoek is voor mij geen doel op zich, het is het startpunt van een strategische aanpak. Wil je sparren over welke aanpak past bij jouw situatie? Stuur me gerust een bericht.

Roosmarijn Busch

Meer lezen

Eerder deelde ik het Onderzoekscanvas, waarin de stappen beschreven staan voor het doen van onderzoek naar communicatie in je organisatie. Het startpunt is ‘wat is de aanleiding van de vraag en wat wil je ermee bereiken?’. Daarna volgen vragen over de doelgroep en hoe je gaat onderzoeken. In dit artikel ben ik ingezoomd op ‘wat wil je ermee bereiken’ gekoppeld aan ‘welke methodes kies je en hoe diepgaand wordt het onderzoek?’. Bekijk ook het volledige Onderzoekscanvas en zet het in als handig houvast.