Onderzoekssynthese: betekenis en toepassing

Je hebt enquêteresultaten, interviewverslagen en gedragsdata over dezelfde vraag, en ze vertellen niet precies hetzelfde verhaal. Onderzoekssynthese is de stap waarin je die bevindingen systematisch naast elkaar legt en verwerkt tot conclusies die je kunt onderbouwen. Dat vraagt meer dan een samenvatting per bron.

Onderzoekssynthese is het samenbrengen en integreren van bevindingen uit meerdere databronnen, methoden of groepen tot conclusies die je per uitspraak kunt onderbouwen. Een synthese beantwoordt een onderzoeksvraag; een samenvatting geeft weer wat elke bron afzonderlijk zegt.

De term wordt in twee betekenissen gebruikt. In de methodologische literatuur verwijst research synthesis vaak naar het systematisch combineren van resultaten uit veel studies, zoals in een systematische review of meta-analyse. Dit artikel gebruikt de term breder: voor het integreren van bevindingen binnen één onderzoek of onderzoeksprogramma, bijvoorbeeld uit enquêtes, interviews en gedragsdata.

Een enquête laat zien hoe vaak een mening voorkomt, interviews laten zien hoe mensen hun keuze uitleggen, en gedragsdata laten zien wat mensen feitelijk doen. Synthese verwerkt die deelantwoorden tot één onderbouwd antwoord.

Drie kenmerken onderscheiden een synthese van een verzameling resultaten:

• Integratie: de conclusie zegt iets wat geen bron afzonderlijk kon zeggen.
• Herleidbaarheid: elke conclusie is terug te voeren op de bronnen en analyses waarop ze rust.
• Transparantie over onzekerheid: je maakt zichtbaar waar bronnen elkaar versterken, waar ze zwijgen en waar ze botsen.

Onderzoekssynthese is hier dus geen rapporthoofdstuk, maar een analytische werkwijze.

Het begrip heeft twee wortels. De eerste is synthese over studies heen. Het Handbook of Research Synthesis and Meta-Analysis omschrijft research synthesis als het systematisch destilleren en integreren van data uit veel studies om betrouwbaardere conclusies over een onderzoeksvraag te trekken (Cooper, Hedges & Valentine, 2019). Systematische reviews en meta-analyses komen uit deze traditie voort.

De tweede is mixed-methods-onderzoek, waarin je kwantitatieve en kwalitatieve data binnen één onderzoek combineert. Fetters, Curry en Creswell beschrijven integratie daar op drie niveaus: in het onderzoeksontwerp, in de methoden en in de interpretatie en rapportage (Fetters, Curry & Creswell, 2013). Het handboek van Creswell en Plano Clark werkt de bijbehorende onderzoeksontwerpen uit (Creswell & Plano Clark, 2018).

Dit artikel gebruikt onderzoekssynthese als overkoepelende term voor deze verwante praktijken, met de nadruk op integratie binnen één onderzoek.

• Een samenvatting geeft per bron weer wat er is gevonden. Ze beantwoordt de onderzoeksvraag niet zelfstandig.
• Een systematische review probeert al het empirische bewijs te verzamelen dat voldoet aan vooraf vastgelegde criteria, om een specifieke onderzoeksvraag te beantwoorden. Dat gebeurt met expliciete methoden die bias moeten beperken (Lasserson, Thomas & Higgins, 2024).
• Een meta-analyse combineert de kwantitatieve resultaten van meerdere studies statistisch. Of dat zinvol is, hangt af van hoe vergelijkbaar de studies zijn.
• Een onderzoekssynthese in de zin van dit artikel integreert bevindingen uit meerdere bronnen, methoden of groepen binnen een onderzoek of programma. Ze hoeft niet uitputtend te zoeken zoals een systematische review en niet statistisch te poolen zoals een meta-analyse, maar elke conclusie moet wel herleidbaar zijn.

Een synthese binnen één onderzoek heeft daarom niet de bewijskracht van een systematische review.

Fetters en collega's onderscheiden op methodeniveau vier manieren waarop databronnen met elkaar verbonden raken (Fetters, Curry & Creswell, 2013). Bij connecting koppel je bronnen via de steekproef, zoals interviewdeelnemers kiezen uit enquêterespondenten. Bij building bepaalt de ene bron hoe je de andere verzamelt, bij merging analyseer je beide databases samen en bij embedding verbind je dataverzameling en analyse op meerdere momenten.

Op het niveau van interpretatie en rapportage noemen zij drie vormen: verhalende integratie, datatransformatie en de joint display. Datatransformatie betekent dat je het ene datatype omzet in het andere, bijvoorbeeld door kwalitatieve thema's te tellen. Ook beschrijven zij de fit van integratie: de mate waarin kwalitatieve en kwantitatieve bevindingen met elkaar samenhangen.

Voor onderzoekssynthese is vooral dat laatste niveau relevant: ook los verzamelde bronnen kun je bij de interpretatie nog expliciet integreren.

Thomas en Harden beschrijven thematische synthese in drie stappen: tekst regel voor regel coderen, beschrijvende thema's ontwikkelen die dicht bij de oorspronkelijke studies blijven, en analytische thema's genereren. Met die analytische thema's gaan de onderzoekers voorbij de oorspronkelijke studies en vormen ze nieuwe interpretatieve constructen (Thomas & Harden, 2008). De methode is ontwikkeld voor reviews van kwalitatief onderzoek, maar het onderscheid tussen beschrijven en interpreteren werkt ook binnen één onderzoek.

De auteurs noemen die derde stap mogelijk het meest omstreden, omdat ze afhangt van het oordeel van de onderzoekers. Leg daarom vast welke codes en bronnen elk analytisch thema dragen.

De volgende stappen zijn een redactionele werkwijze, geen gestandaardiseerd protocol.

1. Zet de onderzoeksvraag centraal. Formuleer de vraag en de beslissing die de synthese moet ondersteunen. Bepaal per bron welke deelvraag ze kan beantwoorden en welke niet.
2. Leg de bronnen naast elkaar. Orden per thema of deelvraag, niet per bron. Noteer bij elke bevinding uit welke bron, groep en methode ze komt, en hoe groot en representatief die bron is.
3. Zoek patronen en tegenstrijdigheden. Markeer per thema waar bronnen overeenkomen, elkaar aanvullen, zwijgen of botsen. Een tegenstrijdigheid is een vraag om verklaring, geen ruis.
4. Beoordeel de bewijskracht per conclusie. Geef bij elke conclusie aan op welke bronnen ze rust, hoe geschikt die bronnen zijn voor deze vraag en of meerdere onafhankelijke bronnen haar dragen.
5. Benoem de onzekerheid. Schrijf op wat je niet weet, welke alternatieve verklaringen openblijven en welk aanvullend onderzoek de onzekerheid zou verkleinen.

Een joint display is een tabel of figuur waarin je kwantitatieve en kwalitatieve bevindingen samen weergeeft, zodat inzichten zichtbaar worden die de afzonderlijke resultaten niet opleveren. In een analyse van gepubliceerde joint displays kwamen statistieken per thema en vergelijkingen naast elkaar (side-by-side) het vaakst voor (Guetterman, Fetters & Creswell, 2015).

Een eenvoudig sjabloon, zonder meetuitkomsten:

De laatste twee kolommen dwingen je om per thema een onderbouwd oordeel te formuleren.

O'Cathain, Murphy en Nicholl beschrijven het triangulatieprotocol. Daarin ga je per thema na of bevindingen uit verschillende onderdelen overeenstemmen, gedeeltelijk overeenstemmen, of dat er stilte of dissonantie is (O'Cathain, Murphy & Nicholl, 2010). Stilte betekent dat een thema in de ene dataset opduikt en in de andere niet. De auteurs merken op dat het onderzoeken van een schijnbare discrepantie tussen methoden tot een beter begrip van de onderzoeksvraag kan leiden.

Moffatt en collega's werkten dit uit in een studie waarin kwantitatieve en kwalitatieve resultaten uiteenliepen (Moffatt e.a., 2006). Hun conclusie: het onderzoeken van zulke verschillen kan even verhelderend zijn als de overeenkomsten.

Triangulatie, het toetsen van een bevinding met meerdere bronnen of methoden, is hiermee verwant en krijgt een eigen artikel.

Dit voorbeeld is fictief en bevat geen echte onderzoeksresultaten.

Situatie: een museum overweegt een nieuwe tentoonstelling over de geschiedenis van de eigen stad. Keuzevraag: welke opzet en welke communicatie passen bij de bezoekers die het museum wil bereiken? Beschikbare informatie: een bezoekersenquête na eerdere tentoonstellingen, interviews met bezoekers en met mensen die het museum zelden bezoeken, en ticketdata met bezoekmomenten en tickettypen.

Aanpak: de onderzoeker formuleert eerst drie deelvragen. Wie bereikt het museum nu? Wat waarderen bezoekers? Wat houdt anderen tegen? Per deelvraag maakt ze een joint display met de drie bronnen naast elkaar.

Stel dat de enquête laat zien dat bezoekers verdieping waarderen, terwijl de ticketdata wijzen op veel korte middagbezoeken. Dat hoeft geen fout in een van de bronnen te zijn. Mogelijke verklaringen: de enquête bereikt vooral bezoekers die al langer bleven, korte bezoeken horen bij een andere groep, zoals gezinnen, of verdieping betekent voor bezoekers iets anders dan tijd. De interviews helpen kiezen, maar het blijft een interpretatie.

Interpretatie en vervolgstap: de synthese geeft per conclusie de bewijskracht aan, bijvoorbeeld "gedragen door drie bronnen" of "alleen uit interviews, nog te toetsen". Een gerichte enquêtevraag of een kleine test met twee tentoonstellingsteksten kan volgen.

In doelgroep- en communicatieonderzoek combineer je vaak associatiedata, gesprekken, enquêtes en gedragsdata. Een synthese helpt bepalen welke inzichten stevig genoeg zijn voor een strategische keuze en welke je eerst moet toetsen, bijvoorbeeld als hypothese voor een boodschap. Hoe je associaties meet, lees je in Hoe meet je associaties?. Veranderen nieuwe bevindingen een bestaand doelgroepbeeld, dan is de synthese de basis om het bij te werken (Wanneer en hoe actualiseer je een doelgroepkaart?).

• Geen causaliteit uit samenvoegen. Drie bronnen met hetzelfde patroon maken dat patroon geloofwaardiger, maar nog niet causaal; daarvoor is een passend onderzoeksontwerp nodig.
• Groepsniveau. Een synthese beschrijft patronen in groepen. Ze voorspelt niet wat een individuele bezoeker, klant of medewerker denkt of doet.
• Bias van de synthesemaker. Wie bevindingen samenbrengt, kiest wat relevant is. Bevestigingsbias, het zoeken en interpreteren van bewijs op een manier die past bij bestaande overtuigingen of een hypothese, is uitgebreid beschreven (Nickerson, 1998). Leg daarom vooraf vast welke vraag je beantwoordt, zoek actief naar tegenbewijs en laat een tweede persoon de synthese controleren.
• Afhankelijk van de bronnen. Zwakke of onvergelijkbare bronnen worden niet sterker doordat je ze combineert.

Onderzoekssynthese maakt van losse bevindingen een onderbouwd antwoord op een onderzoeksvraag. De kern is herleidbaarheid: per conclusie weet je op welke bronnen ze rust, hoe sterk dat bewijs is en welke onzekerheid blijft. Tegenstrijdige bevindingen behandel je als informatie over verschillen tussen groepen, methoden of situaties.