Samenhang versus causaliteit: betekenis en toepassing

Je ziet in je gegevens dat klanten die een app gebruiken langer blijven, of dat medewerkers met een mentor minder snel vertrekken. Zulke verbanden lezen al snel als oorzaak en gevolg. Of die lezing klopt, hangt af van hoe de gegevens tot stand kwamen en welke andere verklaringen je hebt uitgesloten.

Samenhang versus causaliteit is het onderscheid tussen twee kenmerken die samen voorkomen en het ene kenmerk dat het andere veroorzaakt.

Een samenhang kan ontstaan door toeval, doordat het gevolg de oorzaak beïnvloedt, door een gemeenschappelijke derde factor of door de manier waarop mensen in je gegevens terechtkwamen. Een causale uitspraak vraagt daarom een passend ontwerp, zoals een gerandomiseerd experiment, of expliciete en verdedigbare aannames. Formuleer je bevinding nooit sterker dan dat ontwerp toelaat.

Er is samenhang wanneer twee kenmerken samen variëren: waar het een vaker of sterker voorkomt, komt het ander ook vaker of juist minder voor. In kwantitatief onderzoek druk je dat vaak uit in een correlatie of een verschil tussen groepen. In kwalitatief onderzoek zie je samenhang als patronen: deelnemers die het ene noemen, noemen ook vaak het andere.

Er is causaliteit wanneer een verandering in het ene kenmerk een verandering in het andere teweegbrengt. Een causale uitspraak gaat dus over wat er gebeurt als je ingrijpt. Een samenhang beantwoordt die vraag niet. De bekende zin "correlatie is geen causaliteit" zegt nog niet wat je dan wel kunt doen; daarover gaat dit artikel.

Shadish, Cook en Campbell vatten in hun standaardwerk een klassieke analyse samen die ze aan John Stuart Mill toeschrijven: er is een causale relatie als de oorzaak voorafging aan het gevolg, als oorzaak en gevolg samenhangen en als er geen andere aannemelijke verklaring voor het gevolg te vinden is. Een correlatie bewijst volgens hen geen causaliteit, omdat je vaak niet weet welk kenmerk eerst kwam en of er alternatieve verklaringen zijn (Shadish, Cook & Campbell, 2002).

De epidemioloog Austin Bradford Hill stelde in 1965 een praktische vraag: welke aspecten van een verband moet je bekijken voordat je besluit dat oorzakelijkheid de meest waarschijnlijke interpretatie is? Hij noemde negen gezichtspunten, waaronder de sterkte van het verband, consistentie over studies, de volgorde in de tijd en experimenteel bewijs (Hill, 1965).

Naast een oorzakelijk effect zijn er minstens vier andere verklaringen voor een samenhang.

1. Toeval. Vooral in kleine steekproeven ontstaan verbanden die bij herhaling verdwijnen.
2. Omgekeerde causaliteit. Het veronderstelde gevolg beïnvloedt de veronderstelde oorzaak. Hill noemde de volgorde in de tijd de vraag "wat is het paard en wat is de wagen?" (Hill, 1965).
3. Confounding. Een derde factor, een confounder of verstorende variabele, beïnvloedt beide kenmerken. Rohrer gebruikt als voorbeeld intelligentie, die zowel opleidingsniveau als inkomen kan beïnvloeden en zo een deel van het verband tussen die twee kan verklaren (Rohrer, 2018).
4. Selectie-effecten. Het verband ontstaat door wie er in je gegevens zit. Rohrer geeft een voorbeeld: hangt publicatie af van zowel methodologische kwaliteit als vernieuwing, dan kunnen die twee binnen alleen gepubliceerde studies negatief samenhangen, ook als ze in werkelijkheid los van elkaar staan. Elwert en Winship noemen dit endogene selectiebias: het conditioneren op een zogenoemde collider, een variabele die door twee andere variabelen wordt beïnvloed (Elwert & Winship, 2014).

Niet elk ontwerp ondersteunt dezelfde uitspraak:

• Gerandomiseerd experiment. Je wijst mensen willekeurig toe aan condities. Goed uitgevoerd zijn de groepen dan gemiddeld vergelijkbaar, zodat verschillen in uitkomst waarschijnlijk door de behandeling komen (Shadish, Cook & Campbell, 2002). Bij digitale producten heet dit vaak een A/B-test of online gecontroleerd experiment (Kohavi, Tang & Xu, 2020). Zie ook toetsbare boodschappen.
• Quasi-experiment. Er is een ingreep, maar geen willekeurige toewijzing: mensen kiezen zelf of worden door een organisatie ingedeeld. Alternatieve verklaringen moet je dan apart uitsluiten, bijvoorbeeld met metingen vóór en na en een vergelijkingsgroep.
• Observationeel onderzoek. Je meet zonder in te grijpen. Een causale conclusie rust dan volledig op aannames over confounders, volgorde en selectie.
• Beschrijvend en kwalitatief onderzoek. Geschikt om verbanden, betekenissen en processen te ontdekken en hypothesen te vormen.

Judea Pearl benadrukt dat je causale uitspraken niet uit samenhang alleen kunt onderbouwen: achter elke causale conclusie zit een causale aanname die je in observationele gegevens niet kunt toetsen (Pearl, 2009). Een veelgebruikt hulpmiddel is een causaal diagram (directed acyclic graph, DAG): een schema met pijlen voor de oorzakelijke relaties die je veronderstelt.

Rohrer laat zien waarom dat helpt. Corrigeren voor een confounder kan een schijnverband wegnemen. Corrigeren voor een collider kan juist een schijnverband veroorzaken. En wie corrigeert voor een mediator, een tussenstap waarlangs de oorzaak werkt, haalt het proces weg dat hij wilde onderzoeken. "Zoveel mogelijk variabelen meenemen" is dus geen veilige strategie. Rohrer adviseert die paden vóór de dataverzameling te doordenken, en merkt op dat voorzichtige formuleringen lezers niet tegenhouden om toch causale conclusies te trekken (Rohrer, 2018).

Soms is een experiment niet mogelijk of niet verantwoord. De negen gezichtspunten van Hill helpen dan om bewijs te wegen: sterkte, consistentie, specificiteit, volgorde in de tijd, een dosis-responsrelatie, aannemelijkheid, samenhang met bestaande kennis, experimenteel bewijs en analogie. Hill schreef zelf dat geen van deze gezichtspunten onomstotelijk bewijs voor of tegen een oorzakelijk verband levert en dat geen enkel gezichtspunt een harde voorwaarde is. Ook significantietoetsen beantwoorden volgens hem die vragen niet (Hill, 1965).

Gebruik ze als denkhulp, niet als afvinklijst. Een sterk en consistent verband maakt een oorzakelijke verklaring aannemelijker, maar sluit een confounder niet uit.

Maxwell onderscheidt twee manieren van causaal denken. Variantietheorie werkt met variabelen en de samenhang daartussen. Procestheorie kijkt naar gebeurtenissen en de processen die ze verbinden. Kwalitatieve methoden kunnen volgens hem zulke processen vaak direct onderzoeken, maar kennen hun eigen bedreigingen voor de validiteit; de onderzoeker moet alternatieve verklaringen actief opsporen en toetsen (Maxwell, 2004).

Interviews kunnen dus laten zien hoe deelnemers een keuze beleven en welke stappen zij zien tussen aanleiding en gedrag. Ze leveren geen effectgrootte voor een populatie. En een oorzaak die deelnemers noemen, is hun verklaring, niet automatisch het werkelijke mechanisme. Het combineren van methoden en bronnen maakt een interpretatie sterker, maar overeenstemming tussen bronnen is op zichzelf nog geen causaal bewijs.

Veel doelgroep- en associatieonderzoek is observationeel: je meet welke betekenissen mensen aan een keuze verbinden en hoe dat samengaat met hun gedrag of voorkeur. Zie Hoe meet je associaties? en Wat zijn associatieclusters?. Zulke patronen helpen om te begrijpen en hypothesen te vormen. Of een associatie gedrag veroorzaakt of gedrag de associatie vormt, blijkt er niet uit (redactionele toepassing).

Gebruik een gevonden verband daarom als startpunt voor een toetsbare vraag, niet als bewezen hefboom.

Laat je woorden aansluiten bij je ontwerp (redactioneel advies).

Noem ook populatie, periode, omvang van het verschil en onzekerheid.

1. Formuleer de causale vraag. Welke ingreep, welke uitkomst?
2. Teken een causaal diagram. Zet confounders, mogelijke omgekeerde paden, mediators en selectiemomenten op papier.
3. Controleer volgorde en selectie. Kwam de oorzaak eerst, en wie ontbreekt in je gegevens?
4. Kies een ontwerp dat bij de vraag past. Experiment waar dat kan, anders een quasi-experiment of een expliciet onderbouwde observationele analyse.
5. Onderzoek het proces kwalitatief. Hoe zou het effect werken, en welke alternatieven dragen deelnemers aan?
6. Formuleer passend. Benoem ontwerp, aannames en grenzen in dezelfde zin als de bevinding.

Dit voorbeeld is fictief en bedoeld als illustratie.

Situatie. Een sportschoolketen ziet in haar ledenadministratie dat leden die de app gebruiken, gemiddeld langer lid blijven dan leden die dat niet doen. Het management overweegt alle nieuwe leden via de app in te schrijven.

Keuzevraag. Verlengt de app het lidmaatschap, of gebruiken leden die toch al zouden blijven vaker de app?

Beschikbare informatie. Alleen observationele gegevens; leden kiezen zelf of ze de app installeren.

Passende aanpak. Het onderzoeksteam tekent eerst een diagram. Betrokkenheid en sportervaring kunnen zowel app-gebruik als lidmaatschapsduur beïnvloeden (confounding). Leden die al overwegen op te zeggen, stoppen misschien eerst met de app (omgekeerde causaliteit). Als de analyse alleen leden bevat die de eerste drie maanden doorkwamen, ontstaat mogelijk een selectie-effect. Daarna zet het team een gerandomiseerde test op: de helft van de nieuwe leden krijgt bij inschrijving een persoonlijke app-introductie, de andere helft de gebruikelijke ontvangst. Interviews verhelderen hoe leden de app gebruiken.

Mogelijke interpretatie. De test meet het effect van de introductie, niet direct het effect van app-gebruik zelf. Er zijn in dit voorbeeld geen uitkomsten bekend.

Vervolgstap. Pas na de test besluit de keten over bredere invoering, met een formulering binnen de grenzen van het ontwerp.

• Een verband als hefboom presenteren. Dan investeer je in iets wat mogelijk alleen meebeweegt.
• Voor alles corrigeren. Corrigeren voor een mediator of collider kan je schatting juist vertekenen.
• De selectie vergeten. Een analyse van alleen actieve klanten of respondenten kan verbanden creëren of verbergen.
• Voorzichtige woorden als oplossing zien. "Hangt samen met" in de tekst en een causaal advies in de conclusie spreken elkaar tegen.
• Groepsgegevens toepassen op individuen. Ook een experimenteel aangetoond gemiddeld effect zegt niet wat één persoon doet, en geldt niet vanzelf in een andere context.

Een samenhang is een waardevol startpunt voor onderzoek. Een causale uitspraak vraagt meer: een ontwerp dat alternatieve verklaringen uitsluit, of expliciete aannames die je kunt verantwoorden. Maak je causale model zichtbaar, kies het ontwerp dat bij je vraag past en formuleer je bevinding niet sterker dan dat ontwerp toelaat.