Was sind Reihenfolge- und Übungseffekte bei Assoziationsmessungen?

Stellen Sie sich vor, Sie untersuchen, welche Bedeutungen Menschen mit zwei fiktiven Arbeitgebern verbinden. Zuerst wird Arbeitgeber A mit dem Begriff Vertrauen kombiniert. Später werden die Antworttasten neu zugeordnet. Sie beobachten unterschiedliche Reaktionszeiten. Bedeutet das, dass A stärker mit Vertrauen assoziiert wird? Oder haben die Teilnehmenden im ersten Durchgang eine Regel gelernt, die sie im zweiten Durchgang zunächst überwinden müssen?

Beides sind mögliche Erklärungen für dieselbe Beobachtung. Eine wissenschaftlich fundierte Messung unterscheidet daher den inhaltlichen Gegensatz von dem Verfahren, mit dem er sichtbar gemacht wird. Das bedeutet nicht, dass Reaktionszeiten wertlos sind. Es bedeutet, dass ihre Aussagekraft von einer klar definierten Aufgabe abhängt.

Der Wissensartikel Was bedeuten Reaktionszeiten in der impliziten Assoziationsforschung? erläutert Antwortlatenzen und relative Aufgabenleistung. Dieser zweite Wissensartikel konzentriert sich auf eine engere Frage: Wie verhindern wir, dass Reihenfolge, Lernen oder Ermüdung mit einem Assoziationsunterschied verwechselt werden? Der umfassende Einstieg in die verschiedenen Methoden steht unter Wie misst man Assoziationen?.

Ein Reihenfolgeeffekt liegt vor, wenn die Position einer Aufgabe, eines Reizes, einer Frage oder einer Bedingung das gemessene Ergebnis beeinflusst. Zwei Personen können dieselben Begriffe klassifizieren und dennoch unterschiedliche Abläufe erleben. Die erste Person bearbeitet A und danach B, die zweite B und danach A. Wenn sich die mittlere Aufgabenleistung dadurch verändert, reicht ein bloßer Vergleich zwischen A und B nicht aus.

Ein Reihenfolgeeffekt ist nicht mit einem Assoziationseffekt gleichzusetzen. Er kann aus dem Lernen einer Regel entstehen, aus Interferenz durch zuvor verwendete Tastenzuordnungen, aus einer veränderten Strategie oder aus nachlassender Aufmerksamkeit. In angewandter Forschung spielen mitunter auch die Reihenfolge von Fragebögen, Instruktionen und vorherigen Reizkontakten eine Rolle.

Mindestens drei Fragen müssen getrennt betrachtet werden:

1. Blockreihenfolge: Welche kombinierte Kategorienzuordnung wird zuerst bearbeitet?
2. Reiz- und Tastenzuordnung: In welcher Folge erscheinen Wörter und Bilder, und welche Kategorien liegen anfänglich links oder rechts?
3. Messzeitpunkt: Wann wird die Assoziationsaufgabe im Verhältnis zu einem Fragebogen, einer Intervention oder einer früheren Testdurchführung bearbeitet?

Jede Ebene erfordert geeignete Kontrollen. Die Umkehrung von IAT-Blöcken beseitigt beispielsweise keine ungleiche Interventionsexposition zwischen einer Vorher- und einer Nachher-Messung.

Beim klassischen IAT ordnen Teilnehmende Beispiele aus zwei Zielkategorien und zwei Attributkategorien zu. In einem kombinierten Aufgabenblock teilen sich bestimmte Kategorien eine Antworttaste. Im anderen Block wird die Zuordnung umgekehrt. Verglichen wird die relative Leistung in diesen beiden kombinierten Aufgaben [1].

Die Blöcke werden jedoch nicht unter denselben Lernbedingungen bearbeitet. Teilnehmende gewöhnen sich an die Instruktionen, entwickeln Antwortroutinen und bilden eine vorübergehende Aufgabeneinstellung. Beim Wechsel zur nächsten kombinierten Aufgabe muss die frühere Regel teilweise aufgegeben werden. Ein einschlägiger Begriff lautet task-set inertia: Eine zuvor etablierte Aufgabeneinstellung wirkt fort, obwohl die Regel bereits geändert wurde [4, 5].

Daraus folgt nicht, dass sich der gesamte IAT-Effekt durch einen Reihenfolgefehler erklären lässt. Es folgt aber, dass mehrere Prozesse zum gemessenen Ergebnis beitragen können. Klauer und Mierke zeigten, dass frühere IAT-Blöcke die Leistung bei nachfolgenden evaluativen Aufgaben beeinflussen können. Ihre Befunde unterstreichen die Rolle von Aufgabenwechseln bei Kompatibilitäts- und Reihenfolgeeffekten [5].

Ein Bericht, der lediglich feststellt, dass die erste Zuordnung schneller bearbeitet wurde, bleibt deshalb unvollständig. Entscheidend ist, welche Personen die jeweilige Zuordnung zuerst sahen, wie viel Übung stattfand und ob sich das Muster bei umgekehrter Reihenfolge bestätigt.

Gegenbalancierung, häufig auch Counterbalancing genannt, bedeutet, dass mögliche Aufgabenreihenfolgen gezielt auf Teilnehmende verteilt werden. Einige bearbeiten zuerst A und dann B, andere zuerst B und dann A. Idealerweise erfolgt dies innerhalb jeder Versuchsbedingung und, sofern für die Analyse nötig, innerhalb wichtiger Zielgruppensegmente [7].

Untersuchungsgruppe	Erste kombinierte Aufgabe	Zweite kombinierte Aufgabe	Was wird geprüft?
Gruppe 1	Arbeitgeber A + Vertrauen	Arbeitgeber B + Vertrauen	Leistung bei Reihenfolge A-B
Gruppe 2	Arbeitgeber B + Vertrauen	Arbeitgeber A + Vertrauen	Leistung bei Reihenfolge B-A

Diese schematische Darstellung verwendet fiktive Kategorien. Ein tatsächlicher klassischer IAT umfasst weitere Kategorienzuordnungen und Übungsblöcke.

Ändert sich der beobachtete Kontrast deutlich, wenn die Reihenfolge umgekehrt wird, ist das ein Hinweis auf einen möglichen Einfluss des Verfahrens. Durch die Messung beider Abfolgen lässt sich dieser Einfluss untersuchen, statt sein Fehlen vorauszusetzen.

Eine faire Verteilung geht über den Satz 'Die Zuteilung erfolgte zufällig' hinaus. Prüfen Sie, wie viele Personen jede Abfolge tatsächlich abgeschlossen haben. Ungleiche Abbrüche können eine anfänglich ausgewogene Zuteilung verzerren. Beim Vergleich einer Intervention mit einer Kontrollbedingung sollte die Aufgabenreihenfolge in beiden Gruppen ausgeglichen sein. Sonst könnte ein vermeintlicher Interventionseffekt teilweise auf das Verfahren zurückgehen.

Gegenbalancierung verteilt einen möglichen Störeinfluss über Bedingungen, sie entfernt ihn nicht aus jeder individuellen Messung. Menschen unterscheiden sich darin, wie stark eine alte Regel nachwirkt, wie aufmerksam sie sind und wie leicht sie zwischen Antwortschemata wechseln.

Bei Gruppenvergleichen verhindert eine ausgewogene Verteilung eher, dass eine Gruppe systematisch die günstigere Reihenfolge erhält. Bei Aussagen über eine einzelne Person ist der Vorteil begrenzter: Diese Person hat meistens nur eine konkrete Reihenfolge absolviert, sofern keine geplanten Wiederholungsmessungen vorgesehen sind.

Die methodologischen Empfehlungen von 2022 bewerten das Gegenbalancieren der beiden kombinierten IAT-Aufgaben als grundsätzlich sinnvoll. Auch die anfängliche Verteilung der Kategorien auf linke und rechte Antworttasten sollte berücksichtigt werden [7]. Solche Empfehlungen stärken das Forschungsdesign, garantieren aber keinen vollständig unverzerrten Einzelwert.

Beim Vergleich mehrerer Zielgruppen muss außerdem geklärt werden, ob die Reihenfolgen innerhalb der tatsächlich interessierenden Segmente ausreichend vertreten sind. Ist eine Teilgruppe sehr klein, sollte diese Einschränkung offengelegt werden, statt einen scheinbar präzisen Segmentunterschied auszuweisen.

Ein Übungseffekt ist eine Leistungsänderung aufgrund wiederholter Erfahrung mit einer Aufgabe. Mit zunehmender Übung kennen Teilnehmende die Kategorien, die Position der Tasten und die Struktur der folgenden Durchgänge. Ihre Antworten können schneller werden, obwohl die untersuchte Einstellung unverändert bleibt.

Bei einem IAT kann Übung in verschiedene Richtungen wirken. Allgemeine Vertrautheit mit dem Verfahren kann spätere Blöcke beschleunigen. Gleichzeitig kann die zunächst gelernte Tastenzuordnung beim Wechsel zur umgekehrten Zuordnung stören. Das beobachtete Muster hängt teilweise von der Übungsmenge und der genauen Aufgabenvariante ab [3, 4].

'Die Person lernt den Test' und 'die Bewertung der Person verändert sich' sind zwei verschiedene Erklärungen. Beide können auftreten. Eine einzelne Beschleunigung reicht jedoch nicht aus, um zu entscheiden, welcher Prozess verantwortlich war.

Besonders wichtig ist diese Unterscheidung, wenn eine Organisation die Methode wiederholt einsetzt. Personen können mit dem Test immer vertrauter werden, obwohl die eigentlichen Assoziationen zu einer Marke oder einem Arbeitgeber vergleichsweise stabil bleiben. Dieselben Wörter auf dem Bildschirm garantieren keine identischen Messbedingungen.

Ein klassischer IAT enthält Übungsphasen und kombinierte Aufgabenblöcke. Vor der umgekehrten Zuordnung ist entscheidend, dass Teilnehmende die geänderte Tastenzuordnung verstanden haben. Nosek, Greenwald und Banaji berichteten 2005, dass zusätzliche Übung bei der umgestellten Kategorisierung in ihrem Untersuchungsprotokoll einen bekannten störenden Blockreihenfolgeeffekt deutlich reduzierte [3].

Daraus folgt nicht, dass eine bestimmte Anzahl von Übungsdurchgängen immer ausreicht. Der Befund bezieht sich auf ein konkretes Verfahren. Die geeignete Übungsdauer hängt von Aufgabenstruktur, Reizmaterial, Zielgruppe und empirischer Prüfung ab. Forschende sollten daher dokumentieren, welche Aufgabenvariante sie verwenden und warum die gewählten Blocklängen zu dieser Variante passen.

Zu wenig Übung kann große Unterschiede im Aufgabenverständnis erzeugen. Unbegrenzte Übung ist aber ebenfalls nicht automatisch besser: Sehr lange Tests können Ermüdung, Langeweile oder selektive Abbrüche fördern. Ziel ist ausreichendes Verständnis und stabile Aufgabenbearbeitung, nicht eine möglichst hohe Anzahl an Wiederholungen.

Angenommen, ein Unternehmen führt vor einer Kommunikationskampagne einen Assoziationstest durch und wiederholt ihn drei Wochen später. Der durchschnittliche IAT-Score bewegt sich in Richtung null. Es liegt nahe, die Veränderung unmittelbar der Kampagne zuzuschreiben.

Wiederholte IAT-Durchführungen können den Score jedoch selbst verändern. Die Empfehlungen von 2022 beschreiben, dass eine erstmalige IAT-Bearbeitung im Durchschnitt einen stärker von null abweichenden Score ergeben kann als spätere Bearbeitungen. Wird dieser Effekt ignoriert, könnte eine Verringerung fälschlich als Interventionswirkung gelten [7].

Zwei Kontrollstrategien sind besonders relevant:

1. Eine Vergleichsgruppe, die ebenfalls beide Messzeitpunkte durchläuft. So lässt sich untersuchen, ob die Veränderung in der Interventionsgruppe über die Veränderung ohne die beabsichtigte Intervention hinausgeht.
2. Standardisierte Vorerfahrung mit dem Verfahren. Vor der eigentlichen Ausgangsmessung kann eine geeignete vorbereitende IAT-Bearbeitung vorgesehen werden, sofern sie methodologisch begründet und in den Bedingungen einheitlich ist.

Keine dieser Lösungen funktioniert automatisch. Die Kontrollgruppe muss für den beabsichtigten kausalen Vergleich geeignet sein. Eine vorherige Testerfahrung darf das zu messende Konstrukt nicht unbemerkt verändern. Ein belastbarer Bericht zeigt deshalb Unterschiede zwischen Bedingungen, Messunsicherheit und alternative Erklärungen, nicht nur zwei Zeitpunkte.

Eine Person kann am Ende einer langen Untersuchung langsamer reagieren oder mehr Fehler machen, weil die Konzentration nachlässt. Eine andere Person wird möglicherweise schneller, weil sie weniger sorgfältig kontrolliert. Die durchschnittliche Antwortlatenz zeigt nicht eindeutig, welche Erklärung zutrifft. Deshalb gehören Genauigkeit, Fehlerbehandlung und Aufgabendauer zur Bewertung [2].

Sitzungslänge, Unterbrechungen, die Position der Aufgabe in einer längeren Befragung sowie Software und Hardware sollten dokumentiert werden. Bei Online-Untersuchungen können verschiedene Geräte und Umgebungen hinzukommen. Das macht Daten nicht automatisch unbrauchbar, muss aber bei der Qualitätsprüfung berücksichtigt werden.

Eine höhere Fehlerquote im zweiten Block kann auf Schwierigkeiten beim Regelwechsel, unklare Instruktionen oder geringere Aufmerksamkeit hinweisen. Sie beweist nicht unmittelbar eine 'stärkere negative Assoziation'. Bewerten Sie korrekte Antwortzeiten, Fehler und Aufgabenreihenfolge gemeinsam.

Auch die Auswertung ist entscheidend. Das klassische D-Scoring berücksichtigt bestimmte Unterschiede in der allgemeinen Reaktionsgeschwindigkeit und behandelt Fehler nach festgelegten Regeln [2]. Keine mathematische Korrektur kann jedoch nachträglich eine Aufgabe mit missverständlichen Instruktionen oder ungeeignetem Reizmaterial in ein solides Experiment verwandeln.

Reihenfolge bedeutet nicht nur, welcher kombinierte Block zuerst kommt. Auch die anfängliche Zuordnung der Kategorien zur linken oder rechten Taste sowie die Abfolge der Reize können die Leistung beeinflussen.

Die Empfehlungen von 2022 behandeln deshalb die Gegenbalancierung der Antwortseiten, die sorgfältige Auswahl von Kategoriebeispielen und das Vermeiden langer Folgen, in denen wiederholt dieselbe Taste korrekt ist [7]. Solche Folgen können Reaktionen durch motorische Wiederholung beschleunigen, ohne dass sich die untersuchte Assoziation verändert.

Auch das Reizmaterial kann sich hinsichtlich Vertrautheit, Länge, Mehrdeutigkeit oder Klassifizierbarkeit unterscheiden. Bei Übersetzungen verändern sich manchmal genau diese Eigenschaften. Ein mehrsprachiges Projekt darf nicht voraussetzen, dass dieselben Konzepte auf Niederländisch, Englisch und Deutsch automatisch die gleiche Aufgabenschwierigkeit erzeugen.

Die Grundregel lautet: Wenn zwei psychologische Bedingungen verglichen werden sollen, sollten möglichst wenige andere Merkmale systematisch mitverändert werden. Wo das nicht möglich ist, müssen Unterschiede randomisiert, ausgeglichen, gemessen oder als Einschränkung dokumentiert werden.

Ein fiktives Forschungsteam lässt einhundert Personen zwei Zuordnungen in einer indirekten Assoziationsaufgabe bearbeiten. Die Hälfte beginnt mit Arbeitgeber A und Vertrauen, die andere Hälfte mit Arbeitgeber B und Vertrauen. Die folgenden Zahlen sind rein illustrativ und keine Ergebnisse von Neurofactor.

Aufgabenreihenfolge	Illustrativer Unterschied der mittleren Antwortzeit	Mögliche Bedeutung
Zuerst A-Zuordnung, danach B-Zuordnung	95 ms	Kann einen inhaltlichen Unterschied und einen Reihenfolgeeinfluss enthalten
Zuerst B-Zuordnung, danach A-Zuordnung	35 ms	Der beobachtete Unterschied fällt bei umgekehrter Reihenfolge geringer aus

Ein oberflächlicher Bericht würde beide Zahlen mitteln und es dabei belassen. Eine sorgfältige Analyse fragt, warum der Kontrast von der Reihenfolge abhängt. War die Umstellungsübung zu kurz? War eine Zuordnung systematisch schwieriger? Waren die Fehlerquoten vergleichbar? Bleibt das Muster bestehen, wenn die Reihenfolge in der Analyse berücksichtigt wird?

Dieses Beispiel beweist weder, dass A noch dass B attraktiver ist. Es zeigt, warum das Untersuchungsdesign und die Zuteilung der Teilnehmenden verstanden werden müssen, bevor aus Reaktionszeitdifferenzen psychologische Schlussfolgerungen gezogen werden.

1. Definieren Sie die Forschungsfrage. Geht es um eine relative Assoziation zwischen Kategorien, um Zielgruppenunterschiede oder um Veränderungen im Zeitverlauf? Je nach Ziel sind andere Designentscheidungen erforderlich.

2. Dokumentieren Sie die genaue Aufgabenvariante. Halten Sie Kategorien, Reize, Antworttasten, Blockstruktur, Übungsdurchgänge, Software und Instruktionen fest. Nutzen Sie soweit möglich ein für den Zweck gestütztes Verfahren.

3. Planen Sie die Gegenbalancierung im Voraus. Verteilen Sie die Reihenfolgen der kombinierten Aufgaben. Bei Bedarf erfolgt dies getrennt innerhalb der Versuchsbedingungen und relevanten Teilgruppen.

4. Sorgen Sie für ausreichende Übung. Prüfen Sie, ob die Anweisungen verstanden wurden und ob die neue Tastenzuordnung umgesetzt werden kann. Begründen Sie die Anzahl der Übungsdurchgänge.

5. Definieren Sie Auswertung und Ausschlüsse vorab. Legen Sie fest, wie Fehler, unrealistisch kurze oder lange Antwortlatenzen und unvollständige Durchgänge behandelt werden.

6. Prüfen Sie Reihenfolge- und Gruppenmuster. Analysieren Sie gegebenenfalls die Wechselwirkung zwischen Reihenfolge und Versuchsbedingung. Ein bedeutsames Muster darf nicht hinter einem einzigen Durchschnitt verschwinden.

7. Beschreiben Sie die verbleibenden Grenzen. Trennen Sie das, was die Aufgabe zeigt, von weitergehenden Entscheidungen, für die zusätzliche Daten zu Marken, Arbeitgebern oder Interventionen erforderlich sind.

Ein transparentes Protokoll macht die Messung überprüfbar. Lesende können nicht nur das Ergebnis sehen, sondern auch den Weg dorthin beurteilen.

Beginnen Sie mit verständlichen Aufschlüsselungen. Vergleichen Sie Antwortzeit- und Fehlerprofile nach Block und Reihenfolge. Prüfen Sie die Zahl der Teilnehmenden und ob Abbrüche zwischen Bedingungen variieren. Untersuchen Sie, ob Antworten innerhalb eines Blocks schneller werden, ob ein Regelwechsel vorübergehend verlangsamt und ob Auffälligkeiten auf eine bestimmte Sprache, Gerätegruppe oder Umgebung konzentriert sind.

Entfernen Sie nicht nachträglich beliebige Blöcke, bis der gewünschte Effekt entsteht. Ergänzende Analysen können aufschlussreich sein, müssen aber methodologisch begründet und klar ausgewiesen werden. Zeigt eine explorative Analyse einen unerwarteten Reihenfolgeeffekt, gehört auch dieses Ergebnis in den Bericht.

Die von Mierke und Klauer untersuchte methodenspezifische Varianz sowie die Debatte über weitere Prozesse, etwa Unterschiede in der Auffälligkeit von Kategorien, verdeutlichen, dass ein IAT-Score nicht auf einen einzigen psychologischen Mechanismus reduziert werden kann [4, 6].

Eine Aufgabe kann konsistent durchgeführt werden und dennoch systematisch durch einen unerwünschten Verfahrenseinfluss geprägt sein. Umgekehrt kann ein theoretisch bedeutsamer Unterschied zu ungenau gemessen sein, um ihn verlässlich zu interpretieren. Und eine korrekt gemessene Veränderung belegt noch nicht, wodurch sie verursacht wurde.

Reliabilität betrifft die Konsistenz und den Messfehler. Validität fragt, ob die Aufgabe die beabsichtigte Interpretation ausreichend stützt. Kausalität betrifft die Begründung von Ursache und Wirkung. Gegenbalancierung verbessert die Planung und Interpretierbarkeit, ersetzt aber keine dieser Prüfungen.

Die Reliabilität bei Assoziationsmessungen wird im gesonderten Wissensartikel NF-AS-KB-009 behandelt. Ein Link dorthin wird erst nach dessen Veröffentlichung eingefügt. Die Grundlage der Antwortlatenzen steht in NF-AS-KB-007 [2, 7].

Eine auftraggebende Organisation benötigt mehr als ein Balkendiagramm mit zwei Mittelwerten. Ein brauchbarer Bericht nennt die Kategoriebegriffe und Beispielreize, die tatsächlich verwendeten Reihenfolgen, die Verteilung der Teilnehmenden, die Übungsblöcke, die Regeln für Fehler und die angewandte Auswertung.

Außerdem gehören Teilnehmerzahlen, Ausschlüsse, Qualitätskriterien, angemessene Unsicherheitsangaben und Grenzen der Interpretation dazu. Wird eine Intervention untersucht, muss klar werden, wie Kontrollgruppe und Messzeitpunkte organisiert wurden.

Vor allem muss die Aussage zum Beleg passen. 'Bei dieser Aufgabe und dieser Stichprobe zeigte sich nach Berücksichtigung der Blockreihenfolge ein relativer Leistungsunterschied' ist etwas anderes als 'Wir haben die verborgenen Präferenzen sämtlicher Bewerber nachgewiesen'. Die erste Aussage kann bei geeignetem Design vertretbar sein. Die zweite geht deutlich über die Daten hinaus.

• Alle Teilnehmenden erhalten dieselbe Reihenfolge. Dann sind Kategorien- und Verfahrenseinflüsse schwerer zu trennen.
• Die Umstellungsübung wird ausgelassen. Die zweite Zuordnung kann durch die zuerst gelernte Regel benachteiligt sein.
• Jede Vorher-Nachher-Veränderung wird als Interventionswirkung gedeutet. Wiederholte Testerfahrung bleibt eine alternative Erklärung [7].
• Es werden nur Reaktionszeiten berichtet. Fehler und der Zielkonflikt zwischen Tempo und Genauigkeit bleiben unbeachtet.
• Ungleiche Gruppengrößen verschwinden im Gesamtdurchschnitt. Kleine Teilgruppen können andere Verfahrensmuster aufweisen.
• Eine Auswertungsmethode wird als universell angesehen. Ein Verfahren für den klassischen IAT validiert nicht automatisch alle abgewandelten Aufgaben.
• Die Schlussfolgerung geht über die Daten hinaus. Auch eine sauber durchgeführte indirekte Aufgabe sagt nicht automatisch den individuellen Kauf oder die Bewerbung einer Person voraus.

Gute Assoziationsforschung beginnt nicht mit der Frage, wie schnell Menschen eine Taste drücken. Sie beginnt mit der Frage, welcher Vergleich belastbare Erkenntnisse liefern kann. Aufgabenreihenfolge, Übung, Wiederholung und Ermüdung sind keine Nebensächlichkeiten, die im Bericht verschwinden dürfen. Sie gehören zu den Bedingungen, unter denen die beobachtete Leistung entstanden ist.

Gegenbalancierung, geeignete Übung und eine transparente Analyse senken das Risiko, dass ein Verfahrensunterschied mit einem Assoziationsunterschied verwechselt wird. Sie beseitigen nicht jede Unsicherheit. Sie können die Untersuchung aber ehrlicher, besser prüfbar und für Entscheidungen brauchbarer machen.

Wenn Sie einen Forschungsansatz beurteilen, fragen Sie neben dem Endergebnis: Wer erhielt welche Zuordnung zuerst, wie viel wurde geübt und was geschah bei einer Wiederholung? Diese Fragen helfen, eine überzeugende Zahl von überzeugenden Belegen zu unterscheiden.