Wie testet man eine Verhaltensintervention in der Praxis?

Angenommen, eine Organisation möchte Beschäftigte dazu anregen, Praktikanten zu betreuen. In Interviews sagen viele Kolleginnen und Kollegen, dass ihnen die Weitergabe von Wissen wichtig ist. Sie können sich mit dem Gedanken identifizieren, so einer neuen Generation weiterzuhelfen. Ein Kommunikationsteam entwickelt deshalb eine Kampagne rund um Stolz, Entwicklung und sinnvolle Arbeit.

Nach der Kampagne stehen die Beschäftigten dem Thema positiver gegenüber. Der Intranetbeitrag wird häufig gelesen. Trotzdem verändert sich die Zahl der Betreuungstermine kaum. Das Problem kann dann zwei Seiten haben: Die Botschaft hat den Wunsch angesprochen, einen Beitrag zu leisten, nicht aber den Widerstand gegen Zeitverlust. Oder die Bereitschaft ist gestiegen, doch im Dienstplan wurden weiterhin keine Stunden freigehalten.

Diese Unterscheidung macht den Unterschied zwischen der Evaluation einer Kampagne und der Evaluation einer Verhaltensintervention aus. Erstere sagt etwas über Reichweite, Verständnis und Wertschätzung aus. Letztere muss zeigen, ob das angestrebte Verhalten häufiger, besser oder länger stattfindet. Dass Menschen sich positiv über eine Veränderung äußern, ist für sich genommen kein Beleg dafür, dass diese Veränderung eingetreten ist.

Bei Verhaltensänderungen greifen zwei Untersuchungsebenen ineinander. Die assoziative Ebene untersucht, was eine Handlung oder Situation für Menschen bedeutet. Denken Sie an „gemeinsam etwas beitragen“, aber auch an „zusätzliche Arbeit“, „Aufwand“, „Risiko“ oder „ich bin dafür nicht gut genug“. Die Verhaltensebene untersucht, was Menschen in der relevanten Situation tatsächlich tun.

Diese beiden Ebenen dürfen nicht vermischt werden. Eine Assoziation kann sich verändern, ohne dass Menschen handeln. Verhalten kann sich auch verändern, weil ein Prozess einfacher wird, während sich die zugrunde liegende Assoziation kaum verschiebt. Eine Übersichtsarbeit zu Interventionen, die implizite Messwerte veränderten, fand keine selbstverständliche Übertragung auf tatsächliches Verhalten. Die konkreten Befunde gelten für die untersuchten Interventionen und Messinstrumente, nicht als Urteil über jede Form der Assoziationsforschung [1].

Deshalb gehört zu jeder assoziativen Hypothese eine gesonderte Verhaltensvorhersage. Nicht nur: Die Assoziation „Zeitverlust“ wird schwächer. Sondern: Bei Beschäftigten, die tatsächlich Zeit in ihrem Dienstplan erhalten, steigt der Anteil derjenigen, die innerhalb von acht Wochen mindestens einen Betreuungstermin durchführen. Die erste Aussage betrifft einen möglichen Mechanismus. Die zweite betrifft ein beobachtbares Ergebnis.

„Akzeptanz steigern“ klingt wie ein Ziel, ist aber kein präzises Verhaltensmaß. Dasselbe gilt für „nachhaltiger werden“, „mehr Eigenverantwortung“ oder „bessere Nutzung“. Machen Sie es anhand von fünf Bestandteilen konkret: Wer tut was, wo, wann und innerhalb welchen Zeitraums?

Im fiktiven Beispiel zur Praktikantenbetreuung lautet die primäre Zielgröße: der Anteil der geeigneten, eingeladenen Beschäftigten, die innerhalb von acht Wochen mindestens einen tatsächlich durchgeführten Betreuungstermin abgeschlossen haben. Vereinbaren Sie vorab, wie ein Betreuungstermin erfasst wird, wann jemand mitzählt und wie Sie mit Beschäftigten umgehen, die Urlaub nehmen oder die Organisation verlassen. Der Zähler ist die Zahl der Beschäftigten, die das Verhalten ausführen. Der Nenner ist die vorab definierte Gruppe geeigneter, eingeladener Beschäftigter.

Wählen Sie zusätzlich sekundäre Zielgrößen wie Anmeldungen, besuchte Einführungsveranstaltungen, Zufriedenheit der Praktikanten und die Bereitschaft, später erneut mitzumachen. Verdeutlichen Sie den Unterschied: Eine Anmeldung ist ein Zwischenschritt, kein durchgeführter Betreuungstermin. So verhindern Sie, dass der am einfachsten messbare Klick an die Stelle des Ergebnisses tritt, das die Organisation wirklich anstrebt.

Eine Intervention beginnt nicht mit einem Plakat, einer Schulung oder einer neuen Schaltfläche. Sie beginnt mit einer Diagnose. Befragen Sie Beteiligte, betrachten Sie den bestehenden Prozess, beobachten Sie Momente, in denen Verhalten ins Stocken gerät, und untersuchen Sie relevante Assoziationen. Vergleichen Sie Menschen, die das gewünschte Verhalten zeigen, mit Menschen, die es nicht zeigen, ohne anzunehmen, dass ein einzelner Unterschied sofort die Ursache ist.

Positive Assoziationen mit der Praktikantenbetreuung können sein: Fachwissen weitergeben, Anerkennung erfahren und jemandem weiterhelfen. Negative Assoziationen können sein: zusätzliche Verwaltung, Fehler machen, keine Zeit haben oder für die Leistung anderer verantwortlich gemacht werden. Solche Beispiele sind Hypothesen, keine gemessenen Neurofactor-Ergebnisse.

Prüfen Sie anschließend drei mögliche, zusammenwirkende Erklärungen: Den Beschäftigten fehlen möglicherweise relevante Fähigkeiten oder Kenntnisse, praktische oder soziale Gelegenheiten oder die Motivation. Das Vertrauen in die eigene Fähigkeit ist nicht mit der Fähigkeit selbst gleichzusetzen und kann auch die Motivation beeinflussen. Das COM-B-Modell unterscheidet Fähigkeit, Gelegenheit und Motivation als zusammenwirkende Einflüsse auf das Verhalten [2]. Prüfen Sie, welche Hürden vor dem Verhalten auftreten, wie häufig sie vorkommen und welche Gruppen davon betroffen sind; gehen Sie nicht davon aus, dass ein einziges Instrument jeden Mechanismus isolieren kann.

Die Versuchung ist groß, alles gleichzeitig zu verändern: eine neue Kampagne, weniger Formulare, eine andere Botschaft der Führungskraft und mehr verfügbare Zeit. Läuft es danach besser, wissen Sie noch nicht, woran es lag. Beginnen Sie deshalb mit der kleinsten sinnvollen Veränderung, die die wichtigste vermutete Barriere angeht.

Beispielhypothese: Beschäftigte halten Betreuung für sinnvoll, verbinden sie aber mit dem Verlust produktiver Zeit. Eine vorab reservierte Betreuungsstunde senkt die praktische und wahrgenommene Hürde, sodass mehr Beschäftigte tatsächlich einen ersten Betreuungstermin durchführen.

Halten Sie vorab fest, was geschehen müsste, wenn die Hypothese stimmt. Welche Assoziation könnte sich verändern? Welches Verhalten muss sich verändern? Wann wird diese Veränderung sichtbar? Und welche alternative Erklärung könnte dasselbe Muster hervorrufen? Dadurch wird die Intervention überprüfbar, statt im Nachhinein nur überzeugend erzählt zu werden.

Die stärksten Belege entstehen nicht durch eine schöne Grafik, sondern durch einen fairen Vergleich. In der Praxis sind drei Wege brauchbar. Welchen Sie wählen, hängt von Durchführbarkeit, Datenschutz, Teilnehmerzahl und der Wahrscheinlichkeit ab, dass Gruppen einander beeinflussen.

Eine einfache Vorher-Nachher-Messung ist oft nützlich, um zu sehen, ob sich etwas verändert, reicht aber nicht aus, um festzustellen, wodurch es sich verändert hat. Vielleicht begann inzwischen eine arbeitsreiche Praktikumsphase, die Leitung änderte das Beurteilungssystem oder es gab ein externes Ereignis. Gerade deshalb betonen Leitlinien für komplexe Interventionen, dass Evaluation nicht nur eine Frage des Effekts ist, sondern auch Umsetzung und Kontext berücksichtigen muss [3].

Achtung bei Teams: Wird die Intervention auf Teamebene eingesetzt, dürfen Sie nicht so tun, als seien alle Beschäftigten statistisch vollständig unabhängig. Clusterstudien erfordern ein passendes Design, ausreichend Cluster und eine Analyse, die die Clusterstruktur berücksichtigt [4]. Zwei Teams nebeneinander zu vergleichen, ist meist ein lehrreicher Pilotversuch, aber kein solider kausaler Wirksamkeitstest.

Ein guter Feldtest hat ein kurzes Protokoll. Das muss kein wissenschaftliches Großwerk sein, muss aber vor der Durchführung die entscheidenden Festlegungen dokumentieren.

1. Primäre Zielgröße: Welches Verhalten zählt bei wem und zu welchem Zeitpunkt als Erfolg?
2. Vergleich: Was erhält die Kontrollgruppe und auf welcher Ebene erfolgt die Zuteilung?
3. Ausgangsniveau: Wie häufig tritt das Verhalten derzeit auf, in allen Gruppen auf dieselbe Weise gemessen?
4. Kleinster relevanter Effekt: Welche Verbesserung lohnt sich organisatorisch, unabhängig von einem p-Wert?
5. Stichprobe und Messdauer: Wie viele Beobachtungen und bei Teamtests wie viele Teams sind nötig, um diesen Effekt mit angemessener Präzision schätzen zu können?
6. Analyse: Berechnen Sie Prozentpunkte, Anzahlen, Wiederholungen oder die Zeit bis zur ersten Handlung; wie behandeln Sie fehlende Daten?
7. Nebenwirkungen: Steigt die Arbeitsbelastung, sinkt die Qualität oder wird eine Gruppe benachteiligt?
8. Umsetzung: Wie prüfen Sie, ob die Intervention tatsächlich angeboten und angenommen wurde?

Vorabfestlegungen sind wichtig. Wer erst im Nachhinein auswählt, welche von zehn Messungen das „Erfolgsmaß“ war, erhöht die Gefahr einer irreführend positiven Darstellung. Ein Pilotversuch kann zunächst zeigen, dass Messungen und Prozesse durchführbar sind. Ein späterer Wirksamkeitstest sollte möglichst nach einem dokumentierten Plan ablaufen. Die TIDieR-Leitlinie hilft, die Intervention selbst ausreichend genau zu beschreiben, damit sie wiederholt werden kann [5].

Messen Sie nur Verhalten, wissen Sie möglicherweise, dass etwas wirkt, aber noch nicht, warum. Messen Sie nur eine Assoziation, erfahren Sie möglicherweise etwas über Bedeutung, aber nicht, ob die gewählte Intervention das Verhalten verändert. Deshalb ist eine Dreiteilung hilfreich.

Je nach Fragestellung kommen ergänzende Methoden wie Assoziationsmessungen, Eye-Tracking, EEG oder Beobachtungen im realen Umfeld infrage. Ihre Eignung und Interpretation erfordern methodenspezifische Belege und ein geeignetes Protokoll; die hier zitierten Quellen validieren diese Anwendungen nicht eigenständig. Keine dieser Methoden ersetzt eine valide Messung des Zielverhaltens und einen glaubwürdigen Vergleich, wenn ein Verhaltenseffekt abgeschätzt werden soll.

Der folgende Fall ist vollständig fiktiv und dient dazu, das Studiendesign zu veranschaulichen. Es werden keine Forschungsergebnisse von Neurofactor oder eines Kunden vorgestellt.

Eine Organisation hat genügend erfahrene Beschäftigte, um Praktikanten zu betreuen, doch zu wenige melden sich an. In der Voruntersuchung taucht immer wieder dieselbe Spannung auf: „Ich finde es wichtig“ neben „Ich habe dafür keinen Spielraum“. Das Team hat zwei mögliche Erklärungen: Die Rolle wird als zu wenig wertgeschätzt empfunden oder die Planung macht den Schritt zu aufwendig.

Statt ausschließlich eine Kampagne zu entwickeln, wählt die Organisation eine erste Intervention: einen festen, sichtbaren Betreuungsblock in der bestehenden Arbeitsplanung, kombiniert mit einer klaren Anleitung zur Anmeldung. In der Kontrollbedingung bleiben die bisherige Planung und Information bestehen. Wenn ganze Teams die Dienstplanänderung gemeinsam nutzen, ist eine Zuteilung auf Teamebene sinnvoll, sofern genügend vergleichbare Teams vorhanden sind und die Analyse darauf ausgelegt ist. Die verantwortliche Forschungsperson prüft vorab die Durchführbarkeit und den erforderlichen Stichprobenumfang.

Vorab definierte primäre Zielgröße: Welcher Anteil geeigneter, eingeladener Beschäftigter hat innerhalb von acht Wochen einen Betreuungstermin durchgeführt? Sekundär: Anmeldungen, Absagen, wiederholtes Verhalten, wahrgenommene Arbeitsbelastung und Assoziationen mit Betreuung. Umsetzungsprüfung: Waren die reservierten Stunden wirklich verfügbar oder wurden sie doch mit anderen Aufgaben gefüllt?

Angenommen, rein zur Veranschaulichung führen 18 von 100 Beschäftigten in der Kontrollbedingung und 25 von 100 in der Interventionsbedingung einen ersten Betreuungstermin durch. Dann beträgt der unbereinigte Unterschied 7 Prozentpunkte (18 % gegenüber 25 %). Das ist nicht dasselbe wie die kontextlose Aussage „39 % mehr Beschäftigte“ und erst recht nicht automatisch ein nachgewiesener Effekt. Für eine Schlussfolgerung sind Angaben zu Zuteilung, Stichprobengröße, Clusterstruktur, Unsicherheitsbereich und möglichen fehlenden Erfassungen erforderlich. Die Zahlen hier sind erfunden, um die Interpretation des Ergebnisses zu zeigen.

Die bessere Frage nach diesem Test ist nicht, ob der neue Ansatz beliebt war. Die bessere Frage ist, ob der Ansatz genügend zusätzliche tatsächlich durchgeführte Betreuungstermine hervorgebracht hat, um die erforderliche Planung, den Aufwand und mögliche Nebenwirkungen zu rechtfertigen.

Eine Assoziationsmessung und eine Verhaltensmessung können sich ergänzen, müssen sich aber nicht in dieselbe Richtung bewegen. Es hilft, vorab vier Ergebnisse einzuplanen.

Selbst die erste Kombination beweist nicht, dass die veränderte Assoziation das Verhalten verursacht hat. Dafür sind ergänzende Untersuchungen des kausalen Wirkungswegs nötig. Auch ein Nullergebnis beweist nicht, dass eine Intervention niemals wirkt: Der Test kann zu klein, zu kurz oder schlecht umgesetzt gewesen sein.

Stellen Sie neben dem Ergebnis immer die absolute Veränderung, die Unsicherheit und die praktische Bedeutung dar. Bei einer Konversion von 18 % auf 25 % beträgt die absolute Differenz 7 Prozentpunkte. Der relative Unterschied liegt bei etwa 39 %, klingt aber größer, wenn der Ausgangswert fehlt. Deshalb gehören beide Zahlen, die dahinterstehenden Anzahlen und möglichst ein 95%-Konfidenzintervall zusammen.

Ein Konfidenzintervall zeigt an, wie präzise die geschätzte Effektgröße unter dem gewählten Modell ist. Ein Intervall, das sowohl einen relevanten negativen als auch einen relevanten positiven Effekt zulässt, ist keine Grundlage für eine eindeutige Erfolgsaussage. Ebenso bedeutet eine statistisch nachweisbare minimale Verbesserung nicht automatisch, dass sich die Investition lohnt. Vereinbaren Sie vor dem Test, was ein wertvoller Effekt ist, und berechnen Sie dazu den realisierbaren Messumfang.

Betrachten Sie auch, wer teilgenommen hat und wer nicht. War der Effekt nur bei begeisterten Freiwilligen sichtbar? Wurde die schwer erreichbare Gruppe überhaupt erreicht? Hat sich die Erfassung auf halbem Weg verändert? Gab es zusätzliche Kosten, Wartezeiten oder Qualitätsprobleme? Eine Intervention kann einen primären KPI verbessern und zugleich neuen Widerstand erzeugen. Dieses Ergebnis gehört in die Entscheidung.

Im Feld können Sie nicht alle Faktoren konstant halten. Gerade deshalb müssen Sie sie sichtbar machen. Achten Sie mindestens auf diese Fallstricke:

• Gleichzeitig veränderte Umstände: Eine neue Führungskraft, eine Kampagne oder saisonale Arbeitsbelastung fällt mit der Intervention zusammen.
• Kontamination zwischen Gruppen: Beschäftigte der Kontrollgruppe übernehmen den neuen Dienstplan.
• Selektion: Nur die motiviertesten Beschäftigten nehmen an der Messung teil.
• Unvollständige Umsetzung: Die Maßnahme steht auf dem Papier, wird aber nicht konsequent angewendet.
• Veränderte Erfassung: Nach der Intervention zählt die Organisation Anmeldungen statt durchgeführter Termine.
• Ein zu früher Schluss: Die erste Woche sieht anders aus, aber nach einigen Wochen kehrt das alte Muster zurück.
• Zu viele nachträglich gebildete Untergruppen: Sie suchen so lange, bis irgendwo ein auffällig positiver Unterschied erscheint.

Vermeiden Sie diese Fehler, indem Sie den Kontext dokumentieren, die bestehende Arbeitsweise möglichst stabil halten und alle Abweichungen vom Protokoll festhalten. Untersuchen Sie neben der Frage, ob eine Intervention wirkt, auch, wie sie umgesetzt wurde und für wen sie wirkte [3, 5, 6].

Ergänzende Messungen können helfen, einen vermuteten Mechanismus zu untersuchen; ihre Interpretation hängt jedoch vom Instrument, von der Aufgabe und vom Studiendesign ab. Ein Unterschied in einem Assoziationswert, Blickmuster oder einer EEG-Reaktion belegt für sich genommen weder Widerstand, Vertrauen oder mentale Anstrengung noch die Ursache eines Verhaltenseffekts. Solche Interpretationen erfordern eine gesonderte Validierung und Prüfung.

Die zitierte Forschung zu impliziten Messungen betrifft die untersuchten Instrumente und Ergebnisse [1, 7]; sie validiert weder EEG oder Eye-Tracking noch jedes in der Praxis eingesetzte Assoziationsinstrument. Setzen Sie solche Messungen nur ein, wenn die Fragestellung und einschlägige methodenspezifische Belege dies rechtfertigen, und berichten Sie mechanistische Interpretationen als Hypothesen, sofern das Design keine stärkere Schlussfolgerung trägt.

Für viele Organisationen ist die passende Reihenfolge daher: zuerst das Verhalten definieren, dann relevante Assoziationen und Reibungspunkte untersuchen, anschließend eine gezielte Intervention gestalten und schließlich im Feld prüfen, ob sich das tatsächliche Verhalten verändert. Kein Instrument erhält automatisch die Rolle eines abschließenden Beweises.

1. Beschreiben Sie den Entscheidungsmoment. Wer soll wo welche Handlung ausführen und welcher Entscheidungskontext gehört dazu?
2. Halten Sie die assoziative Spannung fest. Welche Belohnung zieht an, welche Bedeutung oder Angst hält zurück und was ist noch ungewiss?
3. Wählen Sie eine erste Intervention. Beschreiben Sie genau, was sich verändert und was ansonsten gleich bleibt.
4. Legen Sie Zielgröße und Vergleich fest. Definieren Sie das primäre Verhaltensmaß und bestimmen Sie die Kontrollgruppe oder den bestmöglichen kontrafaktischen Vergleich.
5. Bereiten Sie die Umsetzung vor. Prüfen Sie Datenschutz, gegebenenfalls Einwilligung, Kapazität, Erfassung, Randomisierung und Messgenauigkeit.
6. Messen und analysieren Sie nach Plan. Berichten Sie Anzahlen, absolute Effekte, Unsicherheit, Umsetzung, Assoziationen und Nebenwirkungen.
7. Entscheiden Sie und testen Sie erneut. Bei ausreichender Evidenz ausweiten; bei einem plausiblen, aber unvollständigen Effekt anpassen; bei unzureichenden Ergebnissen, unzureichender Sicherheit oder Durchführbarkeit nicht ausweiten.

Ein Feldtest soll nicht die ursprüngliche Idee bestätigen. Er soll die Organisation in die Lage versetzen, eine bessere Entscheidung zu treffen, auch wenn die erste Idee nicht stimmt.

Eine Intervention muss die Interessen und die Autonomie der Beteiligten respektieren. Das gilt besonders für Beschäftigte und andere Gruppen, in denen ungleiche Machtverhältnisse bestehen können. Machen Sie das Verhaltensziel und das Studiendesign angemessen transparent, vermeiden Sie unzulässigen Druck, sorgen Sie für vertretbare Alternativen und bewerten Sie negative Nebenwirkungen.

Werden personenbezogene Daten verarbeitet, sind nach der DSGVO eine gültige Rechtsgrundlage, Zweckbindung, Datenminimierung, angemessene Information und Sicherheit erforderlich. Die Einwilligung in die Teilnahme an einer Studie ist nicht automatisch dasselbe wie die DSGVO-Rechtsgrundlage für die Datenverarbeitung; lassen Sie diese Abwägung bei Bedarf rechtlich prüfen. Verarbeiten Sie Assoziations-, Verhaltens- oder Neurodaten nicht umfassender als nötig und berichten Sie möglichst auf aggregierter Ebene [8].

Quelle [8] erläutert die Rechtsgrundlagen. Die weiteren hier genannten Pflichten ergeben sich aus der DSGVO selbst, insbesondere aus den Artikeln 5, 6, 12–14 und 32 sowie gegebenenfalls den Artikeln 9 und 89. Einwilligungen in Beschäftigungsverhältnissen erfordern wegen des Machtungleichgewichts besondere Sorgfalt (Erwägungsgrund 43).

Eine Verhaltensintervention kann eine überzeugende Geschichte liefern, ohne einen überzeugenden Effekt zu haben. Auch das Gegenteil ist möglich: Eine unscheinbare Prozessanpassung verändert das Verhalten, während sich kaum etwas an dem verschiebt, was Menschen sagen oder assoziieren. Die Aufgabe besteht deshalb nicht darin, eine Messung zum Sieger zu erklären, sondern die Ebenen richtig einzuordnen.

Assoziationsforschung kann helfen zu untersuchen, welche Bedeutung eine Entscheidung für Menschen hat. Ein gut angelegter Feldtest kann auch ohne Assoziationsmessung abschätzen, ob eine Intervention das Verhalten im Vergleich mit einer glaubwürdigen Alternative verändert. Die Kombination kann zusätzliche Hinweise auf mögliche Mechanismen liefern; eine veränderte Assoziation allein belegt jedoch nicht, warum sich das Verhalten verändert hat.

• Warum Menschen etwas für vernünftig halten und es trotzdem nicht tun – über die Lücke zwischen Absicht und Verhalten.
• Kommunikation, Prozess oder Umgebung: Welche Verhaltensintervention passt? – über die Diagnose vor der Intervention.
• Assoziationen bei Verhaltensänderungen – die Übersichtsseite der Unterserie.
• Forschungsmethoden von Neurofactor – über Assoziationsforschung, Messungen im realen Umfeld und ergänzende Methoden.