Evaluierbarkeit (Evaluability)

Evidenz

Hsee (1996) beschrieb die Evaluierbarkeits-Hypothese, nach der Bewertungen umschlagen können, je nachdem, ob Optionen einzeln oder gemeinsam beurteilt werden. Sein erstes Beispiel: 116 Studierende nannten ihren Preis für zwei gebrauchte Musiklexika — eines mit 10.000 Einträgen und wie neu, eines mit 20.000 Einträgen und gerissenem Einband. Nebeneinander war das dickere mehr wert (27 gegenüber 19 Dollar), einzeln das makellose (24 gegenüber 20). Die Zahl der Einträge lässt sich allein nicht einordnen, der Zustand schon.

Der Hebel lässt sich an- und abschalten. Bei zwei CD-Wechslern beurteilten 202 Studierende Klirrfaktor und Fassungsvermögen. Nannte man zusätzlich die marktübliche Spanne des Klirrfaktors — 0,002 Prozent im besten, 0,012 im schlechtesten Fall —, verschwand der Umschlag vollständig.

In der oberen Zeile kippt die Rangfolge (t = 3,32, p < 0,01 — ein Unterschied, der durch Zufall allein in weniger als einem von hundert Fällen zustande käme), in der unteren nicht mehr (t < 1, nicht signifikant). Das ist der praktisch brauchbarste Befund des Felds: Wer zu einer schwer einzuordnenden Zahl die übliche Spanne nennt, macht sie unabhängig vom Vergleich beurteilbar.

Dass auch Preise schwer einzuordnen sein können, halten die Autoren ausdrücklich fest. Ein Merkmal kann schwer zu beurteilen sein, obwohl seine Werte exakt dastehen und jeder sie versteht. Ihr eigenes Beispiel: Wer auf einer Reise hört, ein Hotelzimmer koste 50 Dollar die Nacht, kann ohne Kenntnis des dortigen Preisniveaus nicht sagen, ob das viel oder wenig ist. In einer weiteren Studie mit 294 Studierenden verwandelte sich die Bewertungskurve eines unbekannten Testwerts je nach Vorwissen von einer flachen Linie (ohne Information, F(3,96) = 1,51, nicht signifikant) in eine steile Gerade (bei bekannter Spanne, F(3,97) = 73,83, p < 0,001). Das F prüft dabei, ob sich die Gruppen stärker unterscheiden, als der Zufall erwarten ließe.

Eine zweite Frage ist für Shops näherliegend als die Rangfolge. Hsee und Leclerc (1998) fragen in sechs Studien nicht, welche von zwei Optionen gewinnt, sondern ob eine einzelne Option allein oder im Paar attraktiver wirkt. Ihre Antwort hängt am Bezugspunkt: Liegen beide Optionen über dem, was der Betrachter als üblich annimmt, schadet der Vergleich beiden. Liegen beide darunter, hilft er beiden. In den letzten beiden Studien ging es um eine Kaufentscheidung statt um einen Preis; zusammengefasst waren die Wechselwirkungen deutlich (χ² = 8,39 und 15,09). Die Autoren fassen es selbst knapp: Gute Produkte verlieren im Vergleich und gehören einzeln gezeigt, schwache gewinnen und gehören zusammen gezeigt.

Die größte Herausforderung kommt nicht aus den Daten, sondern aus der Deutung. Sher und McKenzie (2014) rechnen vor, dass sich dieselben Befunde ohne jede Verzerrung erklären lassen. Wer den Markt nicht kennt, zieht aus den gezeigten Optionen einen Schluss darauf, wie der Markt aussieht — und bewertet dann relativ zu diesem Schluss. In ihrem ersten Versuch mit 269 Studierenden waren diese Schlüsse gewaltig: Wer nur den Bewerber mit 10 Programmen sah, schätzte den Marktdurchschnitt auf 15,2 Programme; wer nur den mit 70 sah, auf 85,1 (alle Vergleiche p < 0,001).

Entscheidend ist der zweite Versuch. Dort bekamen 228 Studierende die Markteinschätzung anderer Teilnehmender als Hintergrund und bewerteten dann eine Person. Ergebnis: Der erfahrenere Bewerber lag in jedem Informationsstand vorn (48,6 gegen 44,9 und 41,0 gegen 36,9 Tausend Dollar). Die Rangfolge kippt also nie — nur die Höhe der Bewertungen verschiebt sich. Die Autoren nennen das eine Umkehr der Bewertung ohne Umkehr der Präferenz, und sie halten das Verhalten für nicht irrational.

Ihr dritter Versuch ist zugleich eine Teilwiederholung von Hsee. Mit den CD-Wechslern aus dessen viertem Versuch replizierte die Einzelbewertung (205,50 gegen 187,70 Dollar, t(109) = 2,27, p = 0,03). Die gemeinsame Bewertung ging zwar in die erwartete Richtung, verfehlte aber die Signifikanz (193,10 gegen 205,10 Dollar, t(55) = 1,49, p = 0,14). Kamen zwei weitere, deutlich schlechtere Geräte hinzu, kehrte sich die Wahl um: Im Paar bevorzugten 30 Prozent das Gerät mit mehr Kapazität, im Viererfeld 77 Prozent.

Die Nachbarhypothese ist vorregistriert geprüft worden. Vonasch und Kollegen (2023) wiederholten drei Studien aus Hsee (1998) — der Arbeit zum „Weniger ist mehr“-Effekt, nicht der von 1996 — mit 400 Befragten.

Die Einzelbewertung hält dreimal, die gemeinsame nur einmal von zwei. Die Autoren ziehen daraus den Schluss, die Belege für die Evaluierbarkeits-Hypothese seien schwächer als gedacht — gerade weil ihre überraschendste Hälfte so gut hält und die unauffällige nicht.

Grenzen

Die Hypothese ist geprüft, und sie hält nur halb. Was sich wiederholt zeigt, ist die Einzelbewertung: Ohne Vergleich trägt das leicht einzuordnende Merkmal die Bewertung. Was nicht zuverlässig hält, ist die zweite Hälfte — dass im Vergleich dann das schwer einzuordnende Merkmal übernimmt und die Rangfolge umkehrt. Sie verfehlte bei Sher und McKenzie die Signifikanz und scheiterte bei Vonasch und Kollegen in einer von zwei Studien.

Der Eis-Befund hängt an zwei Antworten. Vonasch und Kollegen übernahmen Hsees Ausschlussregel und entfernten zwei Ausreißer. Ohne diesen Schritt verschwindet der Effekt (p = 0,64 statt 0,01). Sie berichten beides offen; belastbar ist der Befund damit nicht.

Die gängige Deutung ist bestritten. Nach Sher und McKenzie sind die Umschläge keine Präferenzumkehr und kein Denkfehler, sondern vernünftige Schlüsse aus unvollständiger Marktkenntnis. Das ändert nichts daran, dass die Bewertung sich verschiebt — wohl aber daran, wie man sie nennt. Die Autoren ziehen daraus selbst eine unbequeme Folgerung: Wer den Entscheidungskontext gestaltet, kann auch vollkommen vernünftige Käufer in die Irre führen. Siehe Reaktanz für die Gegenbewegung.

Der Überblick von 1999 ist eine Erzählung, keine Meta-Analyse. Er sammelt Befunde aus Einstellungsentscheidungen, Umweltprogrammen und Konsumgütern und ordnet sie einer Erklärung zu; gepoolte Effektstärken enthält er nicht.

Hsee und Leclerc prüften nur zwei Optionen mit zwei Merkmalen und einem Bezugspunkt. Was bei mehr Optionen, mehr Merkmalen oder mehreren Bezugspunkten geschieht, lassen sie ausdrücklich offen. Sie vermuten außerdem, dass erfahrene Käufer ihren inneren Maßstab nicht so leicht durch die Nachbaroption ersetzen.

Sher und McKenzie grenzen ihr Modell selbst ein. Es erklärt keine Umkehrungen, die an der Art der Antwort hängen, und keine, die aus unvergleichbaren Gütern entstehen. Ihr Versuchsaufbau setzt zudem voraus, dass die Befragten die fremde Markteinschätzung für bare Münze nehmen; in einer unveröffentlichten Variante mit zwei sichtbaren Optionen wirkte sie nur noch schwach und unregelmäßig.

Dass Prozent- und Euro-Rabatte unterschiedlich gut bewertbar sind und das die Rule of 100 erklärt, bleibt eine plausible Deutung. Dass Preise überhaupt schwer einzuordnen sein können, ist belegt; dass genau dieser Unterschied zwischen den beiden Rabattformen wirkt, ist es nicht.

Gekauft wird in keiner dieser Arbeiten. Die Stichproben sind Studierende und Online-Befragte, die Preise genannt oder eine Kaufabsicht angekreuzt haben. Einen Feldbefund gibt es nur als Hinweis zweiter Hand: Gutscheine für Marken derselben Warengruppe wirkten auf einer gemeinsamen Anzeigenseite schlechter als auf getrennten.