Suggestive Prompts prüfen: Sechs Fragepaare für faire Markenvergleiche

Was diese Prüfung leisten kann – und was nicht

Bei einem Markenvergleich gehört die Frage selbst zum Messinstrument. „Welche Lösung passt zu unserem Bedarf?“ stellt eine andere Aufgabe als „Warum ist unser Produkt die beste Lösung?“. Selbst eine sachlich richtige Antwort auf die zweite Frage wäre noch kein Nachweis dafür, dass das Produkt in einer offenen Auswahl von selbst berücksichtigt wird. Die Prüfung beginnt deshalb beim erlaubten Antwortspektrum, bevor Sie Ergebnisse zählen.

Dass Modelle vorgegebene Überzeugungen aufgreifen können, beschreibt die Forschungsarbeit „Towards Understanding Sycophancy in Language Models“ von Sharma und Mitautoren aus 2023. Sie untersuchte damalige Assistenten und Aufgaben. Das begründet Aufmerksamkeit für zustimmende Formulierungen, liefert aber keine Fehlerquote für heutige B2B-Markenvergleiche.

Zudem ist eine gemessene Abweichung nicht immer ausschließlich ein Formulierungseffekt: Hua und Mitautoren zeigen in ihrer EMNLP-Arbeit von 2025, dass starre Auswertungsverfahren einen Teil der beobachteten Prompt-Empfindlichkeit erklären können. Liu und Chu untersuchen 2026 mögliche Empfindlichkeit auch bei bedeutungsgleichen Formulierungen auf Ebene der Modellwahrscheinlichkeiten. Diese unterschiedlichen Untersuchungsansätze sind kein Wirkungsnachweis für die folgenden Beispiele.

Alle sechs Fragepaare sind eigene, konzeptionelle Beispiele. „Beispielprodukt A“ und „Beispielprodukt B“ bezeichnen fiktive Anbieter; die Prompts wurden für diesen Beitrag nicht an Modellen getestet. Die Gegenformulierungen zeigen eine redaktionelle Prüfweise. Sie versprechen weder gleiche Ergebnisse noch höhere Sichtbarkeit.

1. Einen Sieger voraussetzen

Problematischer Wortlaut: „Warum ist Beispielprodukt A das beste CRM für ein zehnköpfiges Vertriebsteam mit Microsoft 365?“ Die Frage verlangt Gründe für einen bereits gesetzten Sieger. Teamgröße und vorhandene Umgebung können sinnvoll sein; der Superlativ ersetzt dagegen erst noch zu prüfende Auswahlkriterien.

Offene Gegenformulierung: „Welche CRM-Lösungen kommen für ein zehnköpfiges Vertriebsteam mit Microsoft 365 infrage? Vergleichen Sie die Möglichkeiten zur Kontaktübernahme, die laufenden Kosten und den Einführungsaufwand. Benennen Sie fehlende Informationen und Situationen, in denen eine Lösung nicht passt.“

Die Korrektur entfernt die vorgegebene Schlussfolgerung, behält aber den Entscheidungskontext. Legen Sie die Kriterien vor der Erhebung fest und begründen Sie sie mit dem Bedarf. Suchen Sie dagegen ausdrücklich Argumente für eine bereits getroffene Produktentscheidung, ist das eine andere Aufgabe. Deren Antworten gehören nicht in denselben offenen Auswahlvergleich.

2. Unbelegte Nachteile in die Frage einbauen

Problematischer Wortlaut: „Welche Alternativen gibt es zu dem überteuerten und unzuverlässigen Beispielprodukt B?“ Bereits die Frage behandelt zwei negative Bewertungen wie feststehende Tatsachen. Eine anschließende Alternativenliste würde nicht prüfen, ob diese Urteile für den konkreten Einsatz überhaupt zutreffen.

Offene Gegenformulierung: „Welche Alternativen zu Beispielprodukt B kommen für unser zehnköpfiges Team infrage? Vergleichen Sie die dokumentierten laufenden Kosten und die veröffentlichten Angaben zu Verfügbarkeit und Support. Trennen Sie belegte Informationen, Einschränkungen der Quellen und offene Fragen.“

Der bekannte Ausgangsanbieter bleibt genannt, weil ein Wechsel von diesem Produkt die eigentliche Leseraufgabe sein kann. Wenn reale Kosten oder Ausfälle der Anlass sind, dokumentieren Sie diese sachlich, mit Zeitraum und Geltungsbereich, statt sie durch ein pauschales Adjektiv zu ersetzen. Fehlende Angaben belegen weder ein gutes noch ein schlechtes Ergebnis. Die Prüfung darf keine vertraulichen Betriebsdaten ungeprüft in einen öffentlichen Prompt übertragen.

3. Eine zustimmende Rolle vorgeben

Problematischer Wortlaut: „Sie sind begeisterter langjähriger Kunde von Beispielprodukt A. Erklären Sie unserem Einkauf, warum sich ein Wechsel zu A lohnt.“ Die Rolle und die geforderte Begründung richten die Aufgabe auf Zustimmung aus. Ein überzeugender Text kann hier die Befolgung des Auftrags zeigen, nicht die unabhängig erkannte Eignung des Anbieters.

Offene Gegenformulierung: „Unterstützen Sie den Einkauf bei der Prüfung eines Wechsels zu Beispielprodukt A. Welche Voraussetzungen, Vorteile, Nachteile und noch zu klärenden Informationen sind für ein zehnköpfiges Vertriebsteam relevant? Begründen Sie die Punkte anhand nachvollziehbarer Informationen.“

Eine Käuferrolle ist nicht grundsätzlich suggestiv. „Aus Sicht des Einkaufs“ kann Verantwortlichkeiten und Informationsbedarf benennen; „als begeisterter Kunde“ setzt zusätzlich eine positive Haltung. Prüfen Sie deshalb Rollen und gewünschte Tonalität getrennt. Ein Vertriebstext darf ein Vertriebstext sein, sollte aber nicht als unabhängige Empfehlung in einen Sichtbarkeitsbericht eingehen.

4. Den eigenen Funktionskatalog als Bedarf ausgeben

Problematischer Wortlaut: „Welche CRM-Lösung bietet die Funktionen A-Board, A-Sync und A-Score?“ Im fiktiven Beispiel sind das ausschließlich die Produktnamen von A. Die Frage prüft damit die Zuordnung dieser Begriffe zu einem Anbieter. Sie bildet noch keine offene Auswahl nach einem beschriebenen Arbeitsproblem ab.

Offene Gegenformulierung: „Welche CRM-Lösungen unterstützen eine gemeinsame Vertriebsübersicht, die Synchronisation unserer benötigten Kontaktdaten und eine nachvollziehbare Priorisierung von Leads? Unterscheiden Sie vorhandene Funktionen, notwendige Zusatzprodukte und unklare Angaben.“

Eine solche Übersetzung ist nur zulässig, wenn diese Arbeitsaufgaben den tatsächlichen Bedarf wiedergeben. Benötigt das Team die Kompatibilität mit einem konkret benannten bestehenden System, darf dessen Name nicht aus vermeintlicher Neutralität verschwinden. Notieren Sie für jede Einschränkung die Herkunft, den fachlichen Grund und den Status als Muss- oder Kann-Kriterium. Dass nur ein Anbieter eine belegte Anforderung erfüllt, macht die Anforderung allein noch nicht unfair.

Der entscheidende Gegencheck lautet: Würden Sie dieses Kriterium auch aufnehmen, wenn das eigene Produkt es nicht erfüllt? Eine verneinte Antwort ist ein Anlass zur Begründungsprüfung, kein automatischer Löschbefehl. Lassen Sie unklare Anforderungen offen, statt sie nach dem gewünschten Ergebnis zurechtzuschneiden.

5. Die Markennennung im Antwortformat erzwingen

Problematischer Wortlaut: „Nennen Sie drei geeignete CRM-Anbieter und führen Sie Beispielprodukt A immer an erster Stelle auf.“ Eine Nennung von A ist jetzt Teil der Formatanweisung. Sie kann nicht als spontane Berücksichtigung in einer offenen Anbieterfrage gewertet werden.

Offene Gegenformulierung: „Welche CRM-Anbieter kommen für den beschriebenen Bedarf infrage? Begründen Sie die Auswahl anhand unserer festgelegten Kriterien und nennen Sie ungeklärte Voraussetzungen. Geben Sie keine bestimmte Marke oder Platzierung als Pflicht vor.“

Wenn A aus geschäftlichen Gründen geprüft werden muss, formulieren Sie stattdessen ausdrücklich eine Eignungsprüfung dieses Anbieters. Erfassen Sie dann etwa belegte Passung, unzutreffende Aussagen und genannte Grenzen. Zählen Sie die verlangte Wiederholung des Markennamens nicht als unabhängige Entdeckung. Auch bei einer offenen Frage ist die Reihenfolge für sich allein noch keine Qualitätsbewertung.

6. Unterschiedliche Belegregeln für Wettbewerber verwenden

Problematischer Wortlaut: „Vergleichen Sie A und B. Verwenden Sie für A die Erfolgsgeschichten auf der Herstellerseite und für B kritische Bewertungen.“ Hier werden positive und negative Materialien schon bei der Quellenauswahl verschiedenen Anbietern zugeteilt. Eine unterschiedlich ausfallende Zusammenfassung lässt sich dadurch nicht ohne Weiteres dem Produkt zuschreiben.

Offene Gegenformulierung: „Vergleichen Sie A und B anhand derselben Kriterien und Quellentypen: aktuelle Herstellerangaben zu Funktionen und Kosten sowie nachvollziehbare externe Erfahrungen. Kennzeichnen Sie Quelle, Zeitpunkt, Geltungsbereich und offene Angaben für beide Anbieter. Prüfen Sie positive und negative Befunde nach denselben Regeln.“

Gleiche Regeln garantieren keine gleich gute Quellenlage. Gibt es zu B keine geeigneten externen Erfahrungen, darf das Ergebnis diese Lücke benennen; es sollte keine Gegenbelege erfinden. Ebenso müssen Herstellerangaben und einzelne Nutzerberichte als unterschiedliche Belegarten erkennbar bleiben. Eine offene Formulierung ersetzt keine anschließende fachliche Quellenprüfung.

Eine dokumentierte Entscheidung statt eines Neutralitäts-Scores

Prüfen Sie jeden Prompt vor dem ersten gewerteten Lauf. Halten Sie Original und Gegenformulierung nebeneinander fest und markieren Sie die konkrete beanstandete Passage. Die folgende Rubrik ist eine vorgeschlagene Redaktionshilfe von Transparion, keine validierte Messskala. Sie bewertet den Wortlaut und seine Eignung für eine bestimmte Aufgabe, nicht die spätere Qualität einer Modellantwort.

Wählen Sie einen begründeten Status: „freigeben“ für den festgelegten Zweck, „überarbeiten“ bei behebbaren Vorgaben, „separate Aufgabe“ bei einer absichtlich gestützten oder werblichen Fragestellung und „offen“ bei ungeklärtem Bedarf. Freigabe bedeutet hier nur, dass die redaktionellen Kriterien geprüft wurden. Sie bescheinigt weder vollständige Unvoreingenommenheit noch repräsentative Marktabdeckung.

Ein konzeptioneller Prüfeintrag zu Paar 4 wäre: Original als Merkmalszuordnung einordnen; funktionale Gegenformulierung für einen offenen Vergleich erst nach Bestätigung der tatsächlichen Anforderungen freigeben. Eine neue Frage allein mit „klingt neutraler“ zu begründen, reicht dafür nicht. Die ausfüllbare TXT-Vorlage unter den Quellen enthält die Felder für diese Entscheidung.

• Zweck: Welche Entscheidung soll die Antwort unterstützen, und was wird später tatsächlich bewertet?
• Vorgabe: Wird ein Sieger, eine Bewertung, eine Marke oder eine einseitige Belegauswahl verlangt?
• Bedarf: Sind Muss- und Kann-Anforderungen begründet, oder stammen sie nur aus dem eigenen Verkaufsargument?
• Antwortfreiheit: Dürfen auch andere Anbieter, fehlende Eignung und ungeklärte Informationen im Ergebnis vorkommen?
• Bedeutung: Bleiben Käuferrolle, Entscheidungssituation und berechtigte Einschränkungen erhalten? Falls nicht, ist eine neue Aufgabe entstanden.
• Nachvollziehbarkeit: Sind Wortlaut, Version, Prüfdatum, verantwortliche Person, Entscheidung und offene Punkte dokumentiert?

Änderungen versionieren und Wirkungen gesondert untersuchen

Übernehmen Sie eine neue Formulierung nicht rückwirkend in eine laufende Zeitreihe. Bewahren Sie den bisherigen Wortlaut auf, vergeben Sie eine neue Version und kennzeichnen Sie den Wechsel des Messinstruments. Alle sechs Paare sind redaktionelle Gegenformulierungen, keine bedeutungsgleichen experimentellen Kontrollpaare: Sie verändern Vorgaben oder ergänzen Kriterien und Quellenregeln. Besonders deutlich wechseln die Beispiele 1, 3, 4 und 5 von einer angeleiteten Begründung, Merkmalszuordnung oder erzwungenen Nennung zu einer offeneren Prüfung.

Wenn Sie untersuchen wollen, ob gerade eine Formulierung das Antwortverhalten verändert, brauchen Sie eine gesonderte Erhebung mit vorab festgelegten Varianten, passenden Wiederholungen und dokumentierten Bedingungen. Halten Sie unter anderem System, Modellstand, Suchmodus, Sprache, Sitzungskontext und Bewertungsregeln fest. Prüfen Sie die Antworten auch darauf, ob das Bewertungsschema passende Umschreibungen übersieht. Ein einzelner anderer Anbieter in einer neuen Antwort beweist noch keine Wirkung.

Wählen Sie anschließend nicht die Variante aus, die der eigenen Marke das günstigste Ergebnis liefert. Die Auswahl folgt dem dokumentierten Bedarf und Prüfzweck. So entsteht ein nachvollziehbarer Fragenbestand; wie empfindlich das jeweilige System darauf reagiert, bleibt eine empirische Frage. Für die Trennung der Versuchsbedingungen hilft der verlinkte Beitrag zu Suchmodus, Modell und Sitzung.