Warum KI-Systeme Marken unterschiedlich einordnen

Eine Antwort ist das Ergebnis mehrerer Schichten

Was Nutzer sehen, entsteht nicht allein aus einem Sprachmodell. Je nach Produkt können eine Websuche, ein Suchindex, Sicherheitsregeln, Systemanweisungen, Standortinformationen und der bisherige Gesprächsverlauf die Antwort beeinflussen. Selbst innerhalb desselben Dienstes können unterschiedliche Modi zu verschiedenen Ergebnissen führen.

Deshalb ist die Aussage „Modell A kennt uns, Modell B nicht“ meist zu grob. Zunächst muss geklärt werden, ob beide Antworten unter vergleichbaren Bedingungen entstanden sind. Wurde in beiden Fällen gesucht? Waren Sprache und Region gleich? War der Chat neu? Wurden dieselben Kriterien genannt?

Aktualität und Quellenzugriff verändern die Einordnung

Ein System mit aktueller Websuche kann eine kürzlich geänderte Produktseite berücksichtigen. Eine Antwort ohne Suche kann sich dagegen auf einen älteren Wissensstand oder allgemeinere Muster stützen. Sichtbare Quellen zeigen zudem nur den belegten Teil einer Antwort und nicht zwangsläufig alle internen Einflüsse.

Für das Monitoring sollte deshalb dokumentiert werden, ob eine Suchfunktion aktiv war und welche Quellen sichtbar genannt wurden. Diese Angaben machen die Beobachtung nachvollziehbarer, ohne zu behaupten, die vollständige interne Entstehung der Antwort zu kennen.

Prompts und Dialogkontext sind Teil der Messung

Kleine Änderungen an einer Frage können andere Kriterien hervorheben. Noch stärker wirkt der Gesprächsverlauf: Wenn zuvor über ein bestimmtes Budget oder eine Branche gesprochen wurde, kann die nächste Antwort diesen Kontext übernehmen. Für wiederholbare Tests sollten neue Gespräche verwendet und Prompts unverändert gespeichert werden.

Auch die Sprache ist relevant. Eine deutschsprachige Frage kann andere Quellen und Anbieter hervorbringen als eine englischsprachige Variante. Wer international verkauft, sollte Sprachräume getrennt betrachten, statt die Ergebnisse in eine einzige Kennzahl zu mischen.

So entsteht ein fairer Vergleichsrahmen

Ein belastbarer Rahmen hält Zeitpunkt, Modellbezeichnung, Modus, Sprache, Region und Prompt fest. Antworten werden nach denselben Kriterien ausgewertet. Die Ergebnisse sollten pro System ausgewiesen werden, bevor eine Gesamtsicht gebildet wird.

Dabei geht es nicht darum, ein System zum Sieger zu erklären. Die Frage lautet vielmehr: In welchen Entscheidungssituationen wird das eigene Produkt wie dargestellt? Unterschiedliche Antworten können auf uneinheitliche Quellen, unklare Positionierung oder einfach auf verschiedene Antwortwege hinweisen.

• Gleicher Prompt und neuer Gesprächskontext
• Dokumentierte Sprache, Region und Erhebungszeit
• Festgehaltener Such- oder Antwortmodus
• Identische Bewertungsregeln
• Getrennte Ergebnisse pro System

Was Teams aus Unterschieden ableiten können

Wiederkehrende Unterschiede sind wertvoller als einzelne Ausreißer. Wenn mehrere Systeme eine Integration falsch beschreiben, liegt wahrscheinlich ein öffentliches Klarheitsproblem vor. Wenn nur eine Antwort abweicht, sollte zunächst die Quelle und der Modus geprüft werden.

Die richtige Reaktion ist selten eine separate Seite für jedes System. Sinnvoller ist eine gemeinsame Informationsbasis: präzise Produktseiten, aktuelle Dokumentation, konsistente externe Profile und nachvollziehbare Aussagen. Gute öffentliche Informationen helfen unabhängig davon, welcher Such- oder Antwortdienst sie verarbeitet.