Technik
Technische Zugänglichkeit für KI-Suche prüfen
Robots-Regeln, Indexierbarkeit, interne Links und Bot-Schutz als belastbare Grundlage öffentlicher Auffindbarkeit.
Die Fachbeiträge erscheinen derzeit auf Deutsch.
Öffentliche Inhalte können nur zuverlässig gefunden und verarbeitet werden, wenn relevante Crawler sie erreichen dürfen, die Seiten erfolgreiche Antworten liefern, wichtige Informationen ohne Anmeldung verfügbar sind und keine widersprüchlichen Indexierungsregeln bestehen. Technische Zugänglichkeit ist notwendig, garantiert aber keine Nennung.
Crawling, Indexierung und Darstellung unterscheiden
Crawling bedeutet, dass ein automatisierter Dienst eine URL abrufen darf und technisch erreicht. Indexierung beschreibt, ob die verarbeiteten Informationen in einen Suchindex aufgenommen werden. Darstellung oder Zitierung ist die spätere Entscheidung, eine Seite für eine konkrete Anfrage zu verwenden.
Diese Ebenen werden häufig vermischt. Eine erlaubte robots.txt garantiert keine Indexierung. Eine indexierte Seite garantiert keine Sichtbarkeit. Umgekehrt kann ein technischer Block jede weitere Qualitätsarbeit wirkungslos machen, weil der Inhalt gar nicht erreichbar ist.
Robots-Regeln bewusst verwalten
Robots.txt sollte geprüft werden, bevor einzelne Crawler freigegeben oder blockiert werden. OpenAI nennt OAI-SearchBot als relevanten Crawler für ChatGPT Search und weist darauf hin, dass auch Hosting- oder CDN-Regeln den Zugriff erlauben müssen. Google verwendet für seine KI-Suchfunktionen die bestehenden Suchmechanismen und technischen Anforderungen.
Crawler für Suche und Crawler für Modelltraining können unterschiedliche Zwecke und Namen besitzen. Unternehmen sollten diese Entscheidungen getrennt und in Abstimmung mit Recht, Sicherheit und Unternehmenspolitik treffen, statt pauschal jeden Bot zu blockieren oder freizugeben.
OpenAI dokumentiert getrennte Zwecke für OAI-SearchBot (Suche), GPTBot (mögliches Modelltraining) und ChatGPT-User (bestimmte nutzerveranlasste Abrufe). ChatGPT-User steuert nicht die Aufnahme in Search; robots.txt kann bei solchen Nutzeraktionen anders behandelt werden. Eine robots.txt-Datei ist deshalb keine Zugangskontrolle für vertrauliche Inhalte. Authentifizierung und Berechtigungen bleiben dafür zuständig.
CDN, Firewall und JavaScript als mögliche Barrieren
Eine korrekte robots.txt reicht nicht, wenn ein CDN automatisierte Zugriffe mit 403 blockiert, eine geografische Regel greift oder eine JavaScript-Challenge vorgeschaltet ist. Server- und Sicherheitsprotokolle können zeigen, ob legitime Crawler erfolgreiche Antworten erhalten.
Prüfen Sie, welchen Haupttext der jeweilige Abrufweg tatsächlich erhält. Google kann JavaScript rendern; daraus folgt nicht, dass alle KI-Suchdienste dieselbe Verarbeitung besitzen. Serverseitig gelieferter Text kann die Abhängigkeit von Rendering verringern. Maßgeblich ist der überprüfte Inhalt einschließlich nachgeladener Daten, nicht die pauschale Annahme, JavaScript sei unlesbar.
Indexierungssignale konsistent halten
Noindex, Canonical-Tags, Weiterleitungen und HTTP-Statuscodes müssen zusammenpassen. Eine intern verlinkte Seite kann bewusst noindex tragen, etwa eine nutzbare interne Suchseite. Problematisch ist noindex, wenn genau diese URL in Suchergebnissen erscheinen soll; eine robots.txt-Sperre kann zudem verhindern, dass ein Crawler die noindex-Anweisung überhaupt liest. Temporäre Fehlerseiten mit Status 200 können ebenfalls die Verarbeitung erschweren.
Sitemaps helfen bei der Entdeckung, ersetzen aber keine interne Verlinkung. Zentrale Themen sollten aus Navigation, Hubs oder verwandten Artikeln erreichbar sein. Verwaiste Seiten besitzen wenig Kontext und sind für Nutzer schwer zu finden.
Ein kleiner technischer Prüfplan
Die Prüfung beginnt mit wenigen repräsentativen URLs: Startseite, zentrale Produktseite, Blogartikel, Dokumentation und Pricing. Für jede URL werden Statuscode, Robots-Regeln, Meta-Robots, Canonical, sichtbarer Text und interne Erreichbarkeit kontrolliert.
Anschließend werden Webmaster-Werkzeuge und Serverprotokolle genutzt, um reale Abrufe und Indexierungsprobleme zu verstehen. Änderungen werden dokumentiert und nach einigen Wochen erneut geprüft. Der technische Audit sollte bei Relaunches, CDN-Wechseln und größeren Routing-Änderungen wiederholt werden.
Vergleichen Sie den Inhalt der tatsächlichen Antwort mit dem erwarteten Haupttext und prüfen Sie Meta-Robots sowie X-Robots-Tag im HTTP-Header. Eine 200-Antwort kann nur eine Challenge- oder Fehlerseite enthalten. Ein selbst gesetzter Bot-Name im Test beweist keinen erfolgreichen echten Crawlerzugriff; gleichen Sie Serverprotokolle mit den vom Anbieter veröffentlichten Verifikationsverfahren oder IP-Bereichen ab, bevor Sie Schutzregeln anpassen.
- HTTP-Status und Weiterleitungskette
- robots.txt und Meta-Robots
- Canonical-Ziel
- sichtbarer Hauptinhalt im HTML
- interne Links und Sitemap
- CDN-, WAF- und Bot-Schutz
Kurz zusammengefasst
Die wichtigsten Punkte
- Technische Zugänglichkeit ist Voraussetzung, aber keine Sichtbarkeitsgarantie.
- Suchzugriff und Trainingszugriff sollten getrennt entschieden werden.
- CDN und Bot-Schutz können Crawler trotz korrekter robots.txt blockieren.
- Wichtige Seiten brauchen konsistente Indexierungssignale und interne Links.
Quellen und weiterführende Grundlagen
Die verlinkten Primärquellen bieten fachliche Grundlagen und weiterführenden Kontext. Handlungsempfehlungen und Beispiele im Beitrag sind redaktionelle Einordnungen.