Server-gerendertes HTML
Viele Agenten führen kein JavaScript aus. Was erst im Browser entsteht, existiert für sie nicht.
KI-Agenten
Wer künftig auf deiner Website recherchiert.
Ein wachsender Teil der Zugriffe kommt nicht mehr von Menschen und nicht von klassischen Crawlern, sondern von Agenten, die im Auftrag einer Person nachsehen.
Einordnung
Drei Arten von Besuch.
Der klassische Crawler indexiert regelmäßig und breit. Er sammelt für später und interessiert sich nicht für eine einzelne Frage.
Der Trainingssammler holt Inhalte für den Aufbau von Modellen. Sein Besuch wirkt erst Monate später und lässt sich in der Wirkung kaum messen.
Der Agent im Auftrag ruft genau jetzt genau eine Seite ab, weil jemand gerade etwas wissen will. Sein Besuch ist der wertvollste, und er ist der ungeduldigste: Was langsam lädt oder erst nach Skriptausführung erscheint, fällt aus der Antwort.
In der robots.txt lassen sich diese drei getrennt behandeln, und genau das empfehlen wir. Eine pauschale Regel behandelt den Besuch, der dir Kund:innen bringt, wie den, der dich trainiert.
Anforderungen
Was ein Agent braucht.
Tempo
Zeitlimits sind knapp. Eine langsame Seite wird verworfen, nicht abgewartet.
Eindeutige Angaben
Preis, Verfügbarkeit, Öffnungszeiten. Ein Agent extrahiert, er interpretiert nicht wohlwollend.
Kein Sperrgitter
Bot-Abwehr, Zustimmungsbanner und Anmeldeschranken beenden den Besuch. Oft unbemerkt.
Praxis
Was sich prüfen lässt.
Der einfachste Test ist der Abruf ohne Browser. Wenn im Rohtext deiner Seite die wesentlichen Angaben fehlen, fehlen sie auch dem Agenten.
Der zweite Test läuft im Serverprotokoll. Die bekannten Kennungen der KI-Anbieter tauchen dort auf, und ihr Verhältnis zu den menschlichen Zugriffen ist eine Kennzahl, die kaum jemand ansieht.
Der dritte Test ist die Antwort selbst: Fragen stellen, Quellen ansehen, prüfen, ob die zitierte Angabe stimmt. Das ist die Arbeit, die wir im Audit systematisch machen.
Häufige Fragen
Zu KI-Agenten.
Woran erkenne ich Agenten im Serverprotokoll?
An der Kennung im User-Agent. Die großen Anbieter nennen ihre Kennungen öffentlich, und sie unterscheiden zwischen Training, Suchindex und Abruf im Auftrag.
Soll man KI-Crawler aussperren?
Getrennt entscheiden. Trainingssammler auszusperren, ist eine legitime Wahl. Den Abruf im Auftrag auszusperren, kostet dich Nennungen bei Menschen, die gerade kaufen wollen.
Halten sich die Anbieter an robots.txt?
Die großen benennen ihre Kennungen und geben an, sich daran zu halten. Vollständig überprüfen lässt sich das nicht, weshalb sensible Inhalte hinter eine Anmeldung gehören und nicht hinter eine Bitte.
Warum ist JavaScript ein Problem?
Weil viele Agenten nur das rohe HTML holen. Ein Preis, der erst nach dem Laden erscheint, ist für sie nicht vorhanden. Serverseitiges Rendern löst das.
Verfälschen Agentenzugriffe die Statistik?
Ja, in beide Richtungen. Sie erzeugen Zugriffe ohne Menschen und gleichzeitig Nennungen ohne Zugriff. Beides gehört bei der Auswertung getrennt.
Wie schnell muss eine Seite sein?
Konkrete Zeitlimits nennt kein Anbieter. Praktisch gilt: Was für Menschen schnell ist, reicht auch hier. Was Sekunden braucht, ist gefährdet.
Was ist mit Zustimmungsbannern?
Ein Banner, das Inhalte erst nach Klick freigibt, blockiert Agenten vollständig. Der Inhalt muss im HTML stehen, das Banner darf ihn nicht ersetzen.
Kann ich Agenten gezielt bedienen?
Ja, mit sauberem Markup, strukturierten Daten und einer Markdown-Fassung je Seite. Wir liefern Letztere auf jeder Seite dieser Website mit.
Steigt der Anteil dieser Zugriffe?
In unseren Beobachtungen ja, mit großen Unterschieden je Branche. Verlässliche allgemeine Zahlen gibt es nicht, deine eigenen Protokolle sind die bessere Quelle.
Brauchen wir eine eigene Schnittstelle für Agenten?
In den meisten Fällen nicht. Eine saubere Website ist die Schnittstelle. Interessant wird eine eigene erst, wenn Agenten bei dir handeln und nicht nur nachlesen sollen.
Nächster Schritt
Finden wir heraus, wo du in KI-Antworten stehst.
Ein Gespräch, 30 Minuten, ohne Verkaufsdruck. Du bekommst danach eine ehrliche Einschätzung, ob sich der Aufwand für dich lohnt.
