Maschinenlesbar gebaut: Wie KI-Crawler eine Website lesen

Wenn Sie eine Website öffnen, sehen Sie Farben, Bilder, ein Video und eine Navigation. Ein Crawler sieht nichts davon. Er ruft eine Adresse auf, bekommt Quelltext zurück und versucht daraus abzulesen, wer hier was anbietet, wo und zu welchen Bedingungen. Was nicht im Quelltext steht, existiert für ihn nicht.

Für die klassische Suche ist das seit Jahren bekannt. Mit Antwortsystemen wie ChatGPT, Perplexity, Microsoft Copilot und der KI-Übersicht bei Google wird die Frage dringlicher, denn diese Systeme übernehmen nicht nur einen Link, sondern ganze Aussagen. Eine Website, die Maschinen nicht verstehen, liefert keine Aussagen, die sich übernehmen lassen.

Dieser Beitrag folgt einem Crawler durch eine Website: vom Abruf über HTML, Überschriften und strukturierte Daten bis zu Ladezeit und Seitenzuschnitt. Am Ende stehen eine Checkliste, ein Beispiel und die Pakete von website4geo, das Websites nach genau diesen Regeln baut.

Wer eine Website heute liest

Auf einer typischen Website sind inzwischen mehrere Arten von Besuchern ohne Bildschirm unterwegs. Suchmaschinen-Crawler wie Googlebot und Bingbot bauen die großen Suchindizes auf, aus denen auch die KI-Übersicht bei Google und Microsoft Copilot schöpfen. Daneben stehen die Crawler der KI-Anbieter selbst.

OpenAI unterscheidet in seiner Dokumentation etwa zwischen GPTBot, der Inhalte für das Training von Modellen sammelt, und OAI-SearchBot, der Seiten für die Suchfunktion von ChatGPT erfasst. Perplexity betreibt den PerplexityBot, Anthropic den ClaudeBot. Google steuert die Nutzung von Inhalten für seine Gemini-Modelle über das robots.txt-Kennzeichen Google-Extended, das die normale Google-Suche nicht berührt.

Dazu kommen Abrufe in Echtzeit: Bittet jemand ein Antwortsystem, eine bestimmte Seite zu lesen, holt es sie in diesem Moment ab. Daraus folgt eine erste, einfache Prüfung. Die robots.txt sollte nicht versehentlich genau die Crawler aussperren, von denen ein Unternehmen später zitiert werden möchte.

HTML zuerst: Was im Quelltext ankommt

Moderne Websites setzen häufig auf JavaScript, das Inhalte erst im Browser zusammenbaut. Googlebot kann solche Seiten rendern, wenn auch mit Verzögerung. Für viele KI-Crawler gilt das nach bisherigen Auswertungen nicht: Sie lesen das HTML, das der Server ausliefert, und führen keine Skripte aus. Texte in Reitern, Karussells oder nachgeladenen Bereichen fehlen dann, ebenso jeder Text, der nur als Bild existiert.

Die Grundregel lautet deshalb: Alles, was zählt, steht als Text im ausgelieferten HTML. Darauf baut eine semantische Struktur auf, die Maschinen Orientierung gibt:

• Genau eine Hauptüberschrift (H1), die Leistung und Ort nennt, darunter H2 und H3 in logischer Reihenfolge.
• Bereiche mit ihrer Bedeutung ausgezeichnet: Kopf, Navigation, Hauptinhalt, Artikel und Fußzeile als eigene HTML-Elemente.
• Listen als echte Listen und Tabellen als echte Tabellen, nicht als gestaltete Textblöcke.
• Aussagekräftige Alternativtexte für Bilder und eine Sprachangabe für die Seite.
• Seitentitel und Meta-Beschreibung, die den Inhalt der Seite in einem Satz zusammenfassen.

Überschriften verdienen besondere Sorgfalt, denn viele Verfahren zerlegen Texte entlang der Gliederung in Abschnitte. Eine Überschrift wie „Unser Versprechen“ sagt einer Maschine nichts. „Was kostet eine Wallbox-Installation in Kassel?“ kündigt dagegen eine Antwort an. Liefert der erste Satz darunter diese Antwort, entsteht genau die Art Passage, die sich zitieren lässt.

JSON-LD: der Steckbrief im Quelltext

Strukturierte Daten beschreiben den Inhalt einer Seite in einem festen Vokabular. Das gebräuchlichste ist schema.org, 2011 gemeinsam von Google, Microsoft und Yahoo gestartet und kurz darauf um Yandex erweitert. Google empfiehlt dafür das Format JSON-LD: einen Block im Quelltext, der für Besucher unsichtbar bleibt und Maschinen in geordneter Form sagt, was auf der Seite steht.

Für Unternehmensseiten sind vor allem diese Typen nützlich:

• Organization oder LocalBusiness mit Name, Adresse, Telefon, Öffnungszeiten und Einsatzgebiet.
• Service für einzelne Leistungen, verknüpft mit dem Anbieter.
• Article für Ratgeber und Beiträge, mit Datum, Autor und Bild.
• FAQPage für Fragen und Antworten sowie BreadcrumbList für den Pfad zur Seite.

Zwei Regeln gelten dabei immer. Die Angaben müssen mit dem sichtbaren Text übereinstimmen, sonst entsteht ein Widerspruch, den Maschinen bemerken können. Und strukturierte Daten sind kein Hebel für sich: Hervorgehobene FAQ-Ergebnisse zeigt Google seit August 2023 nur noch für wenige bekannte Behörden- und Gesundheitswebsites. Der eigentliche Nutzen liegt in der eindeutigen Zuordnung von Name, Adresse und Leistung zu einer Entität, also zu einem klar bestimmbaren Unternehmen.

FAQ, llms.txt und teaser.md

Ein Abschnitt mit Fragen und Antworten ist für Antwortsysteme besonders ergiebig, weil er die Form einer KI-Antwort vorwegnimmt: eine Frage, wie Menschen sie stellen, und eine Antwort, die im ersten Satz den Kern liefert. Die besten Fragen stammen nicht aus dem Marketing, sondern aus dem Posteingang und vom Telefon. Was kostet das, wie lange dauert es, kommen Sie auch nach Baunatal?

Die Datei llms.txt geht einen Schritt weiter. Der Entwickler Jeremy Howard hat sie im September 2024 vorgeschlagen: eine Markdown-Datei im Wurzelverzeichnis einer Domain, die zusammenfasst, welche Inhalte für Sprachmodelle wichtig sind. Ein verbindlicher Standard ist sie nicht, und ob die großen Anbieter die Datei auswerten, haben sie nicht offiziell bestätigt. Der Aufwand ist allerdings gering.

Nach demselben Gedanken arbeitet die teaser.md: eine kompakte Kurzfassung in Markdown mit Profil, Leistungen, Orten, Preisen und häufigen Fragen, ohne Navigation und ohne Skripte. Auch axaix stellt eine solche Datei bereit, und die llms.txt des Magazins verweist darauf. Beide Dateien sind Ergänzungen. Sie helfen, wenn die eigentlichen Seiten gut sind, und retten keine Seite, die selbst nichts aussagt.

Eine Kurzfassung für Maschinen hilft nur dort, wo die Seiten dahinter schon etwas Klares sagen.

Ladezeit und Zuschnitt: eine Leistung, ein Ort, eine Seite

Crawler arbeiten mit begrenzten Zeit- und Rechenbudgets, und Abrufe in Echtzeit geschehen, während ein Mensch auf seine Antwort wartet. Eine schlanke Seite ist deshalb doppelt im Vorteil: Sie wird zuverlässig vollständig geladen, und sie überzeugt die Menschen, die danach tatsächlich klicken. Komprimierte Bilder im WebP-Format, wenige Skripte, lokal eingebundene Schriften und ein kurzes, stark komprimiertes Hero-Video, das einmal abläuft, halten das Gewicht niedrig.

Mindestens so wichtig ist der Zuschnitt. Eine einzige Seite „Leistungen“ mit zwanzig Stichpunkten beantwortet keine Frage richtig gut. Eine eigene Seite je Leistung, mit sprechender Adresse und mit Leistung und Ort im Seitentitel, in der Hauptüberschrift und im ersten Absatz, liefert dagegen genau die Passage, die eine Frage wie „Wer installiert in Kassel Wallboxen?“ braucht. Wer mehrere Orte bedient, braucht für jeden Ort echten, eigenen Inhalt, keine Kopien mit ausgetauschtem Städtenamen.

Neue und geänderte Seiten lassen sich zudem aktiv melden. Das Protokoll IndexNow, 2021 von Microsoft und Yandex vorgestellt, benachrichtigt teilnehmende Suchmaschinen sofort. Weil Microsoft Copilot auf den Bing-Index zurückgreift, verkürzt das den Weg, bis eine neue Seite dort bekannt ist. Wie Antwortsysteme anschließend zwischen mehreren Quellen abwägen, beschreibt unser Beitrag Wie Sprachmodelle ihre Quellen auswählen.

Die Checkliste

Die folgenden Punkte lassen sich an jeder bestehenden Website in etwa einer Stunde prüfen, die meisten mit der Quelltextansicht des Browsers:

• Steht der gesamte wichtige Text im ausgelieferten HTML, auch ohne JavaScript?
• Hat jede Seite genau eine H1, die Leistung und Ort nennt?
• Folgen H2 und H3 einer logischen Gliederung, mit Überschriften, die Themen benennen?
• Hat jede Leistung eine eigene Seite mit eigener, sprechender Adresse?
• Nennen Seitentitel, Meta-Beschreibung und erster Absatz Leistung und Ort?
• Lauten Firmenname, Adresse und Telefonnummer überall gleich, auch in Verzeichnissen?
• Beschreibt JSON-LD das Unternehmen und seine Leistungen, passend zum sichtbaren Text?
• Beantwortet ein FAQ-Abschnitt echte Kundenfragen gleich im ersten Satz?
• Lässt die robots.txt die Such- und Antwort-Crawler zu, von denen Sie zitiert werden möchten?
• Lädt die Seite auf dem Handy schnell, mit WebP-Bildern und wenigen Skripten?
• Gibt es eine llms.txt und eine kompakte Kurzfassung wie die teaser.md?

Ein Beispiel und die Pakete von website4geo

Ein erfundenes Beispiel zeigt, wie das zusammenspielt. Elektro Sommerfeld, ein Betrieb aus Kassel, installiert Photovoltaikanlagen, Wallboxen und Stromspeicher. Die alte Website bestand aus einer Startseite mit Bildkarussell, einer Seite „Leistungen“ mit Stichpunkten und einem Kontaktformular. Die Adresse stand nur als Grafik in der Fußzeile, die Hauptüberschrift lautete „Willkommen“.

Nach dem Umbau hat jede Leistung eine eigene Seite: „Wallbox-Installation in Kassel“, „Photovoltaik für Einfamilienhäuser in Kassel“, „Stromspeicher nachrüsten in Kassel“. Jede beginnt mit zwei Sätzen, die Leistung, Ort und Ablauf nennen, und endet mit Fragen und Antworten zu Dauer, Ablauf und Einsatzgebiet. JSON-LD beschreibt den Betrieb als LocalBusiness mit Adresse und Einsatzgebiet, eine teaser.md fasst alles zusammen. Ob ein Antwortsystem den Betrieb nennt, bleibt offen. Aber jetzt gibt es Passagen, die es nennen könnten.

Genau diesen Umbau bietet website4geo in drei Paketen an. Texte, Bilder und Hero-Video entstehen mit KI eigens für die jeweilige Website, die Redaktion prüft und verbessert jeden Text, und der Kunde gibt ihn frei. Die Preise gelten einmalig und zuzüglich Mehrwertsteuer:

• Standard für 1.490 €: eine GEO-optimierte Landingpage, 3 Revisionen, Hero-Video, professionelle KI-Bilder und Texte (menschlich geprüft und optimiert), Datenschutz und Impressum, Managed Hosting im ersten Jahr und acht DSGVO-konforme Werkzeuge.
• Business für 2.490 €: eine Website mit 10 GEO-optimierten Leistungs- oder Blogseiten, 5 Revisionen, Hero-Video, professionelle KI-Bilder und Texte (menschlich geprüft und optimiert), Datenschutz und Impressum, Managed Hosting im ersten Jahr und acht DSGVO-konforme Werkzeuge.
• Premium für 5.990 €: eine Website mit 30 GEO-optimierten Leistungs- oder Blogseiten und einer WebApp, die ohne Installation im Browser läuft, 10 Revisionen, Hero-Video, professionelle KI-Bilder und Texte (menschlich geprüft und optimiert), Datenschutz und Impressum, Managed Hosting im ersten Jahr und acht DSGVO-konforme Werkzeuge.

Zu den acht Werkzeugen gehören unter anderem resavis.com für Online-Termine, formdialog.com für Dialog- und Kontaktformulare und favaria.com für Google-Bewertungen auf der eigenen Seite. Für Elektro Sommerfeld mit drei Kernleistungen rund um Kassel wäre Business der naheliegende Zuschnitt, mit Platz für Ratgeberseiten. Eine Nennung in ChatGPT verspricht auch website4geo nicht: Zugesagt ist die Website im vereinbarten Umfang, gebaut so, dass Menschen und Maschinen sie lesen können. Referenzen aus Handwerk, Gastronomie und Handel sowie alle Paketdetails zeigt website4geo.de auf einer Seite.

Eine lesbare Website ist die eine Hälfte. Die andere sind Erwähnungen durch Dritte, die bestätigen, was die Website sagt. Wer beides zusammendenkt, gibt Antwortsystemen das, was sie für eine belegte Antwort brauchen: klare Fakten an der Quelle und mehrere Stimmen, die sie stützen.