Einleitung

Webseiten nur für Menschen? Das war gestern! Heute müssen deine Inhalte auch für KI-Agenten, KI-Crawler und KI-Assistenten verständlich sein. Die digitale Landschaft verändert sich rasant. KI-Systeme werden zu wichtigen Gatekeepern für Informationen. Sie beantworten Fragen direkt, fassen Inhalte zusammen und beeinflussen, was Menschen online finden. Wir sprechen hier nicht mehr nur von klassischem SEO. Es geht um AEO – Answer Engine Optimization. Eine neue Ära des Webs hat begonnen.

Die Website-Basics für die KI-Fitness

KI-Systeme werden immer wichtiger. Eine für KI optimierte Website hat bessere Chancen: Verstanden zu werden, sichtbar zu sein und als glaubwürdig zu gelten. Struktur und Verifizierbarkeit sind Signale, die KIs lieben.

Content-Qualität & Informationsarchitektur

KIs lieben klare, tiefgehende und überprüfbare Inhalte. Was für Menschen gut ist, hilft auch Maschinen.

• Verwende klare, konsistente Terminologie auf deiner gesamten Website
• Biete tiefe Inhalte zu Kernthemen
• Mache Aussagen überprüfbar durch Quellen, Daten oder Fallstudien
• Halte Inhalte aktuell – z.B. mit dateModified im Schema.org-Markup
• Schaffe eine klare Seitenstruktur und sinnvolle interne Verlinkung
• Achte auf Lesbarkeit durch visuelle Auflockerung

Semantisches HTML

Maschinen lesen semantisch. Je strukturierter dein HTML, desto leichter verstehen KIs und Screenreader, worum es geht.

• Nutze sinnvolle Elemente wie header, main, article, nav, footer
• Gliedere Inhalte logisch mit h1 bis h6 – keine Sprünge in der Hierarchie
• Reduziere unnötige div- und span-Tags
• Verwende keine semantischen Tags für rein visuelle Effekte
• Validiere dein HTML mit dem W3C Validator

Strukturierte Daten mit Schema.org

Schema.org ist ein standardisiertes Vokabular, mit dem du deinen Inhalten explizit Bedeutung gibst. Für Maschinen verständlich, für SEO wirksam.

• Verwende JSON-LD – das empfohlene Format für strukturiertes Markup
• Wähle die spezifischsten Typen
• Nutze Tools wie den Structured Data Markup Helper oder Yoast SEO
• Validiere dein Markup mit dem Google Rich Results Test
• Gib möglichst viele Details an
• Achte auf Konsistenz
• Füge das Script im head oder ganz unten im body deiner HTML-Seite ein

Technische Performance

Schnelle, zugängliche, technisch saubere Seiten sind ein Vertrauenssignal – für Nutzer wie für KIs.

• Speed & Mobile: Ladezeit < 2 Sekunden, mobil optimiert
• Barrierefreiheit: Nutze alt-Texte, logische Headings, ARIA-Labels
• Clean Code: Vermeide übermäßiges JavaScript
• Meta-Tags & OpenGraph: Damit KIs Previews und Kontext korrekt erkennen
• APIs & Datenzugang: Offen, dokumentiert, idealerweise via OpenAPI + RSS-Feeds
• robots.txt: Aktualisieren & gezielt konfigurieren

Zugriffskontrolle mit robots.txt

Mit einer robots.txt-Datei steuerst du, welche Bots was auf deiner Website lesen dürfen – oder eben nicht.

• Platziere die Datei im Root deiner Domain
• Verwende gezielt die Direktiven User-agent:, Disallow: und Allow:
• Blockiere die Bots, die du nicht möchtest – oder erlaube bewusst einzelne
• Halte dich über neue KI-Crawler auf dem Laufenden

• Alle Bots blockieren: User-agent: * Disallow: /
• Nur GPTBot blockieren: User-agent: GPTBot Disallow: /
• Bestimmte Verzeichnisse ausschließen: Disallow: /interner-bereich/

• GPTBot
• ChatGPT-User
• ClaudeBot
• Google-Extended
• PerplexityBot
• Applebot-Extended
• cohere-ai
• Bytespider
• CCBot
• Amazonbot

Wenn robots.txt ignoriert wird

Leider basiert robots.txt auf Freiwilligkeit. Nicht alle KI-Crawler halten sich daran – oder umgehen sie über Drittsysteme.

• IP-Blocking / Firewall-Regeln: Blockiere bekannte Bot-IP-Ranges direkt
• User-Agent-Blocking: Über .htaccess (Apache) oder nginx.conf (Nginx)
• Rate Limiting: Begrenzt Anfragen pro IP, schützt deine Serverressourcen
• CAPTCHAs & Honeypots: Erkennen und blockieren unerwünschte Bots

llms.txt: Der Spickzettel für die KI

llms.txt ist ein einfacher, aber mächtiger Standard. Eine Markdown-Datei im Root deiner Website, die KI-Agenten hilft, deine Inhalte besser zu verstehen.

• KI-Modelle haben oft Probleme mit normalen Webseiten
• Sie kämpfen mit komplexem HTML und JavaScript
• Sie werden von Werbung und Navigation abgelenkt
• Sie haben begrenzte Kontextfenster

• Fokus auf die wichtigsten Inhalte
• Absolute, funktionierende URLs verwenden
• Datei aktuell halten
• Öffentlichen Zugriff gewährleisten (keine Authentifizierung)

ai.txt: Granulare Kontrolle zur Nutzung

Parallel zu llms.txt ist mit ai.txt ein neuer Ansatz entstanden – mit völlig anderem Fokus: Nutzungskontrolle statt Crawling-Steuerung.

Zweck:

• Keine Nutzung für KI-Training
• Nur kurze Snippets erlaubt
• Attribution verpflichtend

Ansätze:

Spawning.ai-Ansatz

• Fokus auf Medienformate (Text, Bilder, Audio, Video, Code)
• Einfache Allow/Block-Schalter
• Datei im Root oder .well-known/-Verzeichnis
• Generator-Tool und API verfügbar

Guardian News & Media-Ansatz

• Ähnlich wie robots.txt mit User-agent-spezifischen Regeln
• Zusätzliche Direktiven wie Max snippet length, Attribution, Use for training
• Differenziertere Steuerung auf Pfad-Ebene

TDMRep: Dein digitales Hausrecht für KI-Training

TDMRep steht für Text and Data Mining Reservation Protocol. Es ist die technische Antwort auf Artikel 4 der EU-Urheberrechtsrichtlinie (DSM).

• tdm-reservation: 1 (oder true) heißt: Finger weg, meine Rechte sind vorbehalten!
• tdm-policy: URL zeigt auf eine Seite mit mehr Infos zu Rechteinhaber und Regeln

• /.well-known/tdmrep.json-Datei
• HTTP-Header in der Server-Antwort
• HTML-Metatags im head
• Sogar in EPUBs und PDFs einbettbar

• Für Website-Betreiber im EU-Raum ist TDMRep potenziell wichtiger als ai.txt
• Es gibt WordPress-Plugins für die einfache Einrichtung
• Europäische Verlage haben es bereits implementiert

AGB als rechtlicher Hebel

Was technisch nicht greift, kann rechtlich adressiert werden – über deine AGB/Nutzungsbedingungen.

Best Practices:

• Ergänze deine AGB um klare Klauseln gegen KI-Scraping
• Die Durchsetzbarkeit hängt davon ab, wie der Nutzer zugestimmt hat

Zustimmungsarten:

• Clickwrap: Aktive Zustimmung per Checkbox oder Button. Rechtlich stark!
• Browsewrap: Nur Link im Footer. Rechtlich wackelig wie ein Pudding.
• Sign-in Wrap: Zustimmung durch Login. Kann funktionieren, wenn klar kommuniziert.

Beispielklausel:

Die Nutzung automatisierter Systeme (Robots, Spider, Crawler, Scraper) zum Extrahieren von Daten für kommerzielle Zwecke oder zum Trainieren von KI-Systemen ist ohne unsere schriftliche Genehmigung strengstens untersagt.

Model Context Protocol (MCP)

Das Model Context Protokoll (MCP) ist ein offener Standard von Anthropic. Es standardisiert, wie KI-Systeme mit Tools, Daten und APIs interagieren.

description: Stell es dir vor wie einen Adapter – das USB-C für KI. Es macht Schluss mit Einzellösungen und ermöglicht eine modulare Integration von KI-Tools.

• Unternehmensintegration: Anbindung von KI-Assistenten an CRM-Systeme, Datenbanken, Kalender
• Entwicklerproduktivität: Code-Assistenten in IDEs mit Zugriff auf GitHub, API-Dokumentationen
• E-Commerce: Agenten, die Preise abrufen, Lagerbestände prüfen, Bestellungen aufgeben
• Workflow-Automatisierung: Berichte erstellen, Meetings zusammenfassen, Daten analysieren

• Verwende die offiziellen SDKs: TypeScript, Python, C#
• Studiere Beispiele: GitHub, Community-Beispiele, Tutorials
• Richte die Konfiguration ein: z.B. Claude Desktop nutzt eine JSON-Config-Datei
• Denk an Sicherheit: Nutzerfreigaben, Zugriffskontrolle, Rate-Limits

A2A-Protokolle: Kommunikation zwischen KI-Agenten

Während MCP die Verbindung von KI-Systemen zu Tools standardisiert, adressieren Agent-to-Agent (A2A)-Protokolle etwas anderes: die Kommunikation zwischen autonomen KI-Agenten.

description: A2A bricht die Silos zwischen einzelnen Agenten auf. Es ermöglicht komplexe Workflows, bei denen mehrere Agenten zusammenarbeiten.

• Agent Card: Eine Metadaten-Datei (/.well-known/agent.json), die Fähigkeiten, Endpunkt und Authentifizierung beschreibt
• Task: Die grundlegende Arbeitseinheit mit definierten Zuständen (submitted, working, completed, failed)
• Message/Part: Strukturierte Nachrichten aus einzelnen Parts – Text, Dateien oder strukturierte Daten
• Artifact: Die Ergebnisse oder Produkte eines Tasks

Fazit: Mache deine Webseite fit für KI

Die KI-Optimierung deiner Webseite ist kein Sprint, sondern ein Marathon. Aber einer, der sich lohnt!

• Web-Basics bleiben wichtig: Semantik, Performance und Struktur sind das Fundament
• KI-Systeme sind aktive Nutzer: Ignoriere sie nicht – sie werden immer wichtiger
• Gib KIs Kontext: Mit llms.txt hilfst du KIs, deine Inhalte besser zu verstehen
• Lege Nutzungsrechte fest: Mit ai.txt und TDMRep bestimmst du, was KIs mit deinen Inhalten machen dürfen
• Denk an Interaktion: MCP und A2A ermöglichen komplexe Interaktionen zwischen KIs und deinen Tools

• Bessere Sichtbarkeit: Deine Inhalte tauchen in KI-generierten Antworten auf
• Mehr Kontrolle: Du bestimmst, wie KIs deine Inhalte nutzen dürfen
• Zukunftssicherheit: Du bist bereit für die nächste Evolution des Webs
• Bessere Nutzererfahrung: Was für KIs gut ist, hilft oft auch Menschen