Crawler-Identität

SergeBot

SergeBot ist der Crawler hinter Serges Produkt-Auffindbarkeitsscanner. Er prüft, ob Nutzer hinter KI-Agenten Produkte auf Ihrer Domain finden können, indem er maschinenlesbare Metadaten und die Site-Struktur inspiziert. Jede Anfrage identifiziert sich im User-Agent-String. Jede Anfrage entspricht einer realen Aktion.

User-Agent-String

Jede Anfrage von SergeBot identifiziert sich mit genau diesem User-Agent:

SergeBot/1.0 (+https://serge.ai/bot; product-findability-scanner)

Was SergeBot tut

SergeBot läuft nur, wenn ein Nutzer einen Scan auslöst. Er ist kein autonomer Crawler und durchsucht Ihre Site nicht. Jeder Scan stellt eine kleine, feste Menge an Anfragen an bekannte Pfade:

Ressource	Zweck
`/llms.txt`	LLM-Produktbeschreibung
`/llms-full.txt`	Erweiterte LLM-Dokumentation
`/openapi.json`	OpenAPI-Spezifikation
`/.well-known/agent.json`	A2A-Agent-Karte
`/.well-known/agents.json`	Agent-Verzeichnis-Karte
`/robots.txt`	Crawler-Berechtigungen
`/sitemap.xml`	Site-Struktur
`/`	Startseite (strukturierte Daten, JSON-LD)
`/docs, /api, /developers`	Entwicklerhub-Erkennung
`/pricing`	Preisseite-Erkennung

SergeBot fragt auch externe Verzeichnisse ab (MCP Registry, PulseMCP, npm) auf SDK- und MCP-Server-Präsenz. Diese Anfragen berühren Ihre Infrastruktur nicht.

Was SergeBot nicht tut

Ihren Seiteninhalt scrapen, indexieren oder speichern

Links folgen oder über die feste Ressourcenmenge hinaus crawlen

KI-Modelle mit Ihren Inhalten trainieren

Auf authentifizierte oder private Seiten zugreifen

CAPTCHAs oder Bot-Schutzmaßnahmen umgehen

Seine Identität fälschen oder User-Agent-Strings rotieren

Rate-Limits

Limit	Wert
Max. Anfragen pro Domain pro Scan	`~20`
Max. parallele Anfragen pro Domain	`6`
Timeout pro Anfrage	`8 seconds`
Scan-Dauer	`< 30 seconds`

SergeBot respektiert robots.txt-Direktiven und Crawl-delay-Werte.

Zugriff steuern

SergeBot zulassen

User-agent: SergeBot
Allow: /

SergeBot blockieren

User-agent: SergeBot
Disallow: /

Wenn Ihre Site SergeBot blockiert, werden Scan-Ergebnisse als unschlüssig statt als fehlgeschlagen angezeigt. Den Scanner zu blockieren bedeutet auch, dass KI-Agenten, die dieselben Pfade nutzen, wahrscheinlich denselben Einschränkungen unterliegen.

Datenverarbeitung

GespeichertScan-Scores, Prüfergebnisse (pass/fail/warn) und Behebungsvorschläge

Nicht gespeichertRoher Seiteninhalt, HTML-Quelltext oder Daten jenseits dessen, was die Prüfungen benötigen

AufbewahrungScan-Ergebnisse werden für Benchmark-Berechnungen aufbewahrt. Keine PII wird von gescannten Domains erfasst.

Kontakt

Fragen zu SergeBot, False Positives oder Zugriffsproblemen:

E-Mailbot@serge.ai

Docsserge.ai/docs