Robots.txt-Generator
Erzeugen Sie schnell grundlegende Regeln für Suchmaschinen-Crawler.
Ihr Ergebnis erscheint hier…
Wie benutzt man dieses Tool?
Geben Sie die angeforderten Informationen ein oder fügen Sie sie ein.
Passen Sie bei Bedarf die verfügbaren Optionen an.
Starten Sie das Tool und prüfen, kopieren oder laden Sie anschließend das Ergebnis herunter.
Verwenden Sie zum Beispiel zunächst kleine Testdaten, um das Ergebnis zu überprüfen.
Robots.txt-Generator
Geben Sie eine Domain und bei Bedarf einen Pfad ein, den Crawler nicht aufrufen sollen. Das Tool erzeugt eine einfache robots.txt-Struktur zur Prüfung vor der Veröffentlichung.