SeoKo

Ihre SEO Agentur in Koblenz

Jetzt persönliches und erfolgsbasierendes Angebot anfordern!

Jetzt Angebot einholen

erstellt am: 27.02.2013 | von: Markus Unkhoff | Kategorie(n): Lexikon


Robots.txt

Die robots.txt ist eine Datei die regelt, was oder was nicht durch die Spider der Suchmaschinen erfasst werden soll.

Die robots.txt Datei

Die robots.txt liegt im root Verzeichnis der Webseite. Dabei besteht jeder Eintrag aus zwei Zeilen: Zuerst der User-Agent (User-agent: XY) und als zweites das Verzeichnis, was ausgeschlossen werden soll (Disallow: /Geheim).

Beispiel einer robots.txt

User-agent: *
Disallow: /Stats/
Disallow: /Admin/

#
#Despictable and evil robots to keep out :)

User-agent: XYZ
Disallow: /

Die robots.txt ist eine sehr wichtige und interessante Datei für die professionelle Suchmaschinenoptimierung. Es können Dateien oder ganze Kategorien am Indexieren gehindert werden und es wird gesteurt, was schlußendlich von Google und Co. angezeigt werden soll. Weiterhin können ganze User-Agents, die unerwünscht sind, ausgeschlossen werden.

Share Button

Wie hat Ihnen der Artikel gefallen?

1 Star2 Stars3 Stars4 Stars5 Stars (Keine Bewertungen)

Zurück zum SEO Blog


Kommentar schreiben

Kommentar