GlossarTechnik
Das X-Robots-Tag ist eine Steueranweisung im HTTP-Header, mit der sich das Verhalten von Suchmaschinen für einzelne Dateien festlegen lässt – auch für Nicht-HTML-Inhalte wie PDFs.
Das X-Robots-Tag ist eine Anweisung, die eine Website im HTTP-Header einer Datei mitschickt. Damit lässt sich Suchmaschinen mitteilen, wie sie mit einer bestimmten Datei umgehen sollen – etwa ob sie sie in den Index aufnehmen oder den Links auf der Seite folgen sollen.
Ein Noindex über ein Meta-Tag funktioniert nur in HTML-Seiten. Das X-Robots-Tag wirkt dagegen auch bei Dateien ohne HTML, etwa PDFs, Bildern oder anderen Dokumenten. So lassen sich auch solche Inhalte gezielt aus den Suchergebnissen heraushalten.
Wie beim Indexieren muss die Suchmaschine die Datei abrufen dürfen, um die Anweisung zu lesen. Eine gleichzeitige Sperrung in der robots.txt würde verhindern, dass das X-Robots-Tag überhaupt gelesen wird.