Suchmaschinen Filter

Suchmaschinen Filterketten Systeme

Suchmaschinen versuchen Anhand von Filtern, Spam Methoden und fehlerhafte Websites zu erkennen und betreffende Websites, schon vor dem eigentlichen indexieren durch einen Suchmaschinen Crawler, von der Aufnahme in den Datenbestand auszuschliessen. Hierbei wird jede Website die ein Suchmaschinen-Robot besucht auf verschiedene Filteregeln hin überprüft. Erst wenn die Website alle Kriterien der Filterregeln erfüllt hat wird Sie zur Indexierung und damit zur Aufnahme in den Datenbestand einer Suchmaschine freigegeben.

Wie Suchmaschinen mit Websites verfahren, welche die verschiedenen Filterkriterien nicht erfüllen ist je nach Filtertyp und Suchmaschine unterschiedlich. Mindestens jedoch werden alle Websites die die Filteregeln nicht einwandfrei erfüllen in einer Datei gespeichert und zu einer seperaten Behandlung durch die Suchmaschinen Crawler verdonnert.

Die angewendeten Filter der einzelnen Suchmaschinen sind unterschiedlich und nicht von Dauer. Der ständige Wandel des Internets und immer neuere Spam Methoden zwingen Suchmaschinen zur häufigen Aktualisierung der Filter-Regeln.


Zu den einfachsten Filtern gehören die folgenden:

Suchmaschinen Filter - URL:

Hier wird die URL einer Website durch die Suchmaschine auf Exitstenz überprüft. Sendet der Server der unter einer URL erreichbar sein sollte bei einer Anfrage des Suchmaschinen Crawler eine Fehlermeldung (404) zurück ist die URL nicht existent. Zu diesem Filter gehört auch die Überprüfung ob die Website nicht bereits in einer Datei von gesperrten URLs vorhanden ist, sowie die Untersuchung des URL Strings auf unzulässige Sonderzeichen bzw. auf Sonderzeichen die dynamische Dokumente zu erkennen geben ( z.B. ?, &,%). Des weiteren wird überprüft wieviele URLs auf die gleiche Domain zeigen/weiterleiten. Sind es zuviele (die obergrenze ist wie gesagt von Suchmaschinen zu Suchmaschine verschieden) gilt die Filterregel als nicht erfüllt.

Suchmaschinen Filter - Dokumententyp:

Dieser Filter erkennt den Dateityp des zu indexierenden Dokuments ( z.B. .html ode .pdf) und kann so jene Dokumente ausschliessen die nocht für eine Aufnahme in den Index der Suchmaschinen freigegeben sind.

Suchmaschinen Filter - Weiterleitung:

Er versucht die weiterleitung durch eine HTTP-Anweisung, Javascript oder Servereinstellung zu erkennen. Meist wird hierzu eine gewisse Zeitvorgabe benutzt. Sobald ein Dokument aufgerufen ist darf innerhalb einer bestimmten Zeit keine weiterleitung auf ein neues Dokument erfolgen, sonst wird das betreffende Dokument nicht für die Indexaufnahme freigegeben.





weiterführende Links

Stichwortverzeichnis
Inhaltsverzeichnis des Tutorials




Zur Startseite: Website Optimierung für Suchmaschinen