Crawlability von Webseiten – SEO-Grundlagen

Die Crawlability einer Website bezeichnet die Benutzerfreundlichkeit für die Suchmaschinen. Wie einfach oder schwer fällt es dem Crawler einer Suchmaschine, die Seiteninhalte Ihrer Website zu erfassen? Es gibt ein paar einfache Regeln beziehungsweise Vorkehrungen, mit denen sich die Crawlability einer Website steigern lässt.

Wie schnell ist Ihr Server?

Das ist der wahrscheinlich wichtigste Punkt, wenn es um die Crawlability beziehungsweise um deren Verbesserung geht. Eine Seite die schnell geladen wird, freut Mensch und Maschine. Das häufigste Hindernis in diesem Bereich ist der Rechner des Users und dessen Internetverbindung. Das haben Sie aber nicht in der Hand. Was Sie optimieren können ist, wie schnell Ihr Server auf Anfragen (sogenannte requests) reagiert oder besser gesagt reagieren kann.

Am besten Sie buchen einen eigenen Server im Rechenzentrum. Hier können Sie davon ausgehen, dass die Bandbreite der Internetverbindung nicht so sehr für den Download, sondern hauptsächlich für den Upload zur Verfügung steht und auch insgesamt groß genug ist, um nicht nur Ihre, sondern auch viele andere Websites adäquat auszuliefern. Außerdem stehen in einem Rechenzentrum meistens Server der neuesten Generation, was sich auch auf die Performance beim Seitenaufbau auswirkt. Eine Seite die schnell geladen wird, kann der Crawler auch schnell analysieren.

Wie ist Ihre Seitenstruktur?

Auch bei der Seitenstruktur können Probleme auftreten. Das beginnt bereits mit dem URL. Viele Webseiten werden heute dynamisch generiert. Das geschieht durch die Übergabe von Parametern in der URL. Weder Mensch noch Suchmaschine mögen das besonders. Daher sollten Sie für Ihre öffentlichen Seiten ein sogenanntes URL-Rewriting durchführen. Kurz gesagt geben Sie Ihren Seiten damit sprechende URLs. Aus bold-ventures.de?param1=xyz wird zum Beispiel bold-ventures.de.

Weiter geht es mit der eigentlichen Seitenstruktur. Wie erfolgt der Seitenaufbau? Ein Header, dann das Menü, dann Werbung? Noch mehr Werbung? Ein paar Bilder und Grafiken? Hinweise auf Partner und andere Organisationen? Eine interne Suchfunktion? Wann kommt der wirklich relevante Content, der indexiert werden soll?

Welche Technik verwenden Sie für den Aufbau Ihrer Seite?

Ajax, HTML, JavaScript, Frames? Bei HTML ist alles in Ordnung. Mit Ajax und JavaScript haben viele Suchmaschinen Mühe. Kleine Scripte können sie noch stemmen, aber wenn das ausufert, treten Probleme auf. Daher gehören Scripte eigentlich in eine eigene Datei, aus der sie bei Bedarf geladen werden.

Noch größere Probleme gibt es, wenn Frames verwendet werden. Frames sind eigentlich eine hübsche Methode, um eine Webseite zu strukturieren. Header, Menü und Contentbereich – alles wunderbar. Leider kommen die Suchmaschinen aber nicht an den Contentbereich heran. Das heißt, wenn Sie möchten, dass die Frames indexiert werden, müssen Sie im Noframe-Bereich ausführlich und exakt beschreiben, was sich auf der Seite abspielt. Das erschwert wiederum die Crawlability Ihrer Seite und bedeutet doppelte Arbeit. Daher sollten sie Frame-Seiten vermeiden beziehungsweise auf andere Techniken umstellen.

Inhalt einer Seite

Wenn es um den Inhalt einer Seite geht, muss man bei der Crawlability unterscheiden. Auf der einen Seite steht der Quellcode, auf der anderen Seite die Inhalte, die Sie zeigen möchten. Beide sind wichtig. Da ist zunächst der Quellcode. Abgesehen von den Scripten, die ich weiter oben schon kurz angesprochen habe, kommt es auch darauf an, dass der Quellcode Ihrer Seite fehlerfrei ist. Das sorgt dafür, dass sie schnell aufgebaut wird und dass der Crawler nicht an einer Stelle hängen bleibt. Das betrifft zum Beispiel auch kaputte Links. Die Crawler folgen den Links einer Webseite. Wenn diese ins digitale Nirwana zeigen, spricht das nicht für die Qualität Ihrer Webseiten und verlangsamt die Crawler.

Kommen wir zum Content, also dem eigentlichen Inhalt. Auch können ein paar Fehler entstehen, die jedoch leicht zu vermeiden sind. Da wäre zum einen der Einsatz von Flash. Flash mögen die Suchmaschinen nicht, weil eine Seite dadurch häufig langsam wird. Außerdem können sie es nicht analysieren. Auch große und übergroße Grafiken sind auf einer Internetseite fehl am Platz. Das einzige, was Crawler wirklich gut finden, ist Text. Denn den können Suchmaschinen im Gegensatz zu fast allem anderen analysieren.

Mit Hilfe einer Sitemap, der robots.txt und der XML-Sitemap speziell für Google, erleichtern Sie den Suchmaschinen die Indexierung Ihrer Website ganz beträchtlich. Damit können Sie den Suchmaschinen mitteilen, welche Ihrer Seiten Sie selbst für besonders relevant halten und welche Seiten von den Suchmaschinen nicht indexiert werden sollen. Nutzen Sie das, um die Crawlability Ihrer Site zu steigern.18