CSS, JS und der Googlebot – Wie man die Probleme behebt

Ende Juli hat Google sicher vielen Website-Betreibern einen kleinen Schrecken eingejagt.

Viele Nutzer der Google Search Console (ehemals Google Webmaster Tools) bekamen eine Mail, in der auf Probleme bei der Erfassung durch den Googlebot hingewiesen wurde.

Was es damit auf sich hat und wie man diese Probleme behebt, erläutere ich im Folgenden.

CSS, JS und der Googlebot

Werbung

Bereits Ende 2014 hat Google darauf hingewiesen, dass die Suchmaschine in Zukunft auch CSS- und JavaScript-Dateien auswerten möchte.

Der Grund dafür liegt in der Analyse der Websites. Der Googlebot analysiert mittlerweile nicht nur trockenen Code, sondern wie die Website tatsächlich aussieht. Das ist auch und gerade für die mobile Ansicht interessant.

Deshalb wurde darauf hingewiesen, dass man die JavaScript- und CSS-Dateien nicht mehr durch die robots.txt Datei für den Googlebot sperren soll.

WordPress-Verzeichnisse sperren?

Doch warum sollte man diese überhaupt sperren. Der Grund liegt in der Verbesserung der Sicherheit einer WordPress-Website (und auch jeder anderen Website). Die Sperrung von CSS- und JS-Dateien war dabei eher ein Kollateralschaden.

Lange Zeit wurde empfohlen bestimmte Unterverzeichnisse in WordPress nicht zur Indexierung freizugeben. Das macht man vor allem deshalb, um es Angreifern z.B. nicht so einfach zu machen herauszufinden, welche Plugins man einsetzt.

Googlebot-Probleme

Wenn man aber z.B. die Unterverzeichnisse „wp-includes“ und „wp-content/plugins“ für den Googlebot sperrt, kann diese auch wichtige CSS- und JS-Dateien nicht auslesen.

Meine Empfehlungen für BloggerWERBUNG

Mit dem eigenen eBook Geld verdienen Vorstellung von 30 lukrativen Einnahmequellen für Blogs und praktische Tipps für angehende Blogger. www.happyvisions.de

Erfolgsversprechen: 100 % mehr Besucher für Ihre Website! SEO Coach und Ex-Google Mitarbeiter Jonas Weber bietet über 10 Jahre SEO Know-how. seo-kurs.de

So verdienst du mit YouTube Geld Diese Anleitung zeigt, wie du dir mit YouTube ein Nebeneinkommen aufbauen kannst, auch wenn du bisher noch kein Video hast. www.cashtubemasterclass.de

Das führt dazu, dass die vom Googlebot selbst gerenderte Website anders aussieht, als die Website, die die Leser zu sehen bekommen. Durchaus verständlich, dass Google dies etwas kritisch sieht. So kann Google z.B. nicht die Theme-CSS und JavaScript-Dateien auslesen und nicht prüfen, wie gut die mobile Ansicht für die Nutzer ist.

Nun hat Google also Mails an alle Website-Betreiber gesendet, die dem Googlebot wichtige Dateien vorenthalten. Und wenn man dieses Problem nicht behebt, kann es durchaus Nachteile in den Google Suchergebnissen geben.

Lösung

Eine Lösung wäre es die blockierten Unterverzeichnisse wieder aus der robots.txt Datei zu entfernen. Das ist aber nicht unbedingt die beste Lösung.

Stattdessen kann man diese weiterhin blockieren. Z.B.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
...

Aber zusätzlich sollte man dem Googlebot die Erlaubnis für den Zugriff die CSS- und JS-Dateien geben:

#Googlebot
User-agent: Googlebot
Allow: *.css
Allow: *.js 

Weitere Infos dazu findet ihr unter anderem auf marcel-schrepel.biz.

Testen

Um zu testen, ob der Googlebot alle JS- und CSS-dateien korrekt erfassen kann, solltet ihr in der Google Search Console auf „Crawling > Abruf wie durch Google“ gehen.

Dort klickt ihr auf „ABRUFEN UND RENDERN“ (einmal für ‚Desktop‘ und einmal für ‚Mobile: Smartphone‘). Dann wird euch angezeigt, ob bestimmte Dateien für den Googlebot bockiert sind. Das sollte nicht der Fall sein und dann klickt ihr auf „An den Index senden“, wobei der Googlebot auch von selbst merken sollte, dass die Probleme behoben wurden.

Werbung