Ende Juli hat Google sicher vielen Website-Betreibern einen kleinen Schrecken eingejagt.
Viele Nutzer der Google Search Console (ehemals Google Webmaster Tools) bekamen eine Mail, in der auf Probleme bei der Erfassung durch den Googlebot hingewiesen wurde.
Was es damit auf sich hat und wie man diese Probleme behebt, erläutere ich im Folgenden.
CSS, JS und der Googlebot
Bereits Ende 2014 hat Google darauf hingewiesen, dass die Suchmaschine in Zukunft auch CSS- und JavaScript-Dateien auswerten möchte.
Der Grund dafür liegt in der Analyse der Websites. Der Googlebot analysiert mittlerweile nicht nur trockenen Code, sondern wie die Website tatsächlich aussieht. Das ist auch und gerade für die mobile Ansicht interessant.
Deshalb wurde darauf hingewiesen, dass man die JavaScript- und CSS-Dateien nicht mehr durch die robots.txt Datei für den Googlebot sperren soll.
WordPress-Verzeichnisse sperren?
Doch warum sollte man diese überhaupt sperren. Der Grund liegt in der Verbesserung der Sicherheit einer WordPress-Website (und auch jeder anderen Website). Die Sperrung von CSS- und JS-Dateien war dabei eher ein Kollateralschaden.
Lange Zeit wurde empfohlen bestimmte Unterverzeichnisse in WordPress nicht zur Indexierung freizugeben. Das macht man vor allem deshalb, um es Angreifern z.B. nicht so einfach zu machen herauszufinden, welche Plugins man einsetzt.
Googlebot-Probleme
Wenn man aber z.B. die Unterverzeichnisse „wp-includes“ und „wp-content/plugins“ für den Googlebot sperrt, kann diese auch wichtige CSS- und JS-Dateien nicht auslesen.



Das führt dazu, dass die vom Googlebot selbst gerenderte Website anders aussieht, als die Website, die die Leser zu sehen bekommen. Durchaus verständlich, dass Google dies etwas kritisch sieht. So kann Google z.B. nicht die Theme-CSS und JavaScript-Dateien auslesen und nicht prüfen, wie gut die mobile Ansicht für die Nutzer ist.
Nun hat Google also Mails an alle Website-Betreiber gesendet, die dem Googlebot wichtige Dateien vorenthalten. Und wenn man dieses Problem nicht behebt, kann es durchaus Nachteile in den Google Suchergebnissen geben.
Lösung
Eine Lösung wäre es die blockierten Unterverzeichnisse wieder aus der robots.txt Datei zu entfernen. Das ist aber nicht unbedingt die beste Lösung.
Stattdessen kann man diese weiterhin blockieren. Z.B.
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
...
Aber zusätzlich sollte man dem Googlebot die Erlaubnis für den Zugriff die CSS- und JS-Dateien geben:
#Googlebot
User-agent: Googlebot
Allow: *.css
Allow: *.js
Weitere Infos dazu findet ihr unter anderem auf marcel-schrepel.biz.
Testen
Um zu testen, ob der Googlebot alle JS- und CSS-dateien korrekt erfassen kann, solltet ihr in der Google Search Console auf „Crawling > Abruf wie durch Google“ gehen.
Dort klickt ihr auf „ABRUFEN UND RENDERN“ (einmal für ‚Desktop‘ und einmal für ‚Mobile: Smartphone‘). Dann wird euch angezeigt, ob bestimmte Dateien für den Googlebot bockiert sind. Das sollte nicht der Fall sein und dann klickt ihr auf „An den Index senden“, wobei der Googlebot auch von selbst merken sollte, dass die Probleme behoben wurden.
Danke für den Hinweis, ich bin noch gar nicht auf die Idee gekommen die Verzeichnisse zu blocken. Mache ich gleich, so wie hier beschrieben.
Schöne Grüße,
Marc
Kann auch abgekürzt werden:
disallow: /wp-content/
allow: /wp-content/themes/*.css
Ansonsten ist es aber im Regelfall auch kein Beinbruch, wenn der Themes-Ordner komplett begutachtet werden darf. Hatte auch mal drüber gebloggt (http://fastwp.de/3601). Einfach die Ordner komplett blocken und themes und uploads erlauben.
Danke für den Tipp ;)
Vielen Dank für den Tipp. Ich bin schon seit einiger Zeit auf der Suche nach einer anständigen Lösung. Denn obwohl ich meine, alles notwendige freigeschaltet zu haben, will die Meldung auf der Webmaster Tools Seite einfach nicht verschwinden. Gleichzeitig sagt mit der Test, dass eigentlich alles freigegeben ist. Vielleicht braucht Google aber auch mal wieder, bis alles gecrawlt ist.
Mir war das garnicht so bewusst ich hatte keine Benachrichtigung bekommen. Ich glaube ich muss das mal etwas genauer untersuchen, um je nach dem Gegenmaßnahmen einzusetzen. Vielen Dank für den Beitrag! :)
Wenn du keine Benachrichtung bekommen hast und auch in deinem Google Webmaster Account (mittlerweile Search Console) nichts steht, hat Google keine Probleme diesbezüglich festgestellt.
Danke für den Tipp.
Das Sperren von ganzen Unterverzeichnissen aus Sicherheitsgründen war mir neu.
Ich werde die Tipps direkt mal so bei meinen Seiten umsetzen und ausprobieren.
Da 2 meiner Seiten Anfang des Jahres gehackt wurden, macht es das ganze dann hoffentlich nochmal sicherer.
Hallo Peer,
ich dachte, die Webmastertools wurden nur umbenannt in Search Console und alle Websites übernommen. Bei mir ist nach dem Login keine Website mehr gelistet. Alle, die bei den Webmastertools schon angemeldet und bestätigt worden waren, sind weg. Muss man denn alle neu hinzufügen und wieder bestätigen, den Google Code neu auf den Webspace hochladen?? Ich konnte mich erst heute einloggen und bin irritiert. Im Netz finde ich keinen Hinweis dazu. Wie war das bei Dir?
Danke für eine Info dazu.
Bill
Bei mir wurden alle eingetragenen Websites übernommen. Hast du dich mit den selben Zugangsdaten angemeldet?
Hallo Peer,
Auch von mir ein Dankeschön für diesen informativen Artikel. Hab zwar keine Meldung von Google bekommen, werde es aber trotzdem anwenden.
Vielen Danke und Liebe Grüße
Marc
Wirklich ein sehr toller Artikel, der mir stark weitergeholfen hat. Ich freue mich immer wieder über diesen guten Blog!
Danke für diesen hilfreichen Artikel, der sogar mir als Technik Idiot geholfen hat. Dafür bin ich sehr dankbar!