Google verändert die Indexierung von Inhalten mit JavaScript!

Wer sich mit JavaScript-SEO beschäftigt, stößt früher oder später auf die Namen der beiden Googler John Müller und Martin Splitt, aber natürlich auch auf den polnischen SEO Bartosz Goralewicz. Google kommuniziert seit einigen Monaten die Veränderungen in Sachen JS-Indexing sehr offen und in hoher Frequenz, Martin hat auf YouTube eine ganze Reihe von Videos dazu veröffentlicht. Bartosz wiederum hat sich mit seinen fantastischen Vorträgen über SEO für JavaScript-Frameworks einen Namen gemacht. Allerdings hat sich der neue GoogleBot-Evergreen offenbar schneller weiterentwickelt, als die beiden Googler es weitergeben können, und so wurde Bartosz letzte Woche zu Google nach Zürich eingeladen, um mit John Müller und Martin Splitt über JavaScript-SEO zu diskutieren.

Dabei wurden Details bekannt gegeben, die ein ganz neues Verständnis dafür vermitteln, wie Google Websites rendert und indiziert!

Two-Waves-Indexing wird immer unwichtiger!

Bartosz fragte: Was ist der Faktor bzw. die Metrik, die entscheidet: „Okay, diese Website wird in zwei Wellen indexiert und diese nicht“? Man sieht das ja ziemlich oft, wenn JavaScript-Websites nicht in zwei Durchgängen indexiert werden. Vielleicht gibt es auch gar nicht genug JavaScript oder so.

Martin Splitt antwortete: Heutzutage spielen die zwei Indexierungswellen eine immer weniger wichtige Rolle. Aber im Grunde sieht man schon recht viele Websites ohne JavaScript, die dennoch sozusagen in zwei Durchgängen indexiert werden.

Was sind die zwei Indexierungswellen?

Falls Du mit diesem Begriff noch nichts anfangen kannst: Google kommt bei einer neuen URL quasi erstmal mit dem guten alten GoogleBot, der kein JavaScript ausführt, aber für das Finden neuer Links und das Überprüfen von Header, Statuscodes etc. zuständig ist. Dann, zu einem späteren Zeitpunkt, kann der relativ neue GoogleBot-Evergreen die Seite erneut crawlen. Und dieser Bot führt mit seinem Chromium-Engine dann sämtliches JavaScript auf der Seite aus – so wie ein normaler Besucher mit einem Chrome-Browser. Der dabei erzeugte Quelltext gelangt dann in einem zweiten Durchgang in den Index.

Folgende Grafik hatte Google zur Google I/O dazu veröffentlicht:

Google Indexes and Ranks JavaScript Pages in Two Waves Days Apart

Besonders interessant ist diese Antwort von Martin:

(…) So ziemlich jede Website geht, wenn wir sie zum ersten Mal sehen, ins Rendering. Es gibt also keine Indexierung, bevor sie gerendert wurde.

Also wird nicht mehr erst mit dem klassischen GoogleBot indexiert, sondern jede URL wird zumindest einmal vollständig gerendert! Anschließend betrachtet Google offenbar den Unterschied zwischen dem ursprünglichen HTML und dem, was Google nach dem Rendern inklusive ausgeführtes JavaScript sieht, und entscheidet dann, ob die URL in Zukunft weiterhin voll gerendert wird oder der klassische GoogleBot für das Auslesen der Inhalte ausreicht!

Hier war Martin anscheinend selbst überrascht, als er mit dem Core-Search-Team sprach:

Ich dachte, auf das Rendern wird noch viel häufiger verzichtet. (…)  Aber viele Websites, sogar ohne JavaScript, werden gerendert, weil es keinen großen Unterschied macht.

Und John fügte hinzu:

Weil es uns nicht viel kostet.

Wow! Das heißt das vollständige Rendering einer Seite inkl. Bilder, CSS und JavaScript ist mittlerweile für Google so BILLIG/EINFACH/SCHNELL, dass es (fast) keinen Grund mehr gibt, dies nicht mehr für JEDE Website zu tun!

Martin relativierte das etwas:

Ich würde nicht sagen, dass die zwei Indexierungswellen der Vergangenheit angehören, aber (…) ich gehe davon aus, dass Rendern, Crawlen und Indexieren irgendwann zusammenrücken werden.

So weit sind wir bislang noch nicht, aber ich weiß, dass die Teams daran arbeiten.

Wir können uns also hoffentlich bald darauf verlassen, dass Google wirklich bei jeder Seite JavaScript ausführt und so jegliche Seiten im Index landen, wie sie eben auch der Nutzer zu Gesicht bekommt! Schwierig könnte es werden, wenn Google sich bei einer URL aufgrund der Vergangenheit dafür entscheidet, sich das Rendering zu sparen, und dann nachträglich JS eingebaut wird. Ich gehe allerdings davon aus, dass bei größeren Veränderungen an der Website, also spätestens bei einem Relaunch, diese Metrik zurückgesetzt bzw. regelmäßig aktualisiert wird.

Update: Google passt seine Dokumentation an

In der neuen Dokumentation sieht es nun wie folgt aus:

Verarbeitung von JavaScript durch den Googlebot
Verarbeitung von JavaScript durch den Googlebot

Dort heißt es nun:

Wenn der Googlebot mithilfe einer HTTP-Anfrage eine URL aus der Crawling-Warteschlange abruft, überprüft er zuerst, ob sie gecrawlt werden darf. Dazu liest er die robots.txt-Datei. Wenn du die URL dort als unzulässig gekennzeichnet hast, lässt der Googlebot die HTTP-Anfrage für diese URL aus.

Anschließend parst der Googlebot die Antwort für andere URLs im href-Attribut von HTML-Links und stellt diese URLs in die Crawling-Warteschlange. Du kannst bei Bedarf den nofollow-Mechanismus verwenden, um bestimmte Links auszuschließen.

Das Crawlen einer URL und das Parsen der HTML-Antwort funktioniert gut mit klassischen Websites oder serverseitig gerenderten Seiten, bei denen der HTML-Code in der HTTP-Antwort den gesamten Inhalt enthält. Für einige JavaScript-Websites wird möglicherweise das Anwendungsshell-Modell verwendet, bei dem der ursprüngliche HTML-Code nicht den tatsächlichen Inhalt enthält. Hier muss der Googlebot JavaScript ausführen, damit der tatsächliche, von JavaScript generierte Seiteninhalt angezeigt werden kann.

Der Googlebot stellt alle Seiten zum Rendern in die Warteschlange, es sei denn, er wird über ein Robots-Meta-Tag oder einen Header angewiesen, die Seite nicht zu indexieren. Die Seite verbleibt möglicherweise nur einige Sekunden in dieser Warteschlange, es kann jedoch auch länger dauern. Sobald die Ressourcen des Googlebot dies zulassen, wird die Seite über eine monitorlose Variante von Chromium gerendert und das JavaScript ausgeführt. Der Googlebot parst den gerenderten HTML-Code noch einmal nach Links und stellt die gefundenen URLs zum Crawlen in die Warteschlange. Außerdem verwendet er den gerenderten HTML-Code, um die Seite zu indexieren.

Serverseitiges oder Pre-Rendering ist trotzdem eine sehr gute Option, da deine Website dadurch für Nutzer und Crawler schneller wird und nicht alle Bots JavaScript ausführen können.

Hier ist das Video vom ganzen Gespräch zwischen Martin, John und Bartosz für Euch zum Nachhören:

Bartosz’ Artikel dazu findest Du übrigens hier: https://www.onely.com/blog/googles-two-waves-of-indexing/

  • Kai Spriestersbach gehört mit mehr als 15 Jahren Online-Marketing-Erfahrung zu den erfahrensten Suchmaschinen-Marketern in Deutschland. Der studierte Bachelor of Science in E-Commerce hat sich auf die strategische Beratung sowie Ausbildung und Weiterbildung in Digitalem Business sowie Web- und Suchmaschinen-Technologien spezialisiert. Als Dozent ist er sowohl für die 121WATT – School of Digital Marketing & Innovation als auch für die Hochschule für angewandte Wissenschaften Würzburg-Schweinfurt im Fachbereich E-Commerce tätig. Daneben unterstützt Kai Spriestersbach gerne innovative Startups, ist als Affiliate-Publisher tätig und entwickelt und vermarktet digitale Produkte im Bereich WordPress, SEO und Online-Marketing.

  • Show Comments (5)

5
Hinterlasse einen Kommentar

avatar
Knut Barth
Gast
Knut Barth

Ich hatte ein Gespräch mit Bartosz und er erwähnte, er sei kein Fan von Prerendering. Das hier schreibt er auch in seinem Blog: “And JavaScript SEO is still completely misunderstood in 2019. A lot of developers or SEOs are trying to do JavaScript SEO but what they do is basically they advise everyone to prerender their content.” Aber genau das planen wir z.B. gerade zu tun. Ich bin mir nicht mehr sicher, ob das so ideal ist. Bartosz mag das Prerendering nicht, wenn ich Ihn richtig verstanden habe, weil das Erkennen des Bots teilweise nicht klappt.

Philipp Loew-Albrecht
Gast
Philipp Loew-Albrecht

Es gibt eine Zwischenlösung, die sich Hydration nennt. Hier lieferst du im ersten Response eine vorgerenderte Seite aus. Diese wird dann im Anschluss mit Javascript “angereichert”. Dadurch hast du einige Performance Vorteile im Gegensatz zu reinem Prerenderung.

Toni Frisch
Gast
Toni Frisch

Hallo Kai,
das ist sehr interessant wie sich die Zukunft mit Javascript SEO ändern wird.
Aktuell habe ich die Erfahrung gemacht, dass es auf manchen Seiten, die sehr viel JS nutzen noch zu Problemen bei der Indexierung führt. Es ist nicht immer der Fall aber es ist auf jeden Fall fehleranfälliger.

Lg Toni

You May Also Like

Erfolgreiche Websites

Videotraining: Erfolgreiche Websites. Online Marketing, Usability, SEO und SEA

Ab sofort ist mein Videotraining “Erfolgreiche Websites” über Online-Marketing, Usability, SEO & SEA und ...

Neuro-Rhetorik: Mit Hirnforschung zum besseren Inhalt

Dies ist der erste Artikel einer neuen Reihe, in der ich ganz bewusst meinen ...

Die besten WordPress Plugins

Must-have: die besten WordPress-Plugins 2019

Wie genial Open-Source-Projekte sind, wird mir immer wieder klar, wenn ich eine neue Seite ...

Verpasse keine wichtige SEO-News mehr!
Melde Dich zu meinem SEO-Newsletter an.
Du bekommst wichtige News und kostenlose Tipps automatisch in Dein Postfach geschickt.
Ich akzeptiere die Einwilligungsserklärung.
Keine Sorge, ich hasse Spam genauso wie Du.
Außerdem kannst Du Dich jederzeit wieder abmelden ;o)
close-link

Google verändert die Indexierung von Inhalten mit JavaScript!

von Kai Spriestersbach Lesezeit: 5 min
5

Um unsere Webseite verbessern zu können, benötigen wir ein paar Cookies. Weitere Informationen bekommst Du in der Datenschutzerklärung. Bitte stimme der Verwendung zu, in dem Du auf 'Akzeptieren' klickst. Vielen Dank!