Google hat die Support-Seite für Googlebot-Entwickler aktualisiert, um anzuzeigen, dass Google jetzt versuchen kann, Seiten über das neueste HTTP / 2-Protokoll herunterzuladen. Dies gilt ab November 2020. Die Googlebot-Entwicklerseite wurde am 12. November 2020 aktualisiert, um diese Änderung widerzuspiegeln.

Diese Änderung war zuvor angekündigt im September. Die Änderung ist nun offiziell in Kraft.

Laut Google:

„Im Allgemeinen crawlt Googlebot über HTTP / 1.1. Ab November 2020 kann Googlebot jedoch Websites crawlen, die möglicherweise über HTTP / 2 davon profitieren, wenn dies von der Website unterstützt wird. “

Warum HTTP / 2-Netzwerkprotokoll?

HTTP / 2 ist derzeit das neueste Netzwerkprotokoll. Es ermöglicht eine schnellere und effizientere Datenübertragung zwischen einem Server und einem Browser (oder Googlebot).

HTTP / 2 reduziert die Zeit, die eine Webseite benötigt, um von einem Browser an einen Server übermittelt zu werden. HTTP / 2 reduziert auch den Overhead durch Komprimieren von HTTP-Headerfeldern.

Unter dem vorherigen Netzwerkprotokoll (HTTP / 1) müssten mehrere Streams parallel heruntergeladen werden, da unter der alten HTTP / 1-Version jeweils nur eine Anforderung aktiviert war.

Mit HTTP / 2 können Googlebot und Browser die neue “Multiplex” -Qualität nutzen. Das bedeutet, dass mehrere Ressourcen innerhalb eines Streams von einer Verbindung heruntergeladen werden können, anstatt mehrere Streams von mehreren Verbindungen anfordern zu müssen, um dieselbe Webseite herunterzuladen.

Laut einem Beamten IETF FAQ Seite auf Github::

“HTTP / 1.x hat ein Problem namens” Head-of-Line-Blocking “, bei dem effektiv immer nur eine Anforderung für eine Verbindung gleichzeitig ausstehen kann.

… Multiplexing behebt diese Probleme, indem mehrere Anforderungs- und Antwortnachrichten gleichzeitig gesendet werden. Es ist sogar möglich, Teile einer Nachricht mit einer anderen auf dem Draht zu vermischen.

Auf diese Weise kann ein Client nur eine Verbindung pro Ursprung zum Laden einer Seite verwenden. “

Die Funktionen von HTTP / 2 bedeuten weniger Serverüberlastung und sparen Serverressourcen.

Die Minimierung der Belastung der Serverressourcen ist gut für Websites. Manchmal treffen nicht nur Googlebot, sondern auch viele andere Bots gleichzeitig eine Website.

Das Ergebnis ist, dass die Site langsam reagiert, weil so viele Serverressourcen verwendet werden. Dies ist schlecht für Benutzer, die versuchen, Webseiten anzuzeigen, und schlecht für den Publisher, wenn Googlebot eine Website nicht crawlen kann, da der Server von betrügerischen Bots wie Scrapern und Hackern bis an die Grenzen gedehnt wird.

Laut Google:

„… Ab November 2020 kann Googlebot Websites, die davon profitieren können, über HTTP / 2 crawlen, wenn dies von der Website unterstützt wird.

Dies spart möglicherweise Rechenressourcen (z. B. CPU, RAM) für die Site und Googlebot, hat jedoch ansonsten keinen Einfluss auf die Indizierung oder das Ranking Ihrer Site. “

Publisher können das HTTP / 2-Crawling deaktivieren

Es ist möglich, das HTTP / 2-Crawlen zu deaktivieren. Der Server muss so konfiguriert sein, dass er einen 421-Server-Antwortcode sendet.

Der Statuscode 421 wird von der Internet Engineering Task Force (IETF.org) als fehlgeleitete Anforderung beschrieben. Dies bedeutet, dass eine Anforderung für HTTP / 2 fehlgeleitet wird, wenn sie nicht verfügbar ist.

Nach Angaben der IETF::

„Der Statuscode 421 (Misdirected Request) zeigt an, dass die Anforderung an einen Server gerichtet wurde, der keine Antwort erstellen kann.
Dies kann von einem Server gesendet werden, der nicht für die Erstellung von Antworten für die Kombination aus Schema und Berechtigung konfiguriert ist, die in der Anforderungs-URI enthalten sind. “

Die Entwicklerseite von Google empfiehlt:

„Um das Crawlen über HTTP / 2 zu deaktivieren, weisen Sie den Server, auf dem sich Ihre Website befindet, an, mit einem HTTP-Statuscode 421 zu antworten, wenn Googlebot versucht, Ihre Website über HTTP / 2 zu crawlen. Wenn dies nicht möglich ist, können Sie eine Nachricht an das Googlebot-Team senden (diese Lösung ist jedoch nur vorübergehend). “

Zitat

Googlebot-Entwicklerseite
https://www.google.com/webmasters/tools/googlebot-report

Quelle