Bei Webprojekten, welche sehr viele ähnliche/identische URLs generieren oder Seiten ohne relevanten/einzigartigen Content bereitstellen, stellt sich oft die Frage, wie diese Seiten zur Verbesserung der Crawlingeffizienz aus der internen Verlinkung ausgenommen werden können, damit der Googlebot oder andere Bots diese nicht mehr aufspüren können.
AI-Crawler Steuerung: ChatGPT, LLMs & KI sperren oder freigeben
LLM / AI, Technical SEODer Schlüssel liegt in einer strukturierten AI-Crawler / LLM-Bot-Steuerung – möglich dank einer zunehmend differenzierten Crawler-Typisierung durch viele LLM-Anbieter. Während einige Bots wie GPTBot primär fürs Modelltraining eingesetzt werden, dienen andere wie der OAI-SearchBot der Antwortgenerierung oder Echtzeitsuche. Diese Unterscheidung erlaubt es, gezielt Zugriff und Nutzung zu steuern, statt „alles oder nichts“ zu blockieren.
hreflang XML-Sitemaps mit Python selbst generieren
Python, Technical SEOEine automatisierte hreflang-Integration im html-head gilt als Standard unter den möglichen Implementierungsformen und bietet auch für SEO Verantwortliche die allerbesten Auswertungs- und Kontrollmöglichkeiten. Dennoch gibt es häufig Situationen in denen eine manuelle Erstellung die effizienteste und schnellste (Überbrückungs-)Lösung sein kann. Insbesondere dann, wenn geringe IT-Ressourcen zur Verfügung stehen. Nachfolgend möchte ich zeigen, wie man sich hreflang-Sitemaps mit Python einfach selbst erstellen kann.
Linkmaskierung mit Base64 und Javascript
Technical SEOBei Webprojekten, welche sehr viele ähnliche/identische URLs generieren oder Seiten ohne relevanten/einzigartigen Content bereitstellen, stellt sich oft die Frage, wie diese Seiten zur Verbesserung der Crawlingeffizienz aus der internen Verlinkung ausgenommen werden können, damit der Googlebot oder andere Bots diese nicht mehr aufspüren können.