Wie man Suchmaschinen davon abhält, eine WordPress-Website zu crawlen

Kürzlich fragte uns einer unserer Nutzer, wie er Suchmaschinen davon abhalten kann, seine WordPress-Website zu crawlen und zu indizieren.

Es gibt verschiedene Szenarien, in denen Sie Suchmaschinen davon abhalten möchten, Ihre Website zu crawlen und in den Suchergebnissen aufzuführen.

In diesem Artikel zeigen wir Ihnen, wie Sie Suchmaschinen davon abhalten, eine WordPress-Website zu crawlen.

Warum sollte man Suchmaschinen davon abhalten, eine WordPress-Website zu crawlen?

Für die meistenWordPress-WebsitesSuchmaschinen sind die größte Quelle des Datenverkehrs. Sie fragen sich vielleicht, warum jemand Suchmaschinen blockieren möchte?

Hier sind einige Situationen, in denen Sie nicht möchten, dass Suchmaschinen Ihre Website indizieren:

• Als Anfänger wissen Sie vielleicht nicht, wie Sie einelokale Entwicklungsumgebung odereinen AufenthaltsortStattdessen entwickeln Sie Ihre Website, während sie live ist. Sie werden nicht wollen, dass Google Ihre Website indiziert, wenn sie sich im Aufbau oder im Wartungsmodus befindet.

• Es gibt auch viele Menschen, die WordPress verwenden, umprivate Blogs. Sie wollen nicht, dass sie von Suchmaschinen indiziert werden, weil sie privat sind.

• Sie können WordPress verwenden fürProjektleitung oder einIntranet. In diesen Fällen werden Sie nicht wollen, dass Ihre internen Dokumente öffentlich zugänglich sind.

Ein weit verbreiteter Irrglaube ist, dass Suchmaschinen Ihre Website wahrscheinlich nie finden werden, wenn keine Links auf Ihre Domain verweisen. Das ist nicht ganz richtig.

So kann es beispielsweise sein, dass Links auf Ihre Website verweisen, weil der Domänenname zuvor jemand anderem gehörte. Außerdem gibt es Tausende von Seiten im Internet, die einfach nur Domänennamen auflisten. Ihre Website könnte auf einer dieser Seiten erscheinen.

Schauen wir uns also an, wie man Suchmaschinen davon abhält, Ihre Website zu crawlen. Wir werden vier Methoden behandeln:

Methode 1: Suchmaschinen bitten, Ihre WordPress-Site nicht zu crawlen

Dies ist die einfachste Methode, schützt Ihre Website aber nicht vollständig vor dem Crawling.

WordPress verfügt über eine integrierte Funktion, mit der Sie Suchmaschinen anweisen können, Ihre Website nicht zu indizieren. Alles, was Sie tun müssen, ist zu besuchenEinstellungen “ Lesen und markieren Sie das Kästchen neben „Sichtbarkeit in Suchmaschinen“.

Wenn dieses Kästchen markiert ist, fügt WordPress diese Zeile in die Kopfzeile Ihrer Website ein:

<meta name=

WordPress modifiziert auch die Websiterobots.txt und fügt ihr diese Zeilen hinzu:

Benutzer-Agent: *

Diese Zeilen fordern Robots (Webcrawler) auf, Ihre Seiten nicht zu indizieren. Es liegt jedoch ganz im Ermessen der Suchmaschinen, diese Aufforderung zu akzeptieren oder zu ignorieren. Auch wenn die meisten Suchmaschinen die Anfrage respektieren, besteht immer noch die Möglichkeit, dass einige Seiten oder Bilder Ihrer Website indexiert werden.

Wenn Sie es Suchmaschinen unmöglich machen wollen, Ihre Website zu indizieren oder zu crawlen, dann müssen Sie Ihre WordPress-Website mit den Methoden 3 oder 4 passwortgeschützt machen.

Methode 2: Suchmaschinen bitten, einzelne Seiten nicht zu crawlen

Vielleicht möchten Sie, dass Suchmaschinen Ihre Website crawlen und indexieren, aber bestimmte Beiträge oder Seiten nicht in die Suchergebnisse aufnehmen.

Der einfachste Weg, dies zu tun, ist die Verwendung derAlles in Einem SEO (AIOSEO) Plugin. Es ist dasbestes SEO-Tool für WordPress und genießt das Vertrauen von über 3 Millionen Unternehmen.

In diesem Tutorial werden wir dieAIOSEO kostenlose Version da es das SEO-Analyse-Tool enthält. Es gibt auch einePremium-Version von AIOSEO die weitere Funktionen wie Sitemap-Tools, Umleitungsmanager, Schema-Markup, robots.txt-Editor und mehr bietet.

Als Erstes müssen Sie das AIOSEO-Plugin auf Ihrer Website installieren und aktivieren. Wie Sie das Plugin installieren und konfigurieren können, erfahren Sie in unserer Schritt-für-Schritt-Anleitung aufwie man All in One SEO für WordPress einrichtet.

Sobald das Plugin eingerichtet ist, können Sie es verwenden, um Suchmaschinen zu bitten, bestimmte Beiträge und Seiten nicht zu indizieren. Auch hier ist es den Suchmaschinen überlassen, ob sie diese Anfrage akzeptieren oder ignorieren.

Bearbeiten Sie einfach den Beitrag oder die Seite, die nicht indiziert werden soll. Scrollen Sie unten im WordPress-Editor zu AIOSEO-Einstellungen und klicken Sie dann auf die Registerkarte „Erweitert“.

Beachten Sie, dass der Artikel die Standardeinstellungen für Robots verwendet.

Um dies zu ändern, müssen Sie den Schalter „Standardeinstellungen verwenden“ auf „Aus“ stellen.

Jetzt können Sie das Kontrollkästchen „Kein Index“ anklicken. Sobald der Beitrag veröffentlicht oder aktualisiert wurde, werden die Suchmaschinen aufgefordert, ihn nicht zu indizieren.

Methode 3: Passwortschutz für eine ganze Website mit cPanel

Wenn IhrWordPress-Hosting-Anbieter einen cPanel-Zugang zur Verwaltung Ihres Hosting-Kontos anbietet, können Sie Ihre gesamte Website mit cPanel schützen.

Loggen Sie sich einfach in Ihr cPanel-Dashboard ein und klicken Sie auf das Symbol „Verzeichnisschutz“ im Abschnitt „Dateien“.

Als nächstes müssen Sie den Ordner finden, in dem Sie WordPress installiert haben. Normalerweise ist dies der Ordner public_html.

Klicken Sie dann einfach auf die Schaltfläche „Bearbeiten“ neben dem betreffenden Ordner.

public_html

public_html

Dadurch gelangen Sie zu einem Bildschirm, auf dem Sie den Passwortschutz aktivieren können.

Aktivieren Sie einfach das Kontrollkästchen „Passwortschutz für dieses Verzeichnis“ und klicken Sie auf die Schaltfläche „Speichern“. Wenn Sie möchten, können Sie auch den Namen für das geschützte Verzeichnis anpassen.

Sie erhalten eine Bestätigungsmeldung, dass die Zugriffsrechte für das Verzeichnis geändert wurden.

Anschließend müssen Sie auf die Schaltfläche „Zurück“ klicken.

Sie werden zu einem Bildschirm weitergeleitet, auf dem Sie einen Benutzernamen und ein Kennwort erstellen können, die Sie für den Zugriff auf dieses Verzeichnis verwenden müssen.

Sie müssen einen Benutzernamen und ein Passwort eingeben und dann das Passwort bestätigen. Bewahren Sie Ihren Benutzernamen und Ihr Kennwort an einem sicheren Ort auf, beispielsweise in einemPasswort-Manager-App.

Sobald Sie auf die Schaltfläche „Speichern“ klicken, haben Sie Ihrer WordPress-Website erfolgreich einen Passwortschutz hinzugefügt.

Wenn nun ein Benutzer oder eine Suchmaschine Ihre Website besucht, werden sie aufgefordert, den Benutzernamen und das Kennwort einzugeben, die Sie zuvor erstellt haben, um die Website anzuzeigen.

Methode 4: Passwortschutz für WordPress mit einem Plugin

Wenn Sie eineverwaltetes WordPress-Hosting Lösung, dann haben Sie möglicherweise keinen Zugang zu cPanel. In diesem Fall können Sie ein WordPress-Plugin verwenden, um Ihre Website mit einem Passwort zu schützen.

1. SeedProd ist die Nummer 1demnächst und Wartungsmodus Plugin für WordPress, das auf über 800.000 Websites eingesetzt wird. Es verfügt über eine umfassende Zugriffskontrolle und Berechtigungsfunktionen, mit denen Sie Ihre Website vor allen anderen verbergen können, auch vor Suchmaschinen. Wir haben eine Schritt-für-Schritt-AnleitungLeitfaden für SeedProd.
2. Passwortgeschützt ist eine sehr einfache Möglichkeit, Ihre WordPress-Website mit einem einzigen Passwort zu schützen (keine Benutzererstellung erforderlich). Siehe unsere Schritt-für-Schritt-Anleitung aufwie man eine WordPress-Website mit einem Passwort schützt.