HTTrack 403 Forbidden: Ursachen und was Sie tun können
HTTrack 403 Forbidden oder wget abgewiesen? Fünf Ursachen, wie Sie sie erkennen, Lösungen für die eigene Seite und Auswege wie die Wayback Machine.
Website Downloader 9 Min. Lesezeit
Der Fehler HTTrack 403 Forbidden bedeutet: Der Webserver hat die Anfrage Ihres Downloaders verstanden und beschlossen, sie nicht zu beantworten. Ein Fehler in HTTrack oder wget ist das selten. Meist tut die Website eines von fünf Dingen: Sie filtert nach User-Agent, bremst schnelle Crawler aus, setzt einen Bot-Schutz ein, verlangt einen Login oder ein Cookie oder schützt ihre Bilder vor Hotlinking. Welcher Fall vorliegt, entscheidet darüber, was Sie tun können. Auf Ihrer eigenen Website können Sie die Regel ändern. Auf einer fremden Website ist ein 403 meist eine bewusste Ablehnung, die Sie respektieren sollten – und oft hat das Internet Archive eine Kopie, die Sie stattdessen nutzen können.
Was bedeutet 403 Forbidden, wenn HTTrack oder wget eine Website kopiert?
HTTP-Statuscodes zeigen, wie ein Server reagiert hat. Ein 403 Forbidden heißt: Ich weiß, was Sie wollen, und Sie bekommen es nicht. Er unterscheidet sich von den Codes, mit denen er oft verwechselt wird:
- 404 Not Found: Die Seite existiert nicht. Das ist keine Ablehnung.
- 401 Unauthorized: Die Seite verlangt Zugangsdaten, typischerweise per HTTP-Authentifizierung.
- 429 Too Many Requests: Sie sind zu schnell. Viele Server schicken auch dafür einen 403 und verschleiern so den eigentlichen Grund.
In wget erscheint im Terminal ERROR 403: Forbidden. (bzw. in der deutschen Ausgabe FEHLER 403: Forbidden.). In HTTrack steht die Ablehnung in der Datei hts-log.txt im Projektordner. Wird schon die erste Seite abgewiesen, zeigt HTTrack auf dem Bildschirm oft nur die verwirrende Meldung, der Mirror sei leer – dazu weiter unten mehr.
Fünf Gründe, warum eine Website den Download verweigert
- Filterung nach User-Agent. Jede Anfrage enthält einen User-Agent-String, der die Software nennt. wget sendet
Wget/mit seiner Versionsnummer, HTTrack gibt sich als HTTrack zu erkennen. Viele Firewall-Regelwerke und Sicherheits-Plugins blockieren bekannte Downloader-Namen standardmäßig – oft ohne dass der Betreiber je darüber nachgedacht hat. - Rate-Limits. Ein Downloader ruft Seiten weit schneller ab, als ein Mensch klickt. Ab einer Schwelle antwortet der Server oder das CDN Ihrer IP-Adresse eine Zeit lang mit 403 (oder 429). Die ersten Seiten kommen an, danach schlägt alles fehl.
- Bot-Schutz-Dienste. CDNs und Web Application Firewalls können Besucher mit einer JavaScript-Prüfung oder einem CAPTCHA testen. Ein Browser führt das Skript aus und kommt durch. HTTrack und wget führen kein JavaScript aus und erhalten deshalb die Prüfseite oder einen schlichten 403.
- Login- oder Cookie-Prüfung. Mitgliederbereiche, Staging-Seiten, Altersabfragen und manche Consent-Banner liefern Inhalte nur an Anfragen mit Sitzungs-Cookie. Ohne dieses gibt es einen 403 oder eine Weiterleitung zur Login-Seite.
- Hotlink-Schutz. Bilder, Schriften und Videos sind manchmal getrennt von den Seiten geschützt. Der Server prüft den
Referer-Header, oder die Dateien liegen auf einem CDN mit signierten URLs, die ablaufen. Das Ergebnis ist der klassische Teilausfall: Das HTML kommt an, die Bilder liefern 403.
HTTrack 403 Forbidden diagnostizieren: welche Ursache liegt vor?
Bevor Sie etwas ändern, finden Sie heraus, mit welchem der fünf Fälle Sie es zu tun haben. Drei schnelle Prüfungen grenzen es ein.
- Öffnen Sie dieselbe Adresse in einem normalen Browser über dieselbe Verbindung. Wird auch der Browser abgewiesen, ist Ihre IP-Adresse gesperrt oder die Seite tatsächlich zugangsbeschränkt. Funktioniert der Browser, reagiert der Server auf etwas am Tool.
- Sehen Sie sich die rohe Antwort an.
curl -I https://example.com/zeigt Status und Header. Header, die ein CDN oder eine Firewall nennen, oder eine Antwortseite mit Text wie „Checking your browser“ deuten auf Bot-Schutz hin. - Notieren Sie, wann und wo die 403-Fehler beginnen. Prüfen Sie das Log: bei der ersten Anfrage, nach fünfzig Seiten oder nur bei Dateien mit
.jpg,.pngoder.woff2?
| Symptom | Wahrscheinlichste Ursache |
|---|---|
| Erste Seite abgewiesen, Browser funktioniert | User-Agent-Filter oder Bot-Schutz |
| Auch der Browser über dieselbe Verbindung wird abgewiesen | IP-Sperre oder Seite ist für alle gesperrt |
| Erste Seiten kommen an, dann liefert alles 403 | Rate-Limit |
| Antwort ist eine „Bestätigen Sie, dass Sie ein Mensch sind“-Seite | Bot-Schutz-Dienst |
| Nur bestimmte Bereiche (Konto, Mitglieder, Shop) schlagen fehl | Login- oder Cookie-Prüfung |
| HTML kommt an, Bilder oder CSS liefern 403 | Hotlink-Schutz oder signierte Asset-URLs |
Wenn sich Ihre Kopie öffnen lässt, aber kaputt aussieht, weil Bilder und Stylesheets fehlen, steckt nicht immer ein 403 dahinter. Falsche Pfade und Dateien auf fremden Domains sehen genauso aus. Der Artikel Heruntergeladene Website ohne Bilder und CSS geht diese Fälle durch.
Warum meldet HTTrack, dass der Mirror leer ist?
HTTrack meldet „MIRROR ERROR! HTTrack has detected that the current mirror is empty“, wenn es fertig wird, ohne eine brauchbare Seite gespeichert zu haben. Öffnen Sie hts-log.txt im Projektordner, um den Grund zu sehen. Die üblichen Ursachen:
- Die Startseite lieferte 403, es gab also nichts, dem HTTrack folgen konnte.
- Die Startseite leitete weiter, etwa von
httpaufhttpsoder vonexample.comaufwww.example.com, und HTTrack hat die neue Adresse als außerhalb des Projekts behandelt. Starten Sie erneut mit genau der Adresse, auf der Ihr Browser landet. - Die Seite wird komplett mit JavaScript aufgebaut, sodass das heruntergeladene HTML keine Links enthält. Mehr dazu unter warum Kopien von JavaScript-Websites leer bleiben.
Was sollte ich ändern, wenn der 403 von der Firewall meiner eigenen Website kommt?
Bei Ihrer eigenen Website ist die Ablehnung eine Einstellung, die Sie kontrollieren. Gehen Sie die Ebenen der Reihe nach durch.
- Finden Sie die Ebene, die blockiert hat. Prüfen Sie das Ereignisprotokoll des CDN oder der Firewall, die Liste blockierter Zugriffe Ihres Sicherheits-Plugins und das Fehlerprotokoll des Servers (ModSecurity-Regeln protokollieren dort eine Regel-ID). Der Eintrag zeigt, ob es am User-Agent, an der Abfragerate oder an einem Bot-Score lag.
- Legen Sie eine vorübergehende Ausnahme an. Wenn Sie HTTrack oder wget auf Ihrem eigenen Rechner ausführen, setzen Sie Ihre IP-Adresse für die Dauer des Backups auf die Allowlist. Das ist besser, als einen User-Agent freizugeben, den jeder kopieren kann.
- Bedenken Sie, woher die Anfragen eines Online-Downloaders kommen. Bei einem browserbasierten Dienst kommt der Crawl von den Servern des Dienstes, nicht von Ihrem Computer – Ihre eigene IP freizugeben bringt also nichts. Lockern Sie stattdessen für die Dauer des Crawls gezielt die Regel, die ausgelöst hat, etwa indem Sie eine Rate-Limit-Regel pausieren oder die Bot-Schutz-Stufe senken, und beobachten Sie das Log.
- Bremsen Sie den Crawler. In wget ergänzen Sie
--wait=1 --random-wait --limit-rate=200k. In HTTrack reduzieren Sie gleichzeitige Verbindungen mit-c2und begrenzen neue Verbindungen pro Sekunde mit-%c1. Ein langsameres Backup, das fertig wird, ist besser als ein schnelles, das auf halber Strecke gesperrt wird. - Geben Sie Ihrem Backup einen ehrlichen Namen.
--user-agent='site-backup (inhaber@example.com)'in wget oder-Fin HTTrack macht Ihre eigenen Anfragen in den Logs leicht auffindbar. - Korrigieren Sie Hotlink-Regeln für Assets. Stellen Sie sicher, dass Ihre eigene Domain und leere Referrer erlaubt sind, vor allem wenn Bilder von einem separaten CDN-Hostnamen ausgeliefert werden.
- Stellen Sie danach alles zurück. Vorübergehende Ausnahmen haben die Neigung, dauerhaft zu werden.
Eine gecrawlte Kopie erfasst, was Besucher sehen – nicht Ihre Datenbank, den Admin-Bereich oder den Servercode. Für ein vollständiges Sicherheitsnetz behalten Sie zusätzlich ein Backup vom Hoster oder aus dem CMS. Der Ratgeber Webhosting kündigen, Website sichern erklärt, warum beide Kopien wichtig sind, und WordPress als HTML exportieren behandelt die WordPress-spezifische Seite.
Bei fremden Websites: Wenn eine Seite den Download verweigert, hören Sie hin
Die meisten Forenantworten enden bei „Ändern Sie den User-Agent“. Auf einer Website, die Sie nicht betreiben, verdient dieser Rat einen zweiten Blick. Ein 403 ist die Antwort der Website auf Ihre Anfrage. Den Downloader als Browser zu tarnen, IP-Adressen zu wechseln, um ein Rate-Limit zu umgehen, oder eine Bot-Prüfung auszutricksen, behebt keinen Fehler. Es umgeht eine Entscheidung, die jemand anderes getroffen hat.
- Lesen Sie die robots.txt. Sie ist eine Bitte, keine technische Sperre, aber sie sagt, was der Betreiber gecrawlt haben möchte. HTTrack und wget halten sich standardmäßig daran. Genau das auf fremden Websites abzuschalten, ist das Verhalten, durch das Crawler überhaupt erst blockiert werden.
- Prüfen Sie die Nutzungsbedingungen. Viele Websites verbieten in ihren AGB das automatisierte Kopieren, und ein Verstoß kann vertragliche Folgen haben, selbst wo sonst nichts greift.
- Fragen Sie den Betreiber. Eine kurze Nachricht, was Sie sichern möchten und warum, wirkt oft. Betreiber stimmen regelmäßig einem langsamen Crawl zu ruhiger Zeit zu oder schicken einen Export – besonders bei Archivierung, Forschung oder einer Website, die Sie früher selbst betrieben haben.
Rechtlich hängt die Antwort von Ihrem Land und Ihrer Situation ab. Allgemein wird das Kopieren öffentlich zugänglicher Seiten zum persönlichen Nachschlagen anders bewertet als das bewusste Umgehen einer Zugangssperre; manche Rechtsordnungen haben Gesetze gegen Computermissbrauch oder die Umgehung technischer Schutzmaßnahmen, die auf Letzteres zutreffen können. Eine Kopie gibt Ihnen außerdem nie das Recht, fremde Inhalte erneut zu veröffentlichen. Mehr zu den Grundlagen lesen Sie unter Ist es legal, eine Website herunterzuladen? Dies ist keine Rechtsberatung: Wenn die Kopie für ein Unternehmen, einen Streit oder ein Gerichtsverfahren wichtig ist, fragen Sie zuerst einen Anwalt. Speziell zu Beweismitteln lesen Sie Website als Beweis sichern.
Was kann ich tun, wenn sich die Live-Website gar nicht herunterladen lässt?
Manchmal spielt die Live-Website einfach nicht mit: Der Betreiber reagiert nicht mehr, die Seite ist offline oder der Schutz hat gute Gründe. Sie haben trotzdem Möglichkeiten.
Den Wayback-Machine-Snapshot nutzen
War die Website irgendwann öffentlich, hat das Internet Archive sie womöglich erfasst. Heutige Firewall-Regeln wirken sich nicht auf Snapshots aus, die vor Jahren entstanden sind. Der Wayback Machine Downloader macht aus einem gewählten Snapshot eine ZIP-Datei, die offline funktioniert – ohne die Wiedergabe-Leiste und ohne die Links zurück zu archive.org. Eine Wiederherstellung von bis zu 100 Seiten ist kostenlos, und der Tarif Wayback Restore stellt bis zu 5000 Unterseiten für einmalig 14,99 EUR wieder her (siehe Preise). Die Anleitung Website aus der Wayback Machine wiederherstellen zeigt, wie Sie ein gutes Snapshot-Datum wählen.
Bleiben Sie realistisch, was Sie damit bekommen: nur das, was das Archive erfasst hat. Seiten, die es nie gecrawlt hat, fehlen, und manche Betreiber lassen ihre Websites ganz aus dem Archive ausschließen.
Warum eine klare 403-Meldung besser ist als ein leeres Archiv
Desktop-Tools beenden oft „erfolgreich“ mit einem Ordner voller Fehlerseiten, und Sie merken erst Wochen später, dass Ihr Backup nutzlos ist. Website Downloader geht den umgekehrten Weg: Verweigert eine Website automatisierte Downloads, zum Beispiel mit einer 403-Antwort, meldet der Dienst das, statt Ihnen eine leere ZIP zu liefern. Er versucht nicht, die Sperre zu umgehen. Sie wissen sofort, dass Sie einen anderen Weg brauchen – ob Sie den Betreiber fragen, Ihre eigene Firewall lockern oder aus dem Archive wiederherstellen.
Wissen, was keine Kopie enthalten kann
Selbst wenn ein Download klappt, landen manche Dinge nie in einer Offline-Kopie. Seiten hinter einem Login werden nicht heruntergeladen, und Funktionen, die einen Server brauchen, funktionieren nicht mehr.
Wenn Sie noch ein Werkzeug suchen, zeigt HTTrack Alternative: Website Downloader online ohne Installation, wie sich HTTrack und ein Online-Dienst bei Fehlern, Umfang und Einrichtung unterscheiden, und die FAQ beantworten häufige Fragen dazu, was der Dienst herunterlädt.
FAQ
Kann ich einen 403-Forbidden-Fehler bei wget oder HTTrack umgehen?
Auf Ihrer eigenen Website ja: IP freigeben, die ausgelöste Regel lockern, den Crawl verlangsamen und einen erkennbaren User-Agent setzen. Auf einer fremden Website ist die ehrliche Lösung die Erlaubnis des Betreibers. Das Tool zu tarnen, um eine bewusste Sperre zu umgehen, kann gegen die Nutzungsbedingungen und je nach Land auch gegen das Gesetz verstoßen.
Sperrt die Website meine IP-Adresse oder nur meinen User-Agent?
Öffnen Sie dieselbe Seite in einem normalen Browser über dieselbe Verbindung. Wird auch der Browser abgewiesen, liegt die Sperre auf Ihrer IP-Adresse oder gilt für alle. Funktioniert der Browser und nur wget oder HTTrack scheitern, reagiert der Server auf das Tool – meist auf den User-Agent, das Tempo oder darauf, dass es keine JavaScript-Prüfung bestehen kann.
Warum werden die Seiten heruntergeladen, aber die Bilder liefern 403?
Meist ist das Hotlink-Schutz: Der Server oder sein CDN prüft, woher Bildanfragen kommen, oder nutzt signierte URLs, die ablaufen, bevor der Downloader sie abruft. Bilder auf einer separaten Domain mit strengeren Regeln verursachen dasselbe Symptom. Auf Ihrer eigenen Website erlauben Sie Ihre Domain und leere Referrer für Assets.
Ist es legal, eine Sperre auf einer Website zu umgehen?
Das hängt vom Land, den Nutzungsbedingungen der Website und davon ab, was Sie genau tun. Öffentliche Seiten zum persönlichen Nachschlagen zu speichern, wird in der Regel anders gesehen als das bewusste Aushebeln einer Zugangssperre, das manche Gesetze ausdrücklich erfassen. Dieser Artikel ist keine Rechtsberatung – fragen Sie einen Anwalt, bevor Sie sich für geschäftliche oder rechtliche Zwecke auf eine Kopie verlassen.
- HTTrack 403 Forbidden
- HTTrack
- wget
- Fehlerbehebung
- Wayback Machine