Wayback Machine Downloader funktioniert nicht? Lösungen

Wenn der Wayback Machine Downloader nicht funktioniert, steckt meist eine von fünf Ursachen dahinter. Das Internet Archive drosselt Ihre Anfragen oder sperrt Ihre IP-Adresse vorübergehend, was sich als connection refused zeigt. Die Abfrage der Liste aller Snapshots ist in ein Timeout gelaufen. Die Dateien kamen leer zurück und wurden vom Skript gelöscht. Die übergebene URL passt nur auf die Startseite. Oder die Seiten wurden nie archiviert. Für jedes Problem gibt es eine eigene Lösung, und diese Anleitung ordnet jedem Symptom seine Ursache zu. Wenn Sie weder Ruby noch ein Terminal benutzen möchten, zeigen die letzten Abschnitte, wie Sie die Website direkt im Browser wiederherstellen.

Was der Wayback Machine Downloader ist und warum er so oft nicht funktioniert

Der Wayback Machine Downloader ist ein Open-Source-Skript in Ruby, das mit gem install wayback_machine_downloader installiert wird. Es arbeitet in zwei Schritten:

1. Es fragt bei der CDX-API des Internet Archive eine Liste aller Snapshots Ihrer Domain ab.
2. Es lädt jede Datei einzeln von web.archive.org herunter, eine Anfrage pro Datei, und zwar den Roh-Snapshot ohne die Wayback-Leiste.

Das Prinzip ist einfach, und genau deshalb geht es schief. Eine Website mit ein paar tausend Dateien bedeutet ein paar tausend Anfragen an einen kostenlosen, stark genutzten, gemeinnützigen Dienst. Und dieser Dienst schützt sich mit Rate-Limits.

Das Originalskript wurde in den letzten Jahren zudem kaum noch gepflegt. Im selben Zeitraum ist archive.org strenger mit schnellem, automatisiertem Datenverkehr geworden. Viele Tipps in älteren GitHub-Issues stammen aus der Zeit davor und helfen deshalb oft nicht mehr.

Wayback Machine Downloader funktioniert nicht: Welcher Fehler liegt vor?

Warum meldet der Wayback Machine Downloader „connection refused“?

Der Fehler connection refused beim Wayback Machine Downloader bedeutet fast nie, dass das Skript kaputt ist. Er bedeutet, dass web.archive.org eine Zeit lang keine Verbindungen von Ihrer IP-Adresse mehr annimmt. Man spricht oft von einem Soft Ban: einer vorübergehenden, nicht dauerhaften Sperre.

So erkennen Sie einen Soft Ban

• Der erste Teil des Downloads hat funktioniert, dann häuften sich die Fehler.
• web.archive.org lädt auch im Browser im selben Netzwerk nicht oder hängt, während andere Websites normal laden.
• Derselbe Befehl funktioniert aus einem anderen Netz, etwa über den Hotspot Ihres Smartphones.

Trifft alles drei zu, werden Sie gedrosselt. Das Skript sofort erneut zu starten, macht es schlimmer, denn jeder neue Versuch zählt als weiterer Traffic.

Wie lange dauert die Sperre, und was sollten Sie tun?

Das Internet Archive veröffentlicht seine Limits nicht. Nutzer berichten von wenigen Minuten bis zu mehreren Stunden, rechnen Sie also mit mindestens einer Stunde. In der Zwischenzeit:

• Beenden Sie alle laufenden Instanzen des Skripts, auch die in anderen Terminalfenstern.
• Senken Sie die Parallelität. Wenn Sie -c bzw. --concurrency mit einem Wert über 1 verwendet haben, gehen Sie zurück auf -c 1. Parallele Downloads sind der häufigste Auslöser.
• Laden Sie in Etappen. Holen Sie mit --only jeweils einen Bereich, zum Beispiel --only "/blog/", und legen Sie zwischen den Durchläufen Pausen ein.
• Grenzen Sie den Zeitraum ein. --from 20150101 --to 20181231 verringert die Zahl der Snapshots, die das Skript berücksichtigt.

Versuchen Sie nicht, die Sperre mit wechselnden VPNs oder Proxys zu umgehen. Das belastet ein kostenloses, öffentliches Archiv zusätzlich und führt eher zu längeren Sperren.

Warum sind die heruntergeladenen Dateien leer oder verschwinden?

Das Skript legt eine Datei an, schreibt hinein, was der Server zurückliefert, und löscht die Datei, wenn das Ergebnis leer ist. Beobachten Sie während eines fehlerhaften Durchlaufs den Zielordner, sehen Sie deshalb Dateien auftauchen und wieder verschwinden. Dafür gibt es mehrere Gründe:

• Drosselung mitten im Download. Sobald archive.org Anfragen ablehnt, kommt jede weitere Datei leer zurück. Die Lösung steht im vorigen Abschnitt.
• Snapshots, die Weiterleitungen oder Fehlerseiten sind. Viele Snapshots sind vom Crawler aufgezeichnete 301/302-Weiterleitungen oder 404-Seiten. Standardmäßig überspringt das Skript alles, was nicht Status 200 hat. Mit -a/--all behält es diese Snapshots, was Ihnen unbrauchbare Dateien bescheren kann.
• Abgeschnittene Snapshots. Manche Snapshots, vor allem große Bilder und Videos, wurden nur teilweise gespeichert. Was das Archiv nie gespeichert hat, können Sie auf Ihrer Seite nicht zurückholen.

Ein schneller Test: Öffnen Sie eine der fehlenden URLs im Browser in der Wayback Machine. Zeigt der Browser die Seite an, existiert der Snapshot, und das Problem lag beim Download. Wenn nicht, hatte das Skript nie etwas zum Speichern.

Warum scheitert das Skript schon beim Abrufen der Snapshot-Liste?

Bevor das Skript irgendetwas herunterlädt, holt es den Snapshot-Index von der CDX-API. Bei einer großen Domain mit vielen Jahren Geschichte kann dieser Index Hunderttausende Zeilen umfassen, und die Anfrage kann in ein Timeout laufen oder unvollständige Daten liefern. Sie sehen dann direkt nach „Getting snapshot pages“ einen Fehler oder einen JSON-Parsing-Fehler.

Lösungen, in dieser Reihenfolge:

1. Warten und erneut versuchen. Die CDX-API ist manchmal von sich aus langsam, und eine abgelehnte CDX-Anfrage kann auch ein Zeichen für einen Soft Ban sein.
2. Den Index verkleinern mit --from und --to. Ein Zeitraum von drei Jahren ist weit weniger aufwendig als fünfzehn Jahre.
3. Prüfen, ohne herunterzuladen. wayback_machine_downloader https://example.com --list gibt die Snapshot-Liste als JSON aus und lädt nichts herunter. Scheitert schon das, liegt das Problem beim Index und nicht bei den Datei-Downloads.

Warum lädt der Wayback Machine Downloader nur die Startseite herunter?

Das ist der verwirrendste Fehler, weil das Skript Erfolg meldet. Gehen Sie diese Ursachen durch:

• Falscher Hostname. Das Archiv hat die Website vielleicht überwiegend als www.example.com erfasst, während Sie example.com übergeben haben, oder umgekehrt. Auch HTTP- und HTTPS-Snapshots können sich unterscheiden. Probieren Sie jede Variante aus.
• Platzhalter-Bereich. Wenn Sie eine tiefe URL übergeben oder --exact-url verwendet haben, wird nur genau diese eine URL geladen. Übergeben Sie die reine Domain ohne --exact-url. Wenn Sie die CDX-API direkt abfragen, hängen Sie /* an die Basis-URL an, damit alles darunter erfasst wird.
• Zu enger Zeitraum. In einem bestimmten Zeitraum hat der Crawler womöglich nur die Startseite gespeichert. Erweitern oder verschieben Sie das Fenster --from/--to auf Jahre, in denen der Wayback-Kalender mehr Aktivität zeigt.
• Dünne Archivierung. Führen Sie --list aus und zählen Sie die Einträge. Enthält die Liste nur eine Handvoll URLs, hat das Archiv nie tiefer gecrawlt. Das ist bei kleinen Websites häufig und bei Seiten, die hinter Formularen lagen oder nur über JavaScript-Menüs verlinkt waren.
• Mit JavaScript aufgebaute Seiten. Hat die Website ihre Inhalte per JavaScript geladen, hat das Archiv möglicherweise nur eine leere Seitenhülle erfasst. Warum das so ist, erklärt JavaScript Website offline herunterladen: Warum leer? ausführlich.

Forks und die JavaScript-Version: was sie ändern und was nicht

Weil das Originalskript kaum gepflegt wird, hat die Community mehrere Forks des Ruby-Gems hervorgebracht, dazu Portierungen in andere Sprachen, etwa Versionen in JavaScript/Node und Python, die ohne Ruby auskommen. Die besser gepflegten Forks ergänzen typischerweise:

• eingebaute Pausen zwischen den Anfragen und automatische Wiederholungen mit wachsenden Wartezeiten,
• die Möglichkeit, einen unterbrochenen Download fortzusetzen,
• Korrekturen für Sonderfälle bei der Datei- und Pfadbehandlung des Originals.

Diese Änderungen helfen: Ein Fork, der sich selbst bremst, löst deutlich seltener einen Soft Ban aus als das Original mit -c 8. Aber kein Fork hebt die Rate-Limits von archive.org auf, und keiner kann Seiten herunterladen, die das Archiv nie erfasst hat. Eine JavaScript-Portierung erspart Ihnen die Ruby-Installation, Sie brauchen aber weiterhin Node.js und ein Terminal. Bevor Sie sich auf einen Fork verlassen, prüfen Sie, wann er zuletzt aktualisiert wurde und ob in den offenen Issues dieselben Fehler gemeldet werden, die Sie gerade sehen.

Die Website ohne Kommandozeile wiederherstellen

Wenn Sie die Website einfach zurückhaben möchten und keine Lust haben, Ruby-Gems zu debuggen, nutzen Sie einen browserbasierten Web-Archive-Downloader wie den Wayback Machine Downloader auf dieser Website. Er läuft auf den Servern von Website Downloader: Auf Ihrem Computer wird nichts installiert, und es ist nicht Ihre IP-Adresse, die Tausende Anfragen an archive.org schickt. Er funktioniert unter Windows, macOS, Linux, auf Chromebooks und Tablets gleichermaßen.

1. Geben Sie die Domain der Website ein, die nicht mehr online ist.
2. Wählen Sie den Snapshot, aus dem wiederhergestellt werden soll.
3. Verfolgen Sie den Live-Fortschritt, während die Seiten heruntergeladen werden. Sie können den Tab schließen; Ihr Computer muss nicht eingeschaltet bleiben.
4. Laden Sie das Ergebnis als eine einzige ZIP-Datei herunter.

Kosten: Eine Wiederherstellung mit bis zu 100 Seiten ist kostenlos. Ein Wayback Restore ist eine Einmalzahlung von 14,99 EUR für eine Website, umfasst bis zu 5000 Unterseiten und hält das Archiv 30 Tage bereit. Monatliche Tarife enthalten keine Wiederherstellungen. Details finden Sie unter Preise. Eine vollständige Anleitung, inklusive der Wahl eines guten Snapshots, finden Sie in Website aus der Wayback Machine wiederherstellen – Schritt für Schritt.

Es gelten dieselben Grenzen wie beim Skript: Seiten, die nie archiviert wurden, lassen sich nicht wiederherstellen, und Inhalte, die das Archiv nur als JavaScript-Hülle gespeichert hat, bleiben leer.

Skript-Ausgabe oder durchklickbares Offline-ZIP: was Sie tatsächlich erhalten

Selbst wenn das Skript fehlerfrei durchläuft, erhalten Sie einen Ordner mit Rohdateien, keine Website, durch die Sie sich klicken können. Es speichert jede Datei unter ihrem ursprünglichen Pfad in websites/example.com/ und verwendet standardmäßig den neuesten Snapshot jeder Datei innerhalb Ihres Zeitraums. Links schreibt es nicht für die Offline-Nutzung um. Links, die als vollständige URLs geschrieben wurden, zeigen weiterhin auf die ursprüngliche Domain, ein Klick darauf führt offline also ins Leere, und so eingebundene Stylesheets werden nicht geladen. Um das Ergebnis anzusehen, müssen Sie meist einen lokalen Webserver starten oder die Links selbst korrigieren.

Eine Wiederherstellung mit Website Downloader ist zum Durchklicken gemacht. Die Wayback-Leiste und die Links zurück zu archive.org werden entfernt, und das Archiv öffnet sich offline in jedem Browser.

Suchfelder, Kontaktformulare, Kommentare und Shop-Kassen funktionieren in keiner der beiden Kopien, weil sie einen laufenden Server brauchen. Fehlen nach dem Entpacken eines Archivs Bilder oder Styles, lesen Sie Heruntergeladene Website ohne Bilder und CSS? Die Lösung.

FAQ

Hat das Internet Archive meine IP-Adresse dauerhaft gesperrt?

So gut wie sicher nicht. Die Sperren, auf die man mit dem Skript stößt, sind vorübergehende Soft Bans, ausgelöst durch zu viele Anfragen in kurzer Zeit. Beenden Sie alle Downloads, warten Sie mindestens eine Stunde und versuchen Sie es dann mit Parallelität 1 und kleinerem Umfang erneut.

Gibt es eine Alternative zum Wayback Machine Downloader ohne Ruby?

Ja. Es gibt Community-Portierungen in JavaScript und Python, die allerdings ebenfalls ein Terminal und ihre eigene Laufzeitumgebung brauchen. Wenn Sie ganz ohne Kommandozeile auskommen möchten, übernimmt eine Wiederherstellung im Browser wie der Wayback Machine Downloader das Crawlen auf einem Server und liefert Ihnen eine ZIP-Datei.

Kann ich eine komplette Website kostenlos aus der Wayback Machine herunterladen?

Das Open-Source-Skript ist kostenlos, aber wie viel Sie damit bekommen, hängt von den Rate-Limits und Ihrer Geduld ab. Bei Website Downloader ist eine Wiederherstellung mit bis zu 100 Seiten kostenlos. Größere Websites brauchen den einmaligen Wayback Restore, der bis zu 5000 Unterseiten abdeckt.

Warum fehlen auch nach erfolgreicher Wiederherstellung einige Seiten?

Die Wayback Machine hat nie jede Seite jeder Website erfasst. Seiten, die nur über eine Suche, Formulare, Logins oder JavaScript-Menüs erreichbar waren, fehlen oft. Prüfen Sie eine fehlende URL direkt in der Wayback Machine; ist sie dort nicht vorhanden, kann kein Tool sie zurückholen.

Funktioniert die wiederhergestellte Kopie offline?

Eine Wiederherstellung mit Website Downloader öffnet sich offline in jedem Browser, ohne Wayback-Leiste und ohne Links zu archive.org. Seiten, Bilder, Styles und Skripte funktionieren, Funktionen, die den ursprünglichen Server brauchten, etwa Suche, Formulare und Warenkörbe, dagegen nicht. Weitere Antworten finden Sie in den häufigen Fragen.