HTTrack lädt nur index.html? Ursachen und Lösungen

Wenn HTTrack nur index.html lädt, ist der Crawl nicht abgestürzt. HTTrack hat die Startseite abgerufen, keine Links gefunden, denen es folgen durfte oder konnte, und aufgehört. Die üblichen Gründe, grob vom häufigsten zum seltensten, sind diese: Die Startadresse leitet auf https oder www weiter, sodass jeder Link wie eine fremde Website aussieht. robots.txt oder eine Sperre des User-Agents stoppt den Crawler. Die Links werden per JavaScript erzeugt. Oder Tiefe, Verzeichnis und Scan-Regeln sind zu eng eingestellt. Die Datei hts-log.txt in Ihrem Projektordner verrät meist, welcher Fall vorliegt, und für jede Ursache gibt es eine konkrete Lösung.

Warum lädt HTTrack nur index.html? Die schnelle Diagnose

Prüfen Sie zuerst, ob Sie an der richtigen Stelle nachsehen. HTTrack legt eine eigene index.html im Projektordner an. Diese Datei ist eine Übersichtsseite des Projekts, nicht die Website. Die gespiegelte Website liegt in einem Unterordner, der nach dem Host benannt ist, etwa example.com/ oder www.example.com/. Enthält dieser Host-Ordner nur eine einzige index.html und sonst nichts, haben Sie das Problem, um das es in diesem Artikel geht.

Öffnen Sie danach die gespeicherte index.html in einem Texteditor statt im Browser. Was Sie dort finden, grenzt die Ursache schnell ein:

Zuerst hts-log.txt lesen: Was die einzelnen Meldungen bedeuten

hts-log.txt liegt im Hauptverzeichnis des Projektordners. Wenn nur die Startseite gespeichert wurde, ist das Log kurz, lesen Sie es also ganz. Der genaue Wortlaut unterscheidet sich je nach HTTrack-Version, doch auf diese Zeilen kommt es an:

• „File has moved from http://example.com/ to https://www.example.com/“ (oder ein anderer 301/302-Hinweis): Die Start-URL hat weitergeleitet. Siehe Ursache 1.
• „Note: due to example.com remote robots.txt rules, links beginning with these path will be forbidden“: robots.txt greift. Das ist nur relevant, wenn die Liste / oder die benötigten Pfade enthält. Siehe Ursache 2.
• „Error: Forbidden (403)“ oder Fehler 429/503: Der Server verweigert dem Crawler den Zugriff. Siehe Ursache 2 und den Ratgeber HTTrack 403 Forbidden: Ursachen und was Sie tun können.
• „No data seems to have been transferred during this session“: Entweder wurde die Verbindung abgelehnt, oder Ihre Filter haben alles ausgeschlossen, auch die Startseite.
• Ein sauberes Log ohne Fehler und mit nur ein oder zwei Dateien: HTTrack hat nichts gefunden, dem es folgen konnte. Das deutet auf JavaScript-Links (Ursache 3) oder zu restriktive Einstellungen (Ursache 4) hin.

Ist das Log zu knapp, starten Sie erneut mit mehr Details. Auf der Kommandozeile ergänzen Sie -z für zusätzliche Log-Informationen oder -Z für Debug-Ausgaben. In WinHTTrack erhöhen Sie die Protokollstufe unter Set options > Log, Index, Cache. (Die Menünamen in diesem Artikel entsprechen der englischen Oberfläche; in der deutschen Version heißen sie sinngemäß ähnlich.)

Ursache 1: Die Start-URL leitet auf https oder www weiter, und alle Links wirken extern

Diese Ursache übersehen die alten Forenbeiträge meist. Standardmäßig bleibt HTTrack auf derselben Adresse, also genau auf dem Host, den Sie eingegeben haben. Angenommen, Sie geben http://example.com ein, und der Server leitet auf https://www.example.com/ weiter. Je nach Version und Einstellung speichert HTTrack dann entweder nur die Weiterleitungsseite, oder es speichert die Startseite und behandelt danach jeden Link auf www.example.com als extern und überspringt ihn. In beiden Fällen bleibt am Ende eine einzige Datei übrig.

Die Lösung:

1. Öffnen Sie die Website in einem normalen Browser und kopieren Sie die endgültige Adresse aus der Adressleiste, inklusive https://, gegebenenfalls www. und dem abschließenden Schrägstrich. Verwenden Sie genau diese Adresse als Start-URL.
2. Fügen Sie eine Scan-Regel hinzu, die beide Host-Varianten erlaubt: +*example.com/*. In WinHTTrack gehört sie unter Set options > Scan Rules.
3. Optional erweitern Sie den Travel Mode von „auf derselben Adresse bleiben“ auf „in derselben Domain bleiben“ (Experts Only > Travel mode oder -d auf der Kommandozeile). Dann folgt HTTrack sowohl example.com als auch www.example.com.

Als Kommandozeilen-Variante:

httrack "https://www.example.com/" -O "./example-mirror" "+*example.com/*" -d -v

Ursache 2: robots.txt, nofollow und gesperrter User-Agent

robots.txt und Meta-Robots

HTTrack beachtet robots.txt und Meta-Robots-Tags standardmäßig (-s2). Verbietet robots.txt / für alle Crawler oder nennt HTTrack ausdrücklich, endet der Crawl auf der Startseite. Dasselbe passiert, wenn die Startseite <meta name="robots" content="nofollow"> enthält. Abschalten lässt sich das unter Set options > Spider mit „no robots.txt rules“ oder mit -s0.

Sollten Sie das abschalten? robots.txt drückt den Wunsch des Website-Betreibers aus; eine technische Sperre ist es nicht. Bei Ihrer eigenen Website ist das Ignorieren unproblematisch. Bei fremden Websites sollten Sie überlegen, ob Sie eine Erlaubnis haben und was Sie mit der Kopie vorhaben. Ob das Ignorieren von robots.txt oder das Kopieren von Inhalten rechtliche Folgen hat, hängt von Ihrem Land, den Nutzungsbedingungen der Website und Ihrem Zweck ab. Dieser Artikel ist keine Rechtsberatung; wenn es um etwas geht, fragen Sie eine Anwältin oder einen Anwalt. Einen Überblick über die Grundsätze gibt Ist es legal, eine Website herunterzuladen? Wie auch immer Sie sich entscheiden: Crawlen Sie rücksichtsvoll. Begrenzen Sie die Verbindungen mit -c2 und die Übertragungsrate mit etwa -A100000 (Bytes pro Sekunde).

User-Agent- und Bot-Sperren

Der Standard-User-Agent von HTTrack enthält das Wort „HTTrack“, und viele Firewalls und Hoster blockieren ihn. Die gespeicherte index.html ist dann eine Fehler- oder Prüfseite ohne echte Links. Stellen Sie unter Set options > Browser ID eine browserähnliche Kennung ein, oder auf der Kommandozeile:

-F "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"

Erhalten Sie weiterhin 403-Fehler oder eine Seite wie „Checking your browser“, setzt die Website einen Bot-Schutz ein, den HTTrack nicht überwinden kann. Was Sie dann noch versuchen können, steht im Artikel HTTrack 403 Forbidden.

Ursache 3: Links per JavaScript oder hinter „Mehr laden“-Buttons

HTTrack liest HTML und versucht, URLs in Skripten zu erkennen, führt JavaScript aber nicht aus. Bei Websites, die mit React, Vue oder Angular gebaut sind, oder bei Menüs, die per Skript gerendert werden, bei onclick-Navigation oder Inhalten, die über eine API nachgeladen werden, enthält das ausgelieferte HTML kaum <a href>-Links. HTTrack hat dann nichts, dem es folgen könnte.

Zum Testen drücken Sie auf der Startseite Strg+U (Seitenquelltext anzeigen) und suchen nach href=. Das Untersuchen-Fenster der Entwicklertools zeigt die Seite erst nach Ausführung der Skripte und ist daher die falsche Stelle. Enthält der Seitenquelltext keine Links zu Unterseiten, findet sie auch kein herkömmlicher Crawler. Warum solche Kopien oft leer bleiben, erklärt JavaScript Website offline herunterladen: Warum leer?

Warum HTTrack die Kategorieseiten lädt, aber nicht die Artikel darin

Ein verwandtes Muster: Menü und Kategorieseiten kommen an, die meisten Artikel fehlen aber. Meist listet Seite eins jeder Kategorie zehn Beiträge, und der Rest erscheint über einen „Mehr laden“-Button oder Infinite Scroll, den HTTrack nie anklickt. So kommen Sie trotzdem an die Inhalte:

• Suchen Sie nach einer HTML-Alternative. Viele CMS beantworten /page/2/ oder ?page=2 weiterhin, auch wenn das Theme diese Links ausblendet. Fügen Sie diese URLs als zusätzliche Startadressen hinzu.
• Nutzen Sie die Sitemap. Öffnen Sie /sitemap.xml, kopieren Sie die Artikel-URLs in eine Textdatei und übergeben Sie HTTrack die Liste: in WinHTTrack über das Feld für URL-Listen, auf der Kommandozeile mit %L urls.txt.
• Prüfen Sie Ihre Filter. Eine Regel wie -*?*, die Query-Strings ausschließt, schließt auch ?page=2 aus.
• Prüfen Sie das Verzeichnis. Liegen die Artikel unter /posts/, Sie haben aber unter /blog/ gestartet, lesen Sie den Punkt zum Startverzeichnis unten.

Ursache 4: Tiefe, Scan-Regeln und die Einstellung „Store HTML files“

Ist das HTML normal, sind die Links vorhanden und ist das Log sauber, liegt es fast immer an einer Einstellung:

• Spiegeltiefe. Standardmäßig ist die Tiefe praktisch unbegrenzt, doch eine Tiefe von 1 (Set options > Limits > Maximum mirroring depth oder -r1) speichert nur die Startseite. Leeren Sie das Feld oder setzen Sie einen sinnvollen Wert wie -r20.
• Startverzeichnis. Standardmäßig geht HTTrack vom Ordner der Start-URL nur abwärts. Starten Sie bei https://example.com/blog/beitrag.html, wird nichts außerhalb von /blog/ verfolgt. Starten Sie im Hauptverzeichnis oder erlauben Sie mit -B (auf- und abwärts) unter Experts Only > Global travel mode auch den Weg nach oben.
• Scan-Regeln. Ein breiter Ausschluss wie -* oder -*.html ohne passende +-Regeln blockiert jede Unterseite. Entfernen Sie Reste aus früheren Projekten.
• Primary Scan Rule. Das ist die Lösung, die in alten Forenbeiträgen versteckt ist. Stellen Sie unter Experts Only > Primary Scan Rule sicher, dass HTML tatsächlich gespeichert wird: Wählen Sie „Store all files (default)“ oder „Store html files“, niemals „Just scan“ oder „Store non html files“. Auf der Kommandozeile entspricht das -p3 (alle Dateien) bzw. -p1 (nur HTML).
• Veralteter Cache. Haben Sie „Continue interrupted download“ oder „Update existing download“ gewählt, verwendet HTTrack hts-cache weiter und überspringt womöglich Seiten, die es schon zu haben glaubt. Löschen Sie den Ordner hts-cache oder legen Sie ein neues Projekt an.

Alle Lösungen zusammen ergeben einen recht großzügigen Befehl wie diesen. Nehmen Sie -s0 nur auf, wenn das Ignorieren von robots.txt angemessen ist:

httrack "https://www.example.com/" -O "./example-mirror" "+*example.com/*" -d -r20 -p3 -s0 -F "Mozilla/5.0 (Windows NT 10.0; Win64; x64)" -c2 -v

Kommen die Seiten jetzt an, sehen aber kaputt aus, ist das ein anderes Problem. Dazu mehr in Heruntergeladene Website ohne Bilder und CSS? Die Lösung.

Hat wget --mirror dasselbe Problem mit nur einer index.html?

Ja, aus denselben Gründen. Ein typischer Spiegel-Befehl lautet:

wget --mirror --page-requisites --convert-links --adjust-extension --no-parent https://www.example.com/

Die Entsprechungen zu den HTTrack-Lösungen:

• Weiterleitungen: Starten Sie mit der endgültigen URL. Um beide Hosts zu erlauben, ergänzen Sie --span-hosts --domains=example.com,www.example.com.
• robots.txt: wget beachtet sie standardmäßig. -e robots=off schaltet das ab, mit denselben Überlegungen wie oben.
• User-Agent: --user-agent="Mozilla/5.0 ...".
• Startverzeichnis: --no-parent hält wget unterhalb des Startordners. Lassen Sie die Option weg oder starten Sie im Hauptverzeichnis.
• Tiefe: --mirror beinhaltet bereits unbegrenzte Tiefe.
• JavaScript: Auch wget führt es nicht aus; JavaScript-Navigation scheitert also bei beiden Werkzeugen gleichermaßen.

Wie Sie wget und HTTrack konkret auf der Kommandozeile einsetzen, zeigt Ganze Website herunterladen unter Linux: 4 Wege.

Wann ein Online-Downloader die einfachere Lösung ist – und wann nichts hilft

Lag Ihr Problem an der Konfiguration (Tiefe, Verzeichnisse, Scan-Regeln, veralteter Cache), nimmt Ihnen ein Online-Tool diese Ebene ab. Mit Website Downloader geben Sie die Adresse ein, sehen live, wie die Seitenzahl steigt, und erhalten die Website als eine ZIP-Datei, die sich offline in jedem Browser öffnen lässt. Es gibt nichts zu installieren und keine Optionsreiter, bei denen man sich vertun kann. Die kostenlose Variante braucht kein Konto und umfasst bis zu 100 Unterseiten. Ein einmaliger Single-Site-Download für 7,99 EUR umfasst bis zu 5000 Unterseiten. Die übrigen Optionen finden Sie auf der Preisseite, die Vor- und Nachteile gegenüber HTTrack in HTTrack Alternative: Website Downloader online ohne Installation.

In diesen Fällen hilft auch ein Werkzeugwechsel nicht:

• Seiten hinter einem Login werden mit keinem dieser Ansätze heruntergeladen.
• Reine JavaScript-Websites können ein Archiv ergeben, das zwar das Seitengerüst enthält, aber nicht den Inhalt – egal mit welchem Crawler.
• Websites, die automatische Downloads mit einem 403 ablehnen, lehnen sie weiterhin ab. Website Downloader meldet diese Ablehnung, statt Ihnen ein leeres Archiv zu liefern, kann sie aber nicht umgehen.
• Serverfunktionen wie Suche, Formulare, Warenkörbe und Kommentare funktionieren in einer Offline-Kopie nie.

Ist die Website, die Sie sichern möchten, bereits offline, kommt Crawlen gar nicht mehr infrage. Eine Wiederherstellung aus dem Internet Archive mit dem Wayback Machine Downloader kann dann noch funktionieren. Wie das abläuft, beschreibt Website aus der Wayback Machine wiederherstellen.

FAQ

Warum ist HTTrack nach wenigen Sekunden fertig und hat nur index.html geladen?

Ein Crawl, der nach Sekunden endet, hat nach der ersten Seite keine Links gefunden, denen er folgen durfte. Der häufigste Grund ist eine Weiterleitung von http auf https oder von example.com auf www.example.com, wodurch jeder Link extern wirkt. Suchen Sie in hts-log.txt nach einem „moved“-Hinweis und starten Sie dann neu mit der exakten endgültigen URL und der Scan-Regel +*example.com/*.

Wie bringe ich HTTrack dazu, Links zu Unterseiten zu folgen?

Starten Sie im Hauptverzeichnis mit der endgültigen, weitergeleiteten Adresse. Lassen Sie die Spiegeltiefe leer oder setzen Sie sie hoch. Erlauben Sie beide Host-Varianten per Scan-Regel und stellen Sie sicher, dass die Primary Scan Rule HTML-Dateien speichert. Zeigt der Seitenquelltext keine <a href>-Links, wird die Navigation per JavaScript erzeugt, und HTTrack kann ihr nicht folgen.

Wie verhindere ich, dass HTTrack www und ohne www bzw. http und https als verschiedene Websites behandelt?

Fügen Sie die Scan-Regel +*example.com/* hinzu. Sie lässt Protokoll und www-Präfix weg und passt deshalb auf jede Variante. Alternativ stellen Sie den Travel Mode mit -d auf „in derselben Domain bleiben“. Wenn Sie von vornherein mit der Adresse starten, bei der der Browser am Ende landet, vermeiden Sie das Problem meist ganz.

Ignoriert HTTrack robots.txt, und sollte ich das abschalten?

Nein, HTTrack beachtet robots.txt und Meta-Robots-Tags standardmäßig. Abschalten können Sie das in den Spider-Optionen oder mit -s0. Für Ihre eigene Website ist das in Ordnung. Bei fremden Websites sollten Sie Erlaubnis und Zweck bedenken, langsam crawlen und berücksichtigen, dass die Rechtslage von Ihrem Land und Ihrer Situation abhängt.