Hast du schon einmal bei der Arbeit oder in der Schule versucht, eine wichtige Webseite erneut aufzurufen, nur um festzustellen, dass sie plötzlich überarbeitet, Inhalte gelöscht oder die gesamte Webseite verschwunden ist? Solche Situationen sind besonders häufig bei Nachrichten, Forschungsdaten oder Investitionsinformationen, insbesondere jetzt, wo sich die Online-Inhalte rasant ändern und es schwierig ist, nur mit Lesezeichen oder dem Browserverlauf eine vollständige Speicherung zu gewährleisten. ArchiveBox ist ein Open-Source-Tool, das speziell dafür entwickelt wurde, automatisch URLs, Browserverläufe, Lesezeichen und sogar Sammlungen von Pocket oder Pinboard zu erfassen, alle HTML-, JS-, PDF- und Mediendateien herunterzuladen und zu archivieren, sodass du sie jederzeit offline einsehen kannst. Es richtet sich an Forscher, Journalisten, Geschichtsinteressierte oder jeden, der langfristig Online-Ressourcen speichern möchte.
Importiere Browserverlauf und Lesezeichen, erstelle automatisch ein vollständiges Archiv
Der größte Vorteil von ArchiveBox liegt darin, dass es eine Vielzahl von Eingangsquellen unterstützt und deine Browserverläufe und Lesezeichen sowie Drittanbieterdienste wie Pocket und Pinboard auf einmal verarbeiten kann. Stell dir vor, du musst nur die Verlaufsdatei von Chrome oder Firefox importieren, und das System wird jede URL nacheinander crawlen und eine vollständige Momentaufnahme der Webseite speichern, einschließlich aller Bilder, Videos und Skripte. Dieser Prozess bewahrt nicht nur das ursprüngliche Erscheinungsbild, sondern generiert auch verschiedene Formate wie einseitige HTML-Dateien, PDFs und Screenshots, die eine spätere Suche und den Vergleich erleichtern.
Nachdem du die Benutzeroberfläche von ArchiveBox geöffnet hast, siehst du eine saubere Listenansicht, in der jedes Archivobjekt Titel, Datum und Vorschau anzeigt. Es verfügt auch über eine integrierte Suchfunktion, mit der du Ergebnisse schnell nach Schlüsselwörtern filtern kannst. Wenn du beispielsweise „2023 Finanzbericht“ eingibst, kannst du sofort die entsprechenden Archive abrufen. Im Vergleich zu herkömmlichen Lesezeichen-Tools speichert ArchiveBox nicht nur Links, sondern stellt auch sicher, dass die Inhalte immer verfügbar sind, selbst wenn die ursprüngliche Seite offline geht.
Speichere mehrere Zeitstempel-Snapshots einer einzelnen URL, um Inhaltsänderungen zu verfolgen
Online-Inhalte sind nicht statisch, und ArchiveBox versteht das. Daher unterstützt es das mehrfache Archivieren derselben URL und erstellt bei jedem Mal eine unabhängige Momentaufnahme. Du kannst zeitgesteuerte Aufgaben einrichten, um beispielsweise wöchentlich eine bestimmte Liste automatisch neu zu crawlen, sodass du problemlos Webseitenaktualisierungen verfolgen kannst, wie z.B. Nachrichtenberichterstattung, Preisänderungen oder politische Anpassungen. Diese Funktion ist besonders nützlich, um Wettbewerber zu überwachen oder langfristige Forschungsprojekte zu betreuen und keine entscheidenden Veränderungen zu verpassen.
In der praktischen Anwendung wird jeder Snapshot mit einem Zeitstempel versehen und die Benutzeroberfläche zeigt eine Vorschau der Unterschiede an, indem sie mit einem Diff-Tool die hinzugefügten oder entfernten Teile hervorhebt. Diese Verwaltung mehrerer Versionen ähnelt der Versionskontrolle von Git, ist jedoch speziell für Webseiten konzipiert und stellt ein seltenes, durchdachtes Design in selbstgehosteten Tools dar.
Umgehe Anti-Crawling-Mechanismen, greife auf private Inhalte und dynamische JS-Seiten zu
Viele Webseiten blockieren automatisierte Tools oder verlangen eine Anmeldung, um Crawling zu verhindern. ArchiveBox bietet verschiedene Workarounds an, wie z.B. die Verwendung eines Headless-Browsers zur Simulation menschlicher Interaktionen, was die Erfolgsquote erheblich erhöht. Für private Inhalte kannst du über ein VPN oder benutzerdefinierte Header auf Mitgliederbereiche zugreifen, wobei du jedoch vorsichtig mit Sicherheitsrisiken sein solltest, insbesondere wenn du archiviertes JS ausführst, da dies möglicherweise bösartigen Code verbergen könnte.
Darüber hinaus unterstützt es benutzerdefinierte Ausschlusslisten, um das Archivieren sensibler oder nutzloser Seiten zu vermeiden. Diese erweiterten Einstellungen machen ArchiveBox nicht nur zu einem einfachen Crawler, sondern zu einer professionellen selbstgehosteten Archivlösung, die sich für fortgeschrittene Benutzer eignet, die eine tiefere Kontrolle benötigen.
Einfache Selbstbereitstellung, Open Source und jederzeit erweiterbar
Als nativen Docker-Tool erfordert die Installation von ArchiveBox nur einige Befehle, um auf einem Raspberry Pi oder VPS zu laufen, ohne komplizierte Konfigurationen. Es verwendet SQLite als Datenbank, hat einen niedrigen Ressourcenverbrauch und eignet sich für Einzelpersonen oder kleine Teams. Die Open-Source-Natur bedeutet, dass du den Code nach Belieben ändern, benutzerdefinierte Extractoren hinzufügen oder andere Dienste integrieren kannst, was langfristig ein hervorragendes Preis-Leistungs-Verhältnis bietet.
Zusammenfassend lässt sich sagen, dass ArchiveBox das Problem der Verfälschung von Online-Inhalten löst und eine zuverlässige selbstkontrollierte Archivlösung bietet. Wenn du häufig mit Forschung oder Sammlungen zu tun hast, ist es einen Versuch wert.
Produktname: ArchiveBox
Offizielle Webseite: https://github.com/ArchiveBox/ArchiveBox