Grosse_Haufen — Thread-Scraper
Scraper für den "Große Haufen"-Thread im Haustechnikdialog-Forum
scrape.py: Hauptskript — lädt Thread-Seiten, parst Beiträge aus der Forumstabelle und schreibtthread_posts.json.requirements.txt: minimale Abhängigkeiten (requests,beautifulsoup4).thread_posts.json: exportierte Beiträge (Array von Objekten mitpage,author,timestamp,likes,post_id,text).thread_posts.html: einfache lokale Viewer-Seite, zeigt alle Posts untereinander (fallsfetchscheitert: Dateiupload nutzen).
Kurzanleitung
- Abhängigkeiten installieren:
pip install -r requirements.txt
- Scraper starten (erzeugt
thread_posts.json):
python scrape.py
- Viewer öffnen (lokaler Server empfohlen):
python -m http.server 8000
# dann öffnen: http://localhost:8000/thread_posts.html
Kontext & kultureller Wert
Der gescrapte Thread "Große Haufen" (HaustechnikDialog, 2005) ist ein charakteristisches Beispiel früher deutscher Forenkommunikation: er zeigt kollektiven Humor, ironische Überzeichnungen und die Art, wie sich Themen in Communitys viral verbreiten. Solche Threads sind wertvoll für die Untersuchung von Netzkultur, Meme-Entwicklung, Diskursdynamiken und sprachlicher Variation im deutschsprachigen Web. Bei Nutzung zu Forschungszwecken bitte Quellen und Urheberrechte beachten; vermeide Publikationen, die sensible Inhalte ohne Kontext reproduzieren.
Hinweis
Dieses Projekt ist als Experiment/Archiv gedacht. Wenn du das Scrapen für andere Seiten verwendest, respektiere die Nutzungsbedingungen, Robots-Policies und Datenschutz.
Wenn du möchtest, kann ich die Timestamps in ISO-Format umwandeln oder zusätzliche Felder (z. B. author_id) extrahieren.