Workflow Übersicht
Dieser n8n Workflow wurde entwickelt, um die monatlichen Stellenangebote von Hacker News zu scrapen und die relevanten Informationen in einer strukturierten Form zu speichern. Der Workflow nutzt die Algolia-Suche und die Hacker News API, um die Daten zu extrahieren und in Airtable zu speichern.
Node Beschreibung
1. When clicking ‘Test workflow’
Typ: Manual Trigger
Funktion: Dies ist der erste Schritt im Workflow, der manuell aktiviert wird, um den Prozess zu starten.
2. Sticky Note
Typ: Sticky Note
Funktion: Hier wird eine Notiz angezeigt, die wichtige Informationen zum Scraping-Prozess enthält, einschließlich Links zu Algolia und den benötigten API-Endpunkten.
3. Split Out
Typ: Split Out
Funktion: Teilt das JSON-Datenobjekt in separate Elemente auf, basierend auf dem Feld „hits“, um die Ergebnisse für die weitere Verarbeitung vorzubereiten.
4. Sticky Note1
Typ: Sticky Note
Funktion: Bietet zusätzliche Hinweise zur Verwendung von API-Endpunkten von Hacker News.
5. OpenAI Chat Model
Typ: OpenAI Chat Model
Funktion: Verwendet das GPT-4o-mini Modell, um die eingehenden Daten zu analysieren und Strukturierung auszuführen.
6. Structured Output Parser
Typ: Structured Output Parser
Funktion: Definiert das Schema der strukturierten Ausgabe, das die Felder wie „Unternehmen“, „Titel“, „Ort“ usw. beschreibt.
7. Search for Who is hiring posts
Typ: HTTP Request
Funktion: Diese Node sendet eine POST-Anfrage an die Algolia-API, um aktuelle Stellenangebote mit dem Suchbegriff „Ask HN: Who is hiring“ abzurufen.
8. Get relevant data
Typ: Set
Funktion: Extrahiert relevante Daten wie Titel, Erstellungsdatum und Story-ID aus den API-Antworten.
9. Get latest post
Typ: Filter
Funktion: Filtert die Ergebnisse, um nur die letzten Posts auszuwählen, die innerhalb der letzten 30 Tage erstellt wurden.
10. Split out children (jobs)
Typ: Split Out
Funktion: Teilt die Kinder-Posts (Jobs) aus der Hauptantwort auf, um sie separat zu verarbeiten.
11. Trun into structured data
Typ: Chain LLM
Funktion: Analysiert und wandelt den gereinigten Text in eine strukturierte Datenform um, indem KI unterstützte Verarbeitung verwendet wird.
12. Clean text
Typ: Code
Funktion: Führt Bereinigungsoperationen auf dem extrahierten Text durch, um unerwünschte HTML-Tags und spezielle Zeichen zu entfernen.
13. Limit for testing (optional)
Typ: Limit
Funktion: Setzt ein Limit für die Anzahl der zu verarbeitenden Elemente zu Testzwecken, um die Effizienz während der Entwicklung zu erhöhen.
14. Write results to airtable
Typ: Airtable
Funktion: Speichert die strukturierten Daten in einer Airtable-Datenbank, um den Zugriff und die Organisation zu erleichtern.
Ergebnis
Der Workflow ermöglicht es, die monatlichen HN Who is Hiring-Posts effizient zu scrapen, die Daten zu bereinigen und sie in einer leicht zugänglichen Datenbank zu speichern. Dies ist besonders nützlich für Jobsuchende und Unternehmen auf der Suche nach Talenten.
Download Link: Hier herunterladen