Workflow Beschreibung im Detail
In diesem Workflow „HN Who is Hiring Scrape“ wird eine automatisierte Methode geschaffen, um Daten über Stellenangebote von Hacker News zu sammeln und zu strukturierten Daten zu verarbeiten, die anschließend in Airtable gespeichert werden.
1. When clicking ‘Test workflow’ (Node ID: f7cdb3ee-9bb0-4006-829a-d4ce797191d5)
- Typ: Manual Trigger
- Beschreibung: Dieser Knoten initiiert den Workflow manuell. Er wird aktiviert, wenn der Benutzer auf die Schaltfläche „Test workflow“ klickt.
2. Sticky Note (Node ID: 0475e25d-9bf4-450d-abd3-a04608a438a4)
- Typ: Sticky Note
- Beschreibung: Ein Notiz-Knoten, der wichtige Informationen zur Verwendung der Algolia API bereitstellt, um die Daten zu filtern und den API-Aufruf vorzubereiten.
- Parameter: Inhalte enthalten Schritte zur API-Nutzung.
3. Search for Who is hiring posts (Node ID: b84ca004-6f3b-4577-8910-61b8584b161d)
- Typ: HTTP Request
- Beschreibung: Führt eine POST-Anfrage an die Algolia API durch, um Stellenangebote zu suchen.
- Parameter: Mit der Anfrage wird nach „Ask HN: Who is hiring“ gesucht, und es werden verschiedene zusätzliche Parameter definiert, um die Anfrage zu verfeinern.
4. Split Out (Node ID: a686852b-ff84-430b-92bb-ce02a6808e19)
- Typ: Split Out
- Beschreibung: Teilt die API-Antwort in einzelne Treffer (hits) auf, damit jeder Treffer separat verarbeitet werden kann.
5. Get relevant data (Node ID: 205e66f6-cd6b-4cfd-a6ec-2226c35ddaac)
- Typ: Set
- Beschreibung: Dieser Knoten extrahiert relevante Daten aus den Treffern, die zuvor abgerufen wurden, wie Titel, Erstellungsdatum und Story-ID.
- Parameter: Definiert Variablen, die die benötigten Werte zuweisen.
6. Get latest post (Node ID: 16bc5628-8a29-4eac-8be9-b4e9da802e1e)
- Typ: Filter
- Beschreibung: Prüft, ob der Beitrag innerhalb der letzten 30 Tage erstellt wurde, um nur die neuesten Beiträge zu behalten.
7. HI API: Get the individual job post (Node ID: 7466fb0c-9f0c-4adf-a6de-b2cf09032719)
- Typ: HTTP Request
- Beschreibung: Führt eine Anfrage an die Hacker News API durch, um die einzelnen Stellenangebote zu erhalten.
8. Clean text (Node ID: acb68d88-9417-42e9-9bcc-7c2fa95c4afd)
- Typ: Code
- Beschreibung: Bearbeitet und reinigt den abgerufenen Text von HTML-Elementen und unerwünschten Zeichen.
- Parameter: JavaScript-Code, der komplexe Reinigungsoperationen ausführt.
9. Trun into structured data (Node ID: d0836aae-b98a-497f-a6f7-0ad563c262a0)
- Typ: Chain LLM
- Beschreibung: Verwendet OpenAI GPT-4o-mini, um die gesammelten Rohdaten in ein strukturiertes Format zu überführen.
10. Write results to Airtable (Node ID: 1ca5c39f-f21d-455a-b63a-702e7e3ba02b)
- Typ: Airtable
- Beschreibung: Dieser Knoten erstellt neue Einträge in Airtable mit den strukturierten Daten von den vorherigen Knöpfen.
- Parameter: Definiert, welche Felder in der Airtable-Tabelle ausgefüllt werden sollen.
Ergebnis
Durch diesen Workflow wird eine automatisierte Methode bereitgestellt, um Stellenangebote von Hacker News zu erfassen und diese strukturiert in Airtable zu speichern. Dies vereinfacht den Prozess der Datensammlung und ermöglicht eine einfache Verwaltung und Anzeige der erfassten Informationen.
Download Link: Hier klicken, um die Workflow-Datei herunterzuladen
