Workflow Struktur
Dieser Workflow ist in mehrere Schritte unterteilt, die aufeinander aufbauen, um URLs und Texte von Webseiten zu extrahieren und Daten in einer bestimmten Struktur zu speichern.
1. Auslöser (Execute workflow)
Name: Execute workflow
Typ: manualTrigger
Beschreibung: Dies ist der Auslöser des Workflows, der manuell aktiviert wird.
2. Unternehmen abrufen (Get companies)
Name: Get companies
Typ: supabase
Beschreibung: Dieser Knoten ruft eine Liste von Unternehmensnamen und -webseiten aus einer Supabase-Tabelle ab.
Einstellungen:
- Tabelle: companies_input
- Operation: getAll
3. Unternehmensname und Webseite auswählen (Select company name and website)
Name: Select company name and website
Typ: set
Beschreibung: Hier werden die benötigten Felder, ’name‘ und ‚website‘, aus den abgerufenen Daten ausgewählt.
4. Soziale Medien-Array einrichten (Set social media array)
Name: Set social media array
Typ: set
Beschreibung: Dieses Array wird vorbereitet, um die später extrahierten sozialen Medien-URLs zu speichern.
5. Crawlen der Webseite (Crawl website)
Name: Crawl website
Typ: agent
Beschreibung: Dies ist der wichtigste Knoten, der die Crawling-Agentenlogik implementiert.
Einstellungen: Er nimmt die Webseite als Eingabe und verwendet einen definierten Systemnachricht-Prompt, um die sozialen URLs zu extrahieren.
6. Text-Tool (Text)
Name: Text
Typ: toolWorkflow
Beschreibung: Dieses Tool ruft den gesamten Text von der angegebenen Webseite ab, um ihn für die Analyse vorzubereiten.
7. URLs-Tool (URLs)
Name: URLs
Typ: toolWorkflow
Beschreibung: Hiermit werden alle URLs von der angegebenen Webseite extrahiert, die später verarbeitet werden.
8. Zusammenführen aller Daten (Merge all data)
Name: Merge all data
Typ: merge
Beschreibung: Dieser Knoten kombiniert alle gesammelten Informationen in einem einzigen Datensatz für die weitere Verarbeitung.
9. Neue Zeile einfügen (Insert new row)
Name: Insert new row
Typ: supabase
Beschreibung: Fügt die gesammelten und aggregierten Daten in die Ausgangstabelle ein.
10. JSON-Parser (JSON Parser)
Name: JSON Parser
Typ: outputParserStructured
Beschreibung: Validiert und formatiert die Ausgabe in der gewünschten Struktur.
Ergebnis
Nach der Ausführung dieses Workflows werden die Daten in der Supabase-Datenbank gespeichert, und die URL-Krallvorgänge werden für jede angegebene Webseite durchgeführt. Es ermöglicht eine effiziente, automatisierte Methode zur Extraktion von sozialen Medien-Profilen.