Web Scraping und Zusammenfassung von Essays

Einführung

In diesem Workflow werden wir den Prozess des Abrufens und Zusammenfassens von Essays von Paul Graham automatisieren. Der Workflow nutzt n8n, um die Artikel von einer Website zu scrapen, die Titel zu extrahieren und diese dann mithilfe von GPT-4 zu summarisieren.

Workflow Schritte

1. Manuelle Auslösung

• Name: When clicking „Execute Workflow“
• Typ: Manual Trigger
• Beschreibung: Dieser Node ermöglicht es dem Nutzer, den Workflow manuell zu starten.
• Parameter: Keine speziellen Einstellungen erforderlich.

2. Abrufen der Essayliste

• Name: Fetch essay list
• Typ: HTTP Request
• Beschreibung: Dieser Node ruft die Liste der Essays von der Website Paul Graham ab.
• Parameter:
  • URL: http://www.paulgraham.com/articles.html
  • Optionen: Keine speziellen Optionen gesetzt.

3. Extrahieren der Essaynamen

• Name: Extract essay names
• Typ: HTML
• Beschreibung: Dieser Node extrahiert die Links zu den Essays von der HTML-Antwort der vorherigen HTTP-Anfrage.
• Parameter:
  • CSS Selektor: table table a (um die Links zum Essays zu finden)
  • Rückgabewert: attribute (wir erhalten die href-Attribute der Links)
  • Rückgabe als Array: True (wir erwarten mehrere Essays)

  >

4. Abrufen der Essaytexte

• Name: Fetch essay texts
• Typ: HTTP Request
• Beschreibung: Dieser Node ruft den Text eines Essays ab, indem er den Link verwendet, der aus dem vorherigen Node extrahiert wurde.
• Parameter:
  • URL: http://www.paulgraham.com/{{ $json.essay }}
  • Optionen: Keine speziellen Optionen gesetzt.

5. Titel extrahieren

• Name: Extract title
• Typ: HTML
• Beschreibung: Dieser Node extrahiert den Titel des Essays aus der HTML-Antwort.
• Parameter:
  • CSS Selektor: title

6. Daten bereinigen

• Name: Clean up
• Typ: Set
• Beschreibung: In diesem Schritt erstellen wir ein Objekt mit dem Titel, einer Zusammenfassung und der URL des Essays.
• Parameter:
  • Felder:
    • Titel: {{ $json.title }}
    • Zusammenfassung: {{ $json.response.text }}
    • URL: http://www.paulgraham.com/{{ $('Limit to first 3').item.json.essay }}

7. Sticky Notes

• Name: Sticky Note und Sticky Note1
• Typ: Sticky Note
• Beschreibung: Diese Nodes sind zur Visualisierung und Dokumentation des Workflows gedacht. Sie enthalten Kommentare zum Zweck der einzelnen Schritte.

8. Aufteilen in Elemente

• Name: Split out into items
• Typ: SplitOut
• Beschreibung: Teilt die extrahierten Essays in einzelne Elemente auf.
• Parameter:
  • Feld zum Aufteilen: essay

9. Limitiere auf die ersten 3

• Name: Limit to first 3
• Typ: Limit
• Beschreibung: Begrenzt die Anzahl der Essays auf die ersten drei, um die Verarbeitung zu beschleunigen.
• Parameter:
  • Maximale Elemente: 3

10. Daten-Loader für Dokumente

• Name: Default Data Loader
• Typ: Default Data Loader
• Beschreibung: Lädt die Dokumente für die Zusammenfassung.
• Parameter: Keine speziellen Optionen gesetzt.

11. Texterkennung

• Name: Recursive Character Text Splitter
• Typ: Text Splitter
• Beschreibung: Zerteilt den Text in kleinere, verarbeitbare Teile.
• Parameter: Keine speziellen Optionen gesetzt.

12. OpenAI Chat Modell

• Name: OpenAI Chat Model1
• Typ: LM Chat OpenAi
• Beschreibung: Nutzt das GPT-4 Modell, um die Texte zu verarbeiten und zusammenzufassen.
• Parameter:
  • Modell: gpt-4o-mini

13. Mergen

• Name: Merge
• Typ: Merge
• Beschreibung: Kombiniert die bearbeiteten Daten in einem Format.
• Parameter:
  • Modus: combine

14. Zusammenfassungs-Chain

• Name: Summarization Chain
• Typ: Chain Summarization
• Beschreibung: Steuert den gesamten Prozess der Datenübergabe zwischen den Nodes für die Zusammenfassung.
• Parameter:
  • Modus: documentLoader

Ergebnis

Dieser Workflow ermöglicht es Ihnen, die neuesten Essays von Paul Graham automatisch abzurufen und zu summarizieren, wodurch Sie effizienter auf Inhalte zugreifen können, ohne jedes Essay manuell lesen zu müssen.

Der Workflow ist eine hervorragende Ressource für alle, die n8n verstehen und automatisierte Workflows entwickeln möchten.