Workflow Übersicht
Dieser Workflow hat zum Ziel, Sprachmodelle (LLM) zu testen und deren Antworten zu analysieren, um deren Effektivität in Bezug auf Lesbarkeit und Relevanz zu bewerten. Dies geschieht durch verschiedene Schritte, die nacheinander ausgeführt werden.
Node Beschreibung
1. Sticky Note
Typ: n8n-nodes-base.stickyNote
Aktivität: Dieser Knoten bietet eine Übersicht über die Lesbarkeitsbewertung der Texte, die von den Sprachmodellen erzeugt werden. Er zeigt, in welchen Ranges die Lesbarkeit je nach Punktzahl fällt.
2. Get Models
Typ: n8n-nodes-base.httpRequest
Aktivität: Ruft eine Liste der auf dem LM Studio Server geladenen Modelle ab. Die URL ist auf die lokale Serveradresse eingestellt. Es ist wichtig, die IP-Adresse korrekt einzustellen, um die Modelle abzurufen.
Einstellungen:
URL: http://192.168.1.179:1234/v1/models
Timeout: 10000
3. Sticky Note1
Typ: n8n-nodes-base.stickyNote
Aktivität: Diese Notiz erinnert den Benutzer daran, die Basis-URL zu ändern, um sie an die IP-Adresse des LM Studio-Servers anzupassen.
4. When chat message received
Typ: @n8n/n8n-nodes-langchain.chatTrigger
Aktivität: Auslösen des Workflows, wenn eine Chatnachricht empfangen wird.
5. Sticky Note2
Typ: n8n-nodes-base.stickyNote
Aktivität: Anleitung zur Installation und Einrichtung von LM Studio, um die benötigten Modelle zu laden.
6. Sticky Note3
Typ: n8n-nodes-base.stickyNote
Aktivität: Bietet Empfehlungen zur Anpassung der LM-Einstellungen, um die Reaktion der Modelle zu steuern, einschließlich Temperatur und Top-P-Wert.
7. Get timeDifference
Typ: n8n-nodes-base.dateTime
Aktivität: Berechnet die Zeitdifferenz zwischen dem Start- und Endzeitpunkt.
8. Sticky Note4
Typ: n8n-nodes-base.stickyNote
Aktivität: Gibt Anweisungen zur Erstellung eines Google Sheets zur Erfassung der Testergebnisse.
9. Sticky Note5
Typ: n8n-nodes-base.stickyNote
Aktivität: Übersicht der Schritte, die zur Einrichtung des Workflows erforderlich sind, einschließlich der Installation von LM Studio.
10. Sticky Note6
Typ: n8n-nodes-base.stickyNote
Aktivität: Vorschläge für Systemaufforderungen, um die Modellantworten zu steuern.
11. Run Model with Dynamic Inputs
Typ: @n8n/n8n-nodes-langchain.lmChatOpenAi
Aktivität: Führt das ausgewählte Sprachmodell mit dynamischen Eingaben aus.
12. Analyze LLM Response Metrics
Typ: n8n-nodes-base.code
Aktivität: Analysiert die Antwort des LLMs hinsichtlich Wort- und Satzanzahl sowie Lesbarkeitsbewertung.
13. Save Results to Google Sheets
Typ: n8n-nodes-base.googleSheets
Aktivität: Speichert die Analyseergebnisse in Google Sheets, was eine einfache Überprüfung der Testergebnisse ermöglicht.
14. Capture End Time
Typ: n8n-nodes-base.dateTime
Aktivität: Erfasst den Endzeitpunkt der Analyse.
15. Capture Start Time
Typ: n8n-nodes-base.dateTime
Aktivität: Erfasst den Startzeitpunkt der Analyse.
16. Prepare Data for Analysis
Typ: n8n-nodes-base.set
Aktivität: Bereitet die Daten für die Analyse vor, indem sie relevante Informationen zusammenstellt.
17. Extract Model IDsto Run Separately
Typ: n8n-nodes-base.splitOut
Aktivität: Teilt die Liste der Modelle für die Verwendung in separaten Ausführungen auf.
18. Sticky Note7
Typ: n8n-nodes-base.stickyNote
Aktivität: Hinweis, dass die Google Sheets-Node optional ist und die Ergebnisse manuell überprüft werden können.
19. Add System Prompt
Typ: n8n-nodes-base.set
Aktivität: Fügt einen Systemprompt hinzu, um das Modell bei der Generierung der Antwort zu steuern.
20. LLM Response Analysis
Typ: @n8n/n8n-nodes-langchain.chainLlm
Aktivität: Analysiert die Antwort des LLMs unter Berücksichtigung des hinzugefügten Systemprompts.
21. Sticky Note8
Typ: n8n-nodes-base.stickyNote
Aktivität: Pro-Tipp zur Vermeidung von möglichen Problemen bei der Analyse von Antworten.
Ergebnis
Mit diesem Workflow können neue Benutzer von n8n lernen, wie man mehrere Sprachmodelle gleichzeitig testet, deren Antworten analysiert und die Ergebnisse effizient speichert. Es bietet ein umfassendes Verständnis dafür, wie man die n8n-Plattform zur Automatisierung von Aufgaben im Zusammenhang mit der Verarbeitung von Sprachmodellen nutzt.
Download Link: Hier herunterladen
