Chat mit lokalen LLMs und n8n und Ollama

Workflow Überblick

Dieses n8n-Workflow ermöglicht es Ihnen, nahtlos mit Ihren selbstgehosteten großen Sprachmodellen (LLMs) über eine benutzerfreundliche Chat-Schnittstelle zu interagieren. Indem Sie sich mit Ollama verbinden, einem leistungsstarken Tool zur Verwaltung lokaler LLMs, können Sie Eingabeaufforderungen senden und direkt innerhalb von n8n AI-generierte Antworten erhalten.

Schritt-für-Schritt-Anleitung zu den Nodes

1. When chat message received

• Typ: @n8n/n8n-nodes-langchain.chatTrigger
• Funktion: Dieser Node empfängt Chatnachrichten von Benutzern, sobald eine Nachricht eingeht.
• Einstellungen:
  • Webhook ID: ebdeba3f-6b4f-49f3-ba0a-8253dd226161

  Dieser eine ID hilft, eingehende Nachrichten zu identifizieren und weiterzuleiten.

2. Ollama Chat Model

• Typ: @n8n/n8n-nodes-langchain.lmChatOllama
• Funktion: Verbindet sich mit dem Ollama-API, um eingehende Nachrichten an das LLM zur Verarbeitung zu senden.
• Einstellungen:
  • Credentials:
    Verwendet die Anmeldeinformationen für Ollama API (Name: Local Ollama)

  Dies stellt sicher, dass die Kommunikation zur API authentifiziert ist.

3. Chat LLM Chain

• Typ: @n8n/n8n-nodes-langchain.chainLlm
• Funktion: Verarbeitet die vom Benutzer eingegebene Nachricht über das Ollama-LLM und erhält eine generierte Antwort.
• Einstellungen: Standardwerte ohne spezifische Anpassungen.
  Dies erlaubt eine automatische Verarbeitung, indem es die zuvor definierte Verbindung nutzt.

4. Sticky Note

• Typ: n8n-nodes-base.stickyNote
• Funktion: Stellt wichtige Informationen übersichtlich dar.
  Hier zeigt es die Anleitung, wie man mit diesem Workflow arbeitet.
• Einstellungen:
  • Inhalt: Enthält die Einführung und die Funktionsweise des Workflows.

5. Sticky Note1

• Typ: n8n-nodes-base.stickyNote
• Funktion: Geben Sie eine kurze Anleitung zur Einrichtung von Ollama an, die für Benutzer wichtig ist, die den Workflow nutzen möchten.
• Einstellungen:
  • Inhalt: Beschreibt, wie sich Ollama lokal verbinden lässt, einschließlich Docker-Hinweisen.

Ergebnis

Mit diesem Workflow können Benutzer effektiv und einfach mit ihren lokal gehosteten LLMs über eine intuitiv gebaute Chatoberfläche interagieren und dabei die Leistungsfähigkeit von Ollama voll ausschöpfen.

Download Link

Hier klicken, um die Workflow-Datei herunterzuladen.