Chat mit lokalen LLMs mithilfe von n8n und Ollama

Dieser Workflow ermöglicht es Ihnen, nahtlos mit Ihren selbst gehosteten Large Language Modellen (LLMs) über eine benutzerfreundliche Chat-Oberfläche zu interagieren.

Chat mit lokalen LLMs mithilfe von n8n und Ollama

Die Website nutzt die Wordpress-Infrastruktur.

Server: Unser Server befindet sich in einem Unternehmen mit Sitz in Deutschland. Er hat eine hohe und schnelle Internetverbindung. Es gibt eine Generatorunterstützung für ununterbrochenen Strom.

Beschreibung des Workflows

Dieser n8n Workflow ermöglicht die Interaktion mit selbst gehosteten Large Language Models (LLMs) über eine benutzerfreundliche Chat-Oberfläche. Durch die Verbindung zu Ollama, einem leistungsstarken Tool zur Verwaltung lokaler LLMs, können Sie Eingaben senden und KI-generierte Antworten direkt innerhalb von n8n erhalten.

Node 1: Wenn Chatnachricht empfangen

  • Typ: @n8n/n8n-nodes-langchain.chatTrigger
  • Funktion: Dieser Node aktiviert den Workflow, wenn eine Nachricht im Chat empfangen wird.
  • Einstellungen: Der Parameter „webhookId“ ist definiert, um die Verbindung zum Chat-Trigger herzustellen.
  • Warum: Dieser Trigger ist notwendig, um den Workflow zu starten und Benutzereingaben zu verarbeiten.

Node 2: Ollama Chat Modell

  • Typ: @n8n/n8n-nodes-langchain.lmChatOllama
  • Funktion: Dieser Node verwendet das Modell von Ollama, um die im Chat empfangene Nachricht zu verarbeiten und eine Antwort zu generieren.
  • Einstellungen: Der Node ist mit den OAuth-Daten für die Verbindung zu „Local Ollama“ konfiguriert.
  • Warum: Dieser Node ist wichtig, um KI-generierte Antworten zu erhalten und die n8n-Integration mit Ollama zu ermöglichen.

Node 3: Sticky Note

  • Typ: n8n-nodes-base.stickyNote
  • Funktion: Dieser Node wird verwendet, um eine Notiz zu hinterlegen, die wichtige Informationen über den Workflow und seine Nutzung enthält.
  • Einstellungen: Inhalt enthält eine detaillierte Anleitung zur Verwendung des Workflows, einschließlich der Einrichtung von Ollama und dessen Anbindung an n8n.
  • Warum: Hilft Nutzern, den Workflow besser zu verstehen und lenkt sie auf wichtige Einrichtungsschritte.

Node 4: Sticky Note 1

  • Typ: n8n-nodes-base.stickyNote
  • Funktion: Dieser Node bietet zusätzliche Informationen zur Verbindung mit dem Ollama-Server und dessen Konfiguration.
  • Einstellungen: Der Inhalt umfasst spezifische Hinweise zur Adresse von Ollama und Docker-Konfigurationen.
  • Warum: Nützlich für Benutzer, die Ollama in einer Docker-Umgebung einsetzen und sicherstellen möchten, dass die Verbindung zu n8n korrekt ist.

Node 5: Chat LLM Kette

  • Typ: @n8n/n8n-nodes-langchain.chainLlm
  • Funktion: Diese Kette verwaltet die Interaktion zwischen dem Chat und dem Ollama-Modell, um die Eingaben zu verarbeiten.
  • Einstellungen: Keine speziellen Parameter notwendig, da der Node standardmäßig konfiguriert ist.
  • Warum: Um die Kette der Kommunikation zwischen Benutzer und LLM zu orchestrieren, ist dieser Node unerlässlich.

Ergebnis

Durch diesen Workflow können Benutzer nahtlos mit lokalen LLMs kommunizieren, indem sie einfache Chat-Anfragen stellen und sofortige Antworten von der KI erhalten. Dieser Prozess verbessert die Zugänglichkeit von KI-gestützten Anwendungen in einer benutzerfreundlichen Oberfläche.

Download-Link: Hier herunterladen

Facebook
Twitter
LinkedIn

Andere Projekte