Fine-tuning mit OpenAI-Modellen

Dieses Workflow ermöglicht das Fein-Tuning von OpenAI-Modellen mithilfe von Trainingsdaten, die in Google Drive gespeichert sind.

Fine-tuning mit OpenAI-Modellen

Die Website nutzt die Wordpress-Infrastruktur.

Server: Unser Server befindet sich in einem Unternehmen mit Sitz in Deutschland. Er hat eine hohe und schnelle Internetverbindung. Es gibt eine Generatorunterstützung für ununterbrochenen Strom.

Einführung

In diesem Workflow nutzen wir n8n, um OpenAI-Modelle anzupassen. Wir laden ein Trainingsdatensatz von Google Drive herunter, führen das Fein-Tuning durch und ermöglichen eine Interaktion über einen Chatbot. Hier sind die Schritte im Detail:

1. Manual Trigger (Wenn ‚Test workflow‘ angeklickt)

  • Typ: n8n-nodes-base.manualTrigger
  • Beschreibung: Dieser Knoten dient als manueller Trigger, um den Workflow zu starten, wenn der Benutzer auf „Test workflow“ klickt.

2. Google Drive (Datei herunterladen)

  • Typ: n8n-nodes-base.googleDrive
  • Beschreibung: Hier laden wir die .jsonl-Datei für das Training von Google Drive herunter.
  • Einstellungen:
    • Datei-ID: Die Datei mit den Trainingsdaten hat die ID 1wvlEcbxFIENvqL-bACzlLEfy5gA6uF9J.
    • Optionen: Hier verwenden wir das binäre Eigenschaftsnamen data.jsonl und konvertieren die Google-Datei zu einem PDF-Format.
  • Warum: Wir benötigen die Trainingsdaten für das Fein-Tuning unseres Modells.

3. AI-Agent

  • Typ: @n8n/n8n-nodes-langchain.agent
  • Beschreibung: Dies ist der AI-Agent, der für die Ausführung von Sprachverarbeitungsaufgaben konfiguriert ist.
  • Einstellungen: Keine spezifischen Optionen konfiguriert.
  • Warum: Um AI-technologische Funktionen zu implementieren.

4. Wenn Chat-Nachricht empfangen

  • Typ: @n8n/n8n-nodes-langchain.chatTrigger
  • Beschreibung: Dieser Knoten wird aktiv, wenn eine Chat-Nachricht empfangen wird.
  • Einstellungen: Enthält eine Webhook-ID, die für die Interaktion erforderlich ist.
  • Warum: Um auf eingehende Nachrichten des Benutzers zu reagieren.

5. OpenAI Chat Modell

  • Typ: @n8n/n8n-nodes-langchain.lmChatOpenAi
  • Beschreibung: Dieser Knoten nutzt das OpenAI-Modell, um Sprachverarbeitung durchzuführen.
  • Einstellungen: Das Modell ist ft:gpt-4o-mini-2024-07-18:n3w-italia::AsVfsl7B.
  • Warum: Um mit feinjustierten Modellen zu arbeiten.

6. Sticky Note 1

  • Typ: n8n-nodes-base.stickyNote
  • Beschreibung: Diese Notiz beschreibt den zweiten Schritt im Prozess, nämlich das Erstellen eines neuen Modells aus den Trainingsdaten.
  • Warum: Um wichtige Hinweise während der Entwicklung zu geben.

7. Sticky Note 2

  • Typ: n8n-nodes-base.stickyNote
  • Beschreibung: Diese Notiz beschreibt den ersten Schritt im Workflow, nämlich das Erstellen der Trainingsdatei.
  • Warum: Um sicherzustellen, dass alle Schritte klar dokumentiert sind.

8. Datei hochladen

  • Typ: @n8n/n8n-nodes-langchain.openAi
  • Beschreibung: Dieser Knoten läd die .jsonl-Datei zu OpenAI hoch.
  • Einstellungen:
    • Zweck: Fein-Tuning.
    • Ressource: Datei.
    • Binäre Eigenschaftenname: data.jsonl.
  • Warum: Der Upload ist notwendig, um der OpenAI-Plattform die Trainingsdaten bereitzustellen.

9. Fein-Tuning-Job erstellen

  • Typ: n8n-nodes-base.httpRequest
  • Beschreibung: Hierbei handelt es sich um den Knoten zur Erstellung eines Fein-Tuning-Jobs über die API von OpenAI.
  • Einstellungen:
    • URL: https://api.openai.com/v1/fine_tuning/jobs.
    • Method: POST.
    • JSON-Körper: Wird eingerichtet, um die Trainingsdatei und das Modell zu definieren.
  • Warum: Um den Fein-Tuning-Prozess zu starten.

Ergebnis

Nach der Ausführung dieses Workflows haben wir ein feinjustiertes OpenAI-Modell, das auf unseren spezifischen Trainingsdaten basiert. Dieses Modell kann nun für verschiedene Anwendungsfälle, wie Chatbots, eingesetzt werden.

Für eine detaillierte Anleitung und um den Workflow herunterzuladen, besuchen Sie diese Seite.

Facebook
Twitter
LinkedIn

Andere Projekte