Workflow zur automatischen PII-Entfernung aus CSV-Dateien

Dieser Workflow überwacht einen Google Drive-Ordner auf neue CSV-Dateien, identifiziert und entfernt PII-Spalten mithilfe von OpenAI und lädt die bereinigte Datei zurück in den Drive.

Workflow zur automatischen PII-Entfernung aus CSV-Dateien

Die Website nutzt die Wordpress-Infrastruktur.

Server: Unser Server befindet sich in einem Unternehmen mit Sitz in Deutschland. Er hat eine hohe und schnelle Internetverbindung. Es gibt eine Generatorunterstützung für ununterbrochenen Strom.

Überblick des Workflows

Dieser Workflow ist darauf ausgelegt, neue CSV-Dateien in einem Google Drive-Ordner zu überwachen, die persönlich identifizierbaren Informationen (PII) zu identifizieren und zu entfernen, und die bearbeitete Datei dann wieder in Google Drive hochzuladen.

Node-Beschreibungen

1. Google Drive Trigger

  • Typ: Google Drive Trigger
  • Funktion: Dieser Trigger überwacht einen bestimmten Google Drive-Ordner auf neue Dateien, die erstellt werden.
  • Einstellungen:
    • Event: fileCreated (Datei erstellt)
    • Ordner zu überwachen: Ein spezifischer Ordner mit der ID 1-hRMnBRYgY6iVJ_youKMyPz83k9GAVYu.
    • Poll-Zeiten: Überprüft alle 1 Minute auf neue Dateien.

2. Google Drive

  • Typ: Google Drive
  • Funktion: Lädt die neu erstellte Datei herunter.
  • Einstellungen:
    • Datei-ID: Verwendung der ID von der vorherigen Node (={{ $json.id }}).
    • Operation: download (herunterladen).
    • Binäre Eigenschaft: Speichert die Datei im data Feld.

3. Extract from File

  • Typ: Extract from File
  • Funktion: Extrahiert den Inhalt der heruntergeladenen Datei.
  • Einstellungen:
    • Optionen: Standardoptionen, keine spezifischen Einstellungen erforderlich.

4. OpenAI

  • Typ: OpenAI
  • Funktion: Nutzt OpenAI, um die CSV-Daten zu analysieren und PII-Spalten zu identifizieren.
  • Einstellungen:
    • Modell-ID: Verwendung von gpt-4o-mini.
    • Nachrichten: Sendet Anweisungen zur Analyse und den Inhalt der CSV-Datei an OpenAI.

5. Merge

  • Typ: Merge
  • Funktion: Kombiniert die Ergebnisse der vorherigen Nodes.
  • Einstellungen:
    • Anzahl der Eingänge: 3.

6. Upload to Drive

  • Typ: Google Drive
  • Funktion: Lädt die bereinigte CSV-Datei in den Google Drive hoch.
  • Einstellungen:
    • Name: Dynamisch gesetzt auf ={{ $json.fileName }}.
    • Inhalt: Dynamisch gesetzt auf ={{ $json.content }}.
    • Ordner-ID: Der Ordner, in den die Datei hochgeladen wird, hat die ID 1F30Qu3csrmMhtcu_prMipeiGm-64VEdd.
    • Operation: createFromText (aus Text erstellen).

7. Get filename

  • Typ: Split Out
  • Funktion: Extrahiert den ursprünglichen Dateinamen.
  • Einstellungen:
    • Feld zu splitten: name.

8. Get result

  • Typ: Split Out
  • Funktion: Extrahiert das Ergebnis von OpenAI.
  • Einstellungen:
    • Feld zu splitten: message.content.content.

9. Remove PII columns

  • Typ: Code
  • Funktion: Entfernt die identifizierten PII-Spalten aus den CSV-Daten.
  • Einstellungen:
    • JavaScript-Code: Entfernt die PII-Spalten, konvertiert die übrigen Zeilen in CSV und generiert einen neuen Dateinamen.

10. Sticky Note

  • Typ: Sticky Note
  • Funktion: Fügt eine Beschreibung des Workflows hinzu.
  • Einstellungen:
    • Inhalt: „## Entfernen von PII aus CSV-Dateien..“

Ergebnis

Am Ende dieses Workflows wird eine bereinigte CSV-Datei ohne PII-Spalten in dem spezifizierten Google Drive-Ordner hochgeladen.

Facebook
Twitter
LinkedIn

Andere Projekte