Unstructured

Unstructured API MCP Server

[!NOTE] Dieser Server interagiert mit der Unstructured API, um Quellen, Ziele und Workflows zu verwalten. Er wird nicht aktiv gewartet und dient hier nur als Referenz.

Wenn Sie Dateien parsen und in strukturierte Ausgabe (Markdown, JSON, HTML oder Klartext) umwandeln möchten, verwenden Sie stattdessen den Unstructured Transform MCP Server.

Unstructured Transform bringt produktionsreife Dokumentenverarbeitung als gehosteten MCP-Server zu Ihren Agenten. Es befähigt sie, über 60 Dateitypen in strukturierte Daten umzuwandeln, die für Ihre Anwendungen, Vektordatenbanken und alle nachgelagerten Prozesse bereit sind, indem Dateien direkt in ihrer aktuellen Sitzung geparst, angereichert, in Chunks zerlegt und eingebettet werden.

Sie können es nutzen, indem Sie sich hier anmelden.

Eine MCP-Server-Implementierung zur Interaktion mit der Unstructured API. Dieser Server bietet Werkzeuge zum Auflisten von Quellen und Workflows.

Verfügbare Werkzeuge

Nachfolgend finden Sie eine Liste der Connectors, die der UNS-MCP-Server derzeit unterstützt. Die vollständige Liste der Quell-Connectors, die die Unstructured-Plattform unterstützt, finden Sie hier und die Zielliste hier. Weitere sind in Planung!

Um das Werkzeug zum Erstellen/Aktualisieren/Löschen eines Connectors zu verwenden, müssen die Anmeldeinformationen für diesen spezifischen Connector in Ihrer .env-Datei definiert sein. Nachfolgend finden Sie die Liste der credentials für die von uns unterstützten Connectors:

Firecrawl-Quelle

Firecrawl ist eine Web-Crawling-API, die zwei Hauptfunktionen in unserem MCP bietet:

1. HTML-Inhaltsabruf: Verwendung von invoke_firecrawl_crawlhtml zum Starten von Crawl-Jobs und check_crawlhtml_status zu deren Überwachung
2. LLM-optimierte Textgenerierung: Verwendung von invoke_firecrawl_llmtxt zum Generieren von Text und check_llmtxt_status zum Abrufen der Ergebnisse

So funktioniert Firecrawl: Web-Crawling-Prozess:

• Beginnt mit einer angegebenen URL und analysiert sie, um Links zu identifizieren
• Verwendet die Sitemap, falls verfügbar; andernfalls folgt es den auf der Website gefundenen Links
• Durchläuft rekursiv jeden Link, um alle Unterseiten zu entdecken
• Sammelt Inhalte von jeder besuchten Seite und behandelt JavaScript-Rendering und Ratenbegrenzungen
• Jobs können bei Bedarf mit cancel_crawlhtml_job abgebrochen werden
• Verwenden Sie dies, wenn Sie alle Informationen als rohes HTML extrahiert benötigen – der Workflow von Unstructured bereinigt es wirklich gut :smile:

LLM-Textgenerierung:

• Extrahiert nach dem Crawling saubere, aussagekräftige Textinhalte aus den gecrawlten Seiten
• Generiert optimierte Textformate, die speziell für große Sprachmodelle formatiert sind
• Ergebnisse werden automatisch am angegebenen S3-Speicherort hochgeladen
• Hinweis: LLM-Textgenerierungsjobs können nach dem Start nicht abgebrochen werden. Die Funktion cancel_llmtxt_job wird aus Konsistenzgründen bereitgestellt, wird aber derzeit von der Firecrawl-API nicht unterstützt.

Hinweis: Eine Umgebungsvariable FIRECRAWL_API_KEY muss gesetzt sein, um diese Funktionen zu verwenden.

Installation & Konfiguration

Diese Anleitung bietet schrittweise Anweisungen zum Einrichten und Konfigurieren des UNS_MCP-Servers mit Python 3.12 und dem Tool uv.

Voraussetzungen

• Python 3.12+
• uv für die Umgebungsverwaltung
• Ein API-Schlüssel von Unstructured. Sie können sich registrieren und Ihren API-Schlüssel hier erhalten.

Verwendung von uv (Empfohlen)

Bei der Verwendung von uvx ist keine zusätzliche Installation erforderlich, da es die Ausführung übernimmt. Wenn Sie das Paket jedoch direkt installieren möchten:

uv pip install uns_mcp

Claude Desktop konfigurieren

Für die Integration mit Claude Desktop fügen Sie den folgenden Inhalt zu Ihrer claude_desktop_config.json hinzu:

Hinweis: Die Datei befindet sich im Verzeichnis ~/Library/Application Support/Claude/.

Verwendung des Befehls uvx:

{
   "mcpServers": {
      "UNS_MCP": {
         "command": "uvx",
         "args": ["uns_mcp"],
         "env": {
           "UNSTRUCTURED_API_KEY": "<your-key>"
         }
      }
   }
}

Alternativ mit dem Python-Paket:

{
   "mcpServers": {
      "UNS_MCP": {
         "command": "python",
         "args": ["-m", "uns_mcp"],
         "env": {
           "UNSTRUCTURED_API_KEY": "<your-key>"
         }
      }
   }
}

Verwendung des Quellcodes

1. Klonen Sie das Repository.

2. Installieren Sie die Abhängigkeiten:

   uv sync
   

3. Setzen Sie Ihren Unstructured-API-Schlüssel als Umgebungsvariable. Erstellen Sie eine .env-Datei im Stammverzeichnis mit folgendem Inhalt:

   UNSTRUCTURED_API_KEY="YOUR_KEY"
   

   Siehe .env.template für die konfigurierbaren Umgebungsvariablen.

Sie können den Server nun mit einer der folgenden Methoden ausführen:

uvx pip install -e .

{
  "mcpServers": {
    "UNS_MCP": {
      "command": "uvx",
      "args": ["uns_mcp"]
    }
  }
}

{
  "mcpServers": {
    "UNS_MCP": {
      "command": "ABSOLUTE/PATH/TO/.local/bin/uv",
      "args": [
        "--directory",
        "ABSOLUTE/PATH/TO/YOUR-UNS-MCP-REPO/uns_mcp",
        "run",
        "server.py"
      ]
    }
  }
}

uv run python minimal_client/client.py uns_mcp/server.py

Zusätzliche lokale Client-Konfiguration

Konfigurieren Sie den minimalen Client mit Umgebungsvariablen:

• LOG_LEVEL="ERROR": Setzen, um Debug-Ausgaben des LLM zu unterdrücken und klare Nachrichten für Benutzer anzuzeigen.
• CONFIRM_TOOL_USE='false': Deaktiviert die Bestätigung der Werkzeugnutzung vor der Ausführung. Mit Vorsicht verwenden, insbesondere während der Entwicklung, da das LLM teure Workflows ausführen oder Daten löschen kann.

Debugging-Tools

Anthropic bietet das Tool MCP Inspector zum Debuggen/Testen Ihres MCP-Servers. Führen Sie den folgenden Befehl aus, um eine Debugging-Benutzeroberfläche zu starten. Von dort aus können Sie im linken Bereich Umgebungsvariablen hinzufügen (die auf Ihre lokale Umgebung verweisen). Geben Sie dort Ihren persönlichen API-Schlüssel als Umgebungsvariable ein. Gehen Sie zu tools, um die Funktionen zu testen, die Sie dem MCP-Server hinzufügen.

mcp dev uns_mcp/server.py

Wenn Sie Anforderungsaufrufparameter in UnstructuredClient protokollieren müssen, setzen Sie die Umgebungsvariable DEBUG_API_REQUESTS=false. Die Protokolle werden in einer Datei mit dem Format unstructured-client-{date}.log gespeichert, die untersucht werden kann, um Anforderungsaufrufparameter für UnstructuredClient-Funktionen zu debuggen.

Terminalzugriff zum minimalen Client hinzufügen

Wir werden @wonderwhy-er/desktop-commander verwenden, um dem minimalen Client Terminalzugriff hinzuzufügen. Es basiert auf dem MCP-Dateisystemserver. Seien Sie vorsichtig, da der Client (und auch das LLM) nun Zugriff auf private Dateien hat.

Führen Sie den folgenden Befehl aus, um das Paket zu installieren:

npx @wonderwhy-er/desktop-commander setup

Starten Sie dann den Client mit einem zusätzlichen Parameter:

uv run python minimal_client/client.py "http://127.0.0.1:8080/sse" "@wonderwhy-er/desktop-commander@^0.2.11"
# or
make sse-client-terminal

Verwendung einer Teilmenge von Werkzeugen

Wenn Ihr Client nur eine Teilmenge von Werkzeugen unterstützt, sollten Sie Folgendes beachten:

• Das Werkzeug update_workflow muss zusammen mit dem Werkzeug create_workflow in den Kontext geladen werden, da es eine detaillierte Beschreibung zum Erstellen und Konfigurieren benutzerdefinierter Knoten enthält.

Bekannte Probleme

• update_workflow – muss die Konfiguration des Workflows, den es aktualisiert, im Kontext haben, entweder durch Bereitstellung durch den Benutzer oder durch Aufruf des Werkzeugs get_workflow_info, da dieses Werkzeug nicht als patch-Anwender fungiert, sondern die Workflow-Konfiguration vollständig ersetzt.

CHANGELOG.md

Alle neu entwickelten Funktionen/Korrekturen/Verbesserungen werden zu CHANGELOG.md hinzugefügt. Das 0.x.x-dev-Vorabversionsformat wird bevorzugt, bevor wir auf eine stabile Version aktualisieren.

Fehlerbehebung

• Wenn Sie auf Probleme mit Error: spawn <command> ENOENT stoßen, bedeutet dies, dass <command> nicht installiert oder in Ihrem PATH nicht sichtbar ist:
  • Stellen Sie sicher, dass Sie es installieren und zu Ihrem PATH hinzufügen.
  • oder geben Sie den absoluten Pfad zum Befehl im Feld command Ihrer Konfiguration an. Ersetzen Sie also beispielsweise python durch /opt/miniconda3/bin/python