Unstructured

Unstructured API MCP Sunucusu

[!NOTE] Bu sunucu, kaynakları, hedefleri ve iş akışlarını yönetmek için Unstructured API ile etkileşime girer. Aktif olarak bakımı yapılmamaktadır ve referans amacıyla burada tutulmaktadır.

Dosyaları ayrıştırmak ve yapılandırılmış çıktıya (markdown, JSON, HTML veya düz metin) dönüştürmek istiyorsanız, bunun yerine Unstructured Transform MCP sunucusunu kullanın.

Unstructured Transform, aracılarınıza barındırılan bir MCP sunucusu olarak üretim düzeyinde belge işleme olanağı sunar. Aracılarınıza, mevcut oturumları içinde dosyaları ayrıştırarak, zenginleştirerek, parçalara ayırarak ve gömerek 60'tan fazla dosya türünü uygulamalarınız, vektör veritabanlarınız ve sonraki tüm süreçler için hazır yapılandırılmış verilere dönüştürme yeteneği kazandırır.

Buradan kaydolarak kullanmaya başlayabilirsiniz.

Unstructured API ile etkileşim için bir MCP sunucusu uygulaması. Bu sunucu, kaynakları ve iş akışlarını listelemek için araçlar sağlar.

Mevcut Araçlar

Aşağıda, UNS-MCP sunucusunun şu anda desteklediği bağlayıcıların bir listesi bulunmaktadır; Unstructured platformunun desteklediği kaynak bağlayıcılarının tam listesini burada ve hedef listesini burada görebilirsiniz. Daha fazlasını eklemeyi planlıyoruz!

Bir bağlayıcı oluşturan/güncelleyen/silen aracı kullanmak için, o belirli bağlayıcının kimlik bilgileri .env dosyanızda tanımlanmış olmalıdır. Aşağıda, desteklediğimiz bağlayıcılar için credentials listesi bulunmaktadır:

Firecrawl Kaynağı

Firecrawl, MCP'mizde iki ana yetenek sağlayan bir web tarama API'sidir:

1. HTML İçerik Alma: Tarama işlerini başlatmak için invoke_firecrawl_crawlhtml ve bunları izlemek için check_crawlhtml_status kullanma
2. LLM için Optimize Edilmiş Metin Üretimi: Metin üretmek için invoke_firecrawl_llmtxt ve sonuçları almak için check_llmtxt_status kullanma

Firecrawl nasıl çalışır: Web Tarama Süreci:

• Belirtilen bir URL ile başlar ve bağlantıları belirlemek için analiz eder
• Varsa site haritasını kullanır; aksi takdirde web sitesinde bulunan bağlantıları takip eder
• Tüm alt sayfaları keşfetmek için her bağlantıyı özyinelemeli olarak dolaşır
• JavaScript render etme ve hız sınırlarını yöneterek ziyaret edilen her sayfadan içerik toplar
• Gerekirse işler cancel_crawlhtml_job ile iptal edilebilir
• Tüm bilgilerin ham HTML olarak çıkarılmasını istiyorsanız bunu kullanın, Unstructured'ın iş akışı bunu gerçekten iyi temizler :smile:

LLM Metin Üretimi:

• Taramadan sonra, taranan sayfalardan temiz, anlamlı metin içeriği çıkarır
• Büyük dil modelleri için özel olarak biçimlendirilmiş optimize metin formatları üretir
• Sonuçlar otomatik olarak belirtilen S3 konumuna yüklenir
• Not: LLM metin üretim işleri başlatıldıktan sonra iptal edilemez. cancel_llmtxt_job işlevi tutarlılık için sağlanmıştır ancak şu anda Firecrawl API tarafından desteklenmemektedir.

Not: Bu işlevleri kullanmak için bir FIRECRAWL_API_KEY ortam değişkeni ayarlanmalıdır.

Kurulum & Yapılandırma

Bu kılavuz, Python 3.12 ve uv aracını kullanarak UNS_MCP sunucusunu kurmak ve yapılandırmak için adım adım talimatlar sağlar.

Ön Koşullar

• Python 3.12+
• Ortam yönetimi için uv
• Unstructured'dan bir API anahtarı. API anahtarınıza buradan kaydolup edinebilirsiniz.

uv Kullanımı (Önerilir)

uvx kullanırken, yürütmeyi kendisi yönettiği için ek kurulum gerekmez. Ancak, paketi doğrudan kurmayı tercih ederseniz:

uv pip install uns_mcp

Claude Desktop'ı Yapılandırma

Claude Desktop ile entegrasyon için, claude_desktop_config.json dosyanıza aşağıdaki içeriği ekleyin:

Not: Dosya, ~/Library/Application Support/Claude/ dizininde bulunur.

uvx Komutunu Kullanma:

{
   "mcpServers": {
      "UNS_MCP": {
         "command": "uvx",
         "args": ["uns_mcp"],
         "env": {
           "UNSTRUCTURED_API_KEY": "<your-key>"
         }
      }
   }
}

Alternatif Olarak, Python Paketini Kullanma:

{
   "mcpServers": {
      "UNS_MCP": {
         "command": "python",
         "args": ["-m", "uns_mcp"],
         "env": {
           "UNSTRUCTURED_API_KEY": "<your-key>"
         }
      }
   }
}

Kaynak Kodu Kullanma

1. Depoyu klonlayın.

2. Bağımlılıkları yükleyin:

   uv sync
   

3. Unstructured API anahtarınızı bir ortam değişkeni olarak ayarlayın. Kök dizinde aşağıdaki içeriğe sahip bir .env dosyası oluşturun:

   UNSTRUCTURED_API_KEY="YOUR_KEY"
   

   Yapılandırılabilir ortam değişkenleri için .env.template sayfasına bakın.

Artık sunucuyu aşağıdaki yöntemlerden birini kullanarak çalıştırabilirsiniz:

uvx pip install -e .

{
  "mcpServers": {
    "UNS_MCP": {
      "command": "uvx",
      "args": ["uns_mcp"]
    }
  }
}

{
  "mcpServers": {
    "UNS_MCP": {
      "command": "ABSOLUTE/PATH/TO/.local/bin/uv",
      "args": [
        "--directory",
        "ABSOLUTE/PATH/TO/YOUR-UNS-MCP-REPO/uns_mcp",
        "run",
        "server.py"
      ]
    }
  }
}

uv run python minimal_client/client.py uns_mcp/server.py

Ek Yerel İstemci Yapılandırması

Minimal istemciyi ortam değişkenlerini kullanarak yapılandırın:

• LOG_LEVEL="ERROR": LLM'den gelen hata ayıklama çıktılarını bastırmak ve kullanıcılar için net mesajlar görüntülemek için ayarlayın.
• CONFIRM_TOOL_USE='false': Yürütmeden önce araç kullanım onayını devre dışı bırakın. Dikkatli kullanın, özellikle geliştirme sırasında, LLM pahalı iş akışları yürütebilir veya verileri silebilir.

Hata Ayıklama Araçları

Anthropic, MCP sunucunuzda hata ayıklamak/test etmek için MCP Inspector aracını sağlar. Bir hata ayıklama kullanıcı arayüzü başlatmak için aşağıdaki komutu çalıştırın. Buradan, sol bölmede ortam değişkenleri (yerel ortamınıza işaret eden) ekleyebileceksiniz. Kişisel API anahtarınızı buraya ortam değişkeni olarak ekleyin. tools sayfasına gidin, MCP sunucusuna eklediğiniz yetenekleri test edebilirsiniz.

mcp dev uns_mcp/server.py

İstek çağrı parametrelerini UnstructuredClient'e kaydetmeniz gerekiyorsa, DEBUG_API_REQUESTS=false ortam değişkenini ayarlayın. Günlükler, UnstructuredClient işlevlerine yapılan istek çağrı parametrelerinde hata ayıklamak için incelenebilecek unstructured-client-{date}.log formatında bir dosyada saklanır.

Minimal istemciye terminal erişimi ekleme

Minimal istemciye terminal erişimi eklemek için @wonderwhy-er/desktop-commander kullanacağız. MCP Dosya Sistemi Sunucusu üzerine inşa edilmiştir. Dikkatli olun, çünkü istemci (ve LLM) artık özel dosyalara erişebilir.

Paketi kurmak için aşağıdaki komutu yürütün:

npx @wonderwhy-er/desktop-commander setup

Ardından istemciyi ek parametre ile başlatın:

uv run python minimal_client/client.py "http://127.0.0.1:8080/sse" "@wonderwhy-er/desktop-commander@^0.2.11"
# or
make sse-client-terminal

Araçların alt kümesini kullanma

İstemciniz yalnızca araçların bir alt kümesini kullanmayı destekliyorsa, bilmeniz gerekenler şunlardır:

• update_workflow aracı, özel düğümün nasıl oluşturulacağı ve yapılandırılacağına dair ayrıntılı açıklama içerdiğinden, create_workflow aracı ile birlikte bağlama yüklenmelidir.

Bilinen Sorunlar

• update_workflow - güncellediği iş akışının yapılandırmasını, kullanıcı tarafından sağlanarak veya get_workflow_info aracı çağrılarak bağlamda bulundurması gerekir, çünkü bu araç patch uygulayıcısı olarak çalışmaz, iş akışı yapılandırmasını tamamen değiştirir.

CHANGELOG.md

Geliştirilen yeni özellikler/düzeltmeler/iyileştirmeler CHANGELOG.md dosyasına eklenecektir. Kararlı bir sürüme geçmeden önce 0.x.x-dev ön sürüm formatı tercih edilir.

Sorun Giderme

• Error: spawn <command> ENOENT ile ilgili sorunlarla karşılaşırsanız, bu <command>'in kurulu olmadığı veya PATH'inizde görünür olmadığı anlamına gelir:
  • Kurduğunuzdan ve PATH'inize eklediğinizden emin olun.
  • veya yapılandırmanızın command alanında komutun mutlak yolunu sağlayın. Örneğin, python yerine /opt/miniconda3/bin/python kullanın