Tokenectomy Razor

Tokenectomy Razor

Исправьте лимиты скорости Claude Code и Cursor: локальный AI-шлюз с нулевой задержкой и MCP-сервер хирургии контекста на Rust

Хватит сжигать 20 000 токенов на стек-трейсы node_modules. Tokenectomy Razor — это субмиллисекундный локальный обратный прокси-шлюз AI (127.0.0.1:8080) и сопутствующий MCP-сервер, написанный на безопасном Rust. Удаляет 41,7%–99,7% шума фреймворков из терминальных журналов ошибок, редактирует утёкшие учётные данные БД/JWT и кэширует промпты бесплатно.

Быстрый старт (10 секунд) • Архитектура • Проблема • До и после • Живая интерактивная демонстрация • Бенчмарки

                                 ┌────────────────────────────────────────────────────────┐
                                 │                   Autonomous Agents                    │
                                 │  Claude Code • Cursor • Antigravity • Cline • Windsurf │
                                 └───────────────────────────┬────────────────────────────┘
                                                             │
                                                             ▼ (HTTP / SSE Outbound Prompts)
   ┌──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
   │                                 ⚡ TOKENECTOMY AI GATEWAY (127.0.0.1:8080)                                       │
   │                                                                                                                  │
   │  ┌─────────────────────────┐   ┌───────────────────────────┐   ┌──────────────────────────────────────────────┐  │
   │  │   Zero-Cost Prompt      │   │   Zero-Leak Credential    │   │         Polyglot Trace Surgery               │  │
   │  │         Cache           │   │         Redaction         │   │            (9 Languages)                     │  │
   │  │  <1ms Hit • 100% Free   │   │  API Keys • JWTs • DB URIs│   │  node_modules • site-packages • .cargo       │  │
   │  └───────────┬─────────────┘   └─────────────┬─────────────┘   └──────────────────────┬───────────────────────┘  │
   │              │                               │                                        │                          │
   │              └───────────────────────────────┼────────────────────────────────────────┘                          │
   │                                              ▼                                                                   │
   │                                 Smart Upstream Auto-Router                                                       │
   │                         (Anthropic • OpenAI • Groq • Ollama Local)                                               │
   └──────────────────────────────────────────────┬───────────────────────────────────────────────────────────────────┘
                                                  │
                 ┌────────────────────────────────┼────────────────────────────────┐
                 ▼                                ▼                                ▼
       api.anthropic.com                  api.openai.com                   localhost:11434
    (Claude 3.5 / 3.7 Sonnet)         (GPT-4o / o1 / o3-mini)              (DeepSeek / Llama)

⚡ Быстрый старт (10 секунд)

0. Однострочная обёртка без настройки (wrap)

Запустите любой агент кодирования или набор тестов напрямую за шлюзом конфиденциальности и кэширования Tokenectomy без ручной настройки переменных окружения:

# Wrap Claude Code CLI
razor wrap -- claude

# Wrap Aider with DeepSeek or Ollama (Auto-Transpiled on the fly!)
razor wrap -- aider --model deepseek/deepseek-chat

# Wrap test runs to scrub logs and prevent accidental credential leakage
razor wrap npm test

1. Запуск автономного AI-шлюза (ручной режим)

npx -y tokenectomy-razor --proxy

💡 Умная автоматическая маршрутизация между провайдерами и универсальный LLM-транспилятор ВКЛЮЧЕНЫ по умолчанию! Tokenectomy автоматически анализирует пути запросов и заголовки. Нужно запустить Claude Code против DeepSeek или Ollama? Tokenectomy прозрачно транспилирует формат Anthropic /v1/messages в формат OpenAI /v1/chat/completions на лету и наоборот.

2. Подключите вашего любимого агента

Направьте агента кодирования или CLI на локальный шлюз на 127.0.0.1:8080:

3. Панель FinOps и безопасности в реальном времени

Откройте http://127.0.0.1:8080/dashboard в браузере, чтобы наблюдать в реальном времени за сокращением токенов, попаданиями в кэш промптов, экономией в долларах и отредактированными учётными данными.

4. Настройка сопутствующего MCP-сервера (Sub-Cortex)

Для агентов, вызывающих глубокие диагностические инструменты (get_error_context, analyze_code, apply_code_patch):

Claude Code CLI

claude mcp add tokenectomy npx -y tokenectomy-razor --mcp

Google Antigravity / Gemini CLI

agy mcp add tokenectomy-razor -- npx -y tokenectomy-razor --mcp

Cursor Composer (.cursor/mcp.json)

{
  "mcpServers": {
    "tokenectomy": {
      "command": "npx",
      "args": ["-y", "tokenectomy-razor", "--mcp"]
    }
  }
}

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "tokenectomy": {
      "command": "npx",
      "args": ["-y", "tokenectomy-razor", "--mcp"]
    }
  }
}

5. Терминальные конвейеры и очистка CLI

npm test 2>&1 | npx tokenectomy-razor

🛑 Проблема: почему ваш ИИ упирается в лимиты скорости и галлюцинирует

Когда ваше приложение падает во время разработки (Next.js, Express, FastAPI, Tokio), среда выполнения вываливает сотни строк стороннего кода из node_modules или site-packages.

Когда вы вставляете этот сырой дамп краха в Cursor или Claude:

1. Съедает ваш 5-часовой лимит скорости: Одна ошибка Express/Prisma может вывалить от 5 000 до 45 000 токенов кода сторонних библиотек, который вы не писали. Несколько циклов падений легко сжигают лимит сессии.
2. Провоцирует галлюцинации ИИ: Claude теряется во внутренностях фреймворков (node_modules/express/lib/router/layer.js или starlette/routing.py) и пытается редактировать файлы библиотек вместо вашего реального кода приложения.
3. Утекают секреты и учётные данные: Строки подключения с паролями БД в открытом виде, JWT bearer-токены и облачные ключи, встроенные в трейсы ошибок, пересылаются на внешние серверы моделей.

Raw Terminal Crash (45,820 tokens + Leaked Secrets)
     │
     ▼  <0.2ms Local Rust DFA Engine
[Redact Passwords & Keys] ──► [Strip Third-Party Framework Frames] ──► [Isolate Root Cause]
     │
     ▼
Clean Context (118 tokens • Zero Secrets • Sub-millisecond)

🔍 Сравнение до и после

❌ Без Tokenectomy: ИИ галлюцинирует и сжигает контекст

TypeError: Cannot read properties of undefined (reading 'token')
    at loadComponents (/app/node_modules/next/dist/server/load-components.js:14:2)
    at renderToHTML (/app/node_modules/next/dist/server/render.js:50:5)
    at nextServer (/app/node_modules/next/dist/server/next-server.js:80:12)
    at processTicksAndRejections (node:internal/process/task_queues:95:5)
    at runMicrotasks (node:internal/process/task_queues:120:3)
    at checkoutHandler (/app/pages/api/checkout.ts:42:15)
Database connection failed: postgresql://admin:super_secret_password@db.prod.internal:5432/primary
API key leaked: sk-ant-api03-abcdef1234567890abcdef1234567890

Что делает Claude: Анализирует load-components.js и next-server.js, строит догадки о внутренностях Webpack / Next.js и утекает учётные данные подключения в удалённые журналы вывода.

✅ С Tokenectomy: Чистый контекст и мгновенное исправление

// [Tokenectomy Surgery: 5 internal framework frames pruned (83.3%)]
// Source: /app/pages/api/checkout.ts:42:15
42 |   const sessionToken = req.headers.authorization.token;
   |                                                  ^ TypeError: Cannot read properties of undefined (reading 'token')
🛡️ [CONNECTION_STRING_REDACTED]
🛡️ [ANTHROPIC_KEY_REDACTED]

Что делает Claude: Мгновенно определяет, что строка 42 в checkout.ts пыталась обратиться к .token на неопределённых заголовках. Сразу предлагает опциональную цепочку req.headers.authorization?.token. Учётные данные редактируются до передачи.

🔬 Проверяемые бенчмарки

Все заявления о производительности обоснованы аппаратно и независимо воспроизводимы на физическом оборудовании (измерено на 10-ядерном Intel Core i5-1235U @ 15 Вт под управлением Arch Linux, ядро 6.13):

Примечание о зависимости от оборудования: Производительность зависит от оборудования; заявленная пропускная способность представляет собой измеренные результаты на указанном тестовом оборудовании (10-ядерный Intel Core i5-1235U @ 15 Вт TDP). Пропускная способность масштабируется с более высокими TDP настольных/серверных процессоров и более быстрыми шинами памяти. Разработчикам рекомендуется независимо проверять производительность с помощью команды воспроизведения ниже.

$ cargo test --release --test stress_benchmark -- --nocapture

=====================================================================================
🧪 TOKENECTOMY OSS VERIFIABLE HEAVY STRESS BENCHMARK (100% REPRODUCIBLE IN OSS)
   Hardware: 10-Core / 12-Thread Intel Core i5-1235U | OS: Arch Linux | Kernel Telemetry Active
   Initial Baseline Process Memory (VmRSS): 3.45 MB
=====================================================================================

🔥 [TEST 1/3] QUARTER-MILLION LINES LOG REDACTION TORTURE (250,000 LINES / 25MB+ BUFFER)
  ├── Buffer Size: 24.44 MB (250000 lines)
  ├── Redaction Latency: 471.05ms (51.9 MB/sec)
  ├── Line Throughput: 530,735 lines/sec
  ├── Peak Memory (VmRSS): 76.05 MB (Delta: +72.60 MB)
  └── Status: ✅ PASSED (100% of 250,000 lines sanitized, zero memory balloon)

🔥 [TEST 2/3] REDOS CATASTROPHIC BACKTRACKING TORTURE (50,000 CHARS PAYLOAD)
  ├── Attack Payload Size: 50,082 characters
  ├── Execution Latency: 1.165 ms
  └── Status: ✅ PASSED (Linear O(N) evaluation, ReDoS-resistant on tested payloads)

🔥 [TEST 3/3] HIGH-CONCURRENCY TORTURE (100 PARALLEL OS THREADS)
  ├── Thread Concurrency: 100 concurrent OS threads
  ├── Successful Operations: 100/100 (100.0%)
  ├── Total Elapsed: 11.31ms
  ├── Concurrency Throughput: 17,688 ops/sec
  ├── Final VmRSS: 78.99 MB
  └── Status: ✅ PASSED (Zero race condition, zero deadlock)

=====================================================================================
🏆 TOKENECTOMY OSS STRESS BENCHMARK: 3/3 PASSED (100% GREEN)
   Total Suite Duration: 580.83ms
   Bounded Final VmRSS: 78.99 MB
=====================================================================================
test test_oss_heavy_stress_benchmark ... ok

test result: ok. 1 passed; 0 failed; 0 ignored; 0 measured; 0 filtered out; finished in 0.58s

🛡️ Бенчмарк автоматического редактирования и санитизации секретов

Оценка проведена на внутреннем тестовом наборе (tests/fixtures/) из 12 полиглотных трейсов краха (Rust, Python, TypeScript, Go, YAML), содержащих 22 эталонных учётных данных и чистые отрицательные контроли. Сравнение проводилось лицом к лицу с Gitleaks v8.30.1 (набор правил по умолчанию).

Архитектурное примечание: Gitleaks в первую очередь предназначен для сканирования коммитов/диффов репозитория, а не для редактирования трейсов в памяти в реальном времени. Tokenectomy Razor спроектирован специально для санитизации потоков в реальном времени и хирургии стек-трейсов.

1. Точность, полнота и F1-мера по категориям

2. Сводка производительности и архитектуры лицом к лицу

3. Сокращение токенов и экономия контекста LLM (tiktoken cl100k_base)

🔌 Расширенная конфигурация агентов и шлюза

1. Варианты многопровайдерного AI-шлюза (--proxy)

Шлюз Tokenectomy работает локально на 127.0.0.1:8080 без ручной настройки. В сложных средах разработки или контейнерных топологиях агентов вы можете настроить привязку и маршрутизацию:

# Default Smart Auto-Routing (routes Anthropic, OpenAI, and Ollama requests dynamically):
razor --proxy

# Safety Circuit Breaker: Prevent runaway agent loops from burning your hourly budget or 5-hour window:
razor --proxy --max-hourly-tokens 200000

# Resilient 429 Auto-Retry: Automatically pause and retry when hitting upstream rate limits (default: on):
razor --proxy --max-retries 5

# Explicit upstream override (e.g. Groq, vLLM, or OpenRouter):
razor --proxy --upstream-url https://api.groq.com/openai/v1

# Secure remote container binding with mandatory bearer token:
razor --proxy --proxy-bind 0.0.0.0:8080 --allow-remote --proxy-token "$MY_GATEWAY_TOKEN"

Метрики в реальном времени и экспорт в Prometheus

Tokenectomy предоставляет живые данные FinOps и экономики токенов через JSON:

curl http://127.0.0.1:8080/v1/metrics

Возвращает мгновенную телеметрию для rate_limits_mitigated, circuit_breaker_trips, last_latency_ms, current_hourly_tokens, cache_hits, cache_tokens_saved и estimated_cost_saved_usd.

2. Автономный CLI и очистка терминала

При отладке или передаче выходных данных терминальных тестов напрямую:

# Pipe terminal test failures through the surgical redactor:
npm test 2>&1 | razor --scrub

# Sanitize a specific raw log file:
razor --scrub --file /var/log/app/error.log > sanitized.log

# Offline local air-gapped mode (zero external network calls):
cat failure.log | razor --scrub --local-only

🛠️ Доступные MCP-инструменты

Tokenectomy Razor соответствует Glama Grade A Tool Definition Quality Score (TDQS) с явными границами параметров:

🌐 Поддерживаемые полиглотные экосистемы

📦 Варианты установки

Способ 1: Мгновенно через npx (без настройки инструментов)

npx -y tokenectomy-razor --mcp

Способ 2: Cargo (crates.io)

cargo install tokenectomy

Способ 3: Предкомпилированные автономные бинарные файлы

Автономные релизные бинарные файлы без зависимостей доступны на GitHub Releases:

• Linux: x86_64-unknown-linux-gnu, x86_64-unknown-linux-musl, aarch64-unknown-linux-gnu
• macOS: aarch64-apple-darwin (Apple Silicon M1/M2/M3/M4), x86_64-apple-darwin (Intel)
• Windows: x86_64-pc-windows-msvc.exe

Способ 4: Мультиархитектурный Docker-контейнер (GHCR)

docker pull ghcr.io/tokenectomy-labs/razor:latest
docker run -i ghcr.io/tokenectomy-labs/razor:latest --mcp

⚖️ Сравнение изданий

Нужна корпоративная AST-самовосстановление? Изучите уровень Sentinel

🗺️ Дорожная карта и вехи

🔒 Безопасность и инварианты

• Локальное выполнение по умолчанию: Весь парсинг трассировок стека, обрезка кадров и редактирование секретов выполняются локально на физическом оборудовании.
• Документированный сетевой трафик: В режиме MCP-сервера search_stack_overflow — единственный инструмент с исходящим сетевым трафиком (HTTPS к api.stackexchange.com). Полезная нагрузка строго ограничена очищенным и отредактированным текстом сигнатур ошибок (без строк кода, локальных путей и учётных данных). В изолированных средах используйте --local-only для полного отключения сетевого поиска.
• Детерминированное линейное сопоставление с образцом: Все сопоставители используют нерекурсивные DFA-движки регулярных выражений ($O(N)$ линейное время) и автоматы Ахо-Корасик.
• Изоляция границ обхода путей: Файловые операции строго ограничены корнем активной рабочей области (CWD). Обходы путей (../) и несанкционированные симлинки блокируются.
• Безопасная реализация на Rust: Основные пути выполнения обеспечивают гарантии безопасной памяти Rust с ограниченными потоковыми считывателями (.take()), предотвращающими истощение ресурсов.

Для раскрытия уязвимостей ознакомьтесь с нашей Политикой безопасности.

⚖️ Юридический отказ от ответственности и форки

Tokenectomy Razor предоставляется строго для законного повышения продуктивности разработчиков, наблюдаемости, хирургии журналов и защитного редактирования учётных данных. Любые форки, клоны, распространения или частные развёртывания работают полностью независимо от оригинальных авторов. Tokenectomy Labs и её сопровождающие не несут никакой ответственности за незаконные, вредоносные или несанкционированные действия третьих лиц с использованием этого кода или его производных. Все операторы форков несут 100% индивидуальную ответственность за соблюдение местных и международных законов о кибербезопасности. См. DISCLAIMER.md для полных юридических условий.

❓ Часто задаваемые вопросы (FAQ)

Как Tokenectomy Razor предотвращает превышение лимитов скорости в Claude Code и Cursor?

Когда тесты или сборки терминала падают, фреймворки вроде Next.js, Express, Jest и Django выводят тысячи внутренних кадров стека (node_modules, site-packages). Отправка необработанных журналов сбоев на 5000 строк потребляет от 15 000 до 45 000 токенов на промпт, исчерпывая ваш 5-часовой лимит сессии за минуты. Tokenectomy Razor перехватывает журналы и удаляет 95% неинформативной внутренней обвязки фреймворков, сокращая журнал сбоя на 40 000 символов до менее 200 необходимых токенов за <0,2 мс.

Как остановить отправку журналов ошибок node_modules в LLM через Cursor?

Запустите Tokenectomy Razor как локальный обратный прокси AI-шлюза (npx -y tokenectomy-razor --proxy). В настройках Cursor укажите OpenAI Base URL на http://127.0.0.1:8080/v1. Любой вывод ошибок терминала, вставленный или упомянутый Composer, будет автоматически очищен, отредактирован и закэширован на лету перед отправкой на серверы моделей.

Как Tokenectomy предотвращает утечку учётных данных в журналах ошибок?

Вся хирургия журналов и редактирование секретов выполняются на 100% локально на вашей машине в памяти перед исходящей передачей. Razor использует детерминированные линейные регулярные выражения и автоматы Ахо-Корасик для обнаружения и редактирования URI подключений PostgreSQL/MongoDB, JWT bearer-токенов и облачных API-ключей с [REDACTED] токенами. Для очистки не требуется облачный трафик.

🤝 Сообщество и ресурсы

• 🌐 Официальный сайт
• 📖 Документация
• 🏗️ Системная архитектура
• 📋 Журнал изменений
• 🤝 Рекомендации по участию
• 🔒 Политика безопасности
• ⚖️ Отказ от ответственности