Tokenectomy Razor

Tokenectomy Razor

Claude Code と Cursor のレート制限を修正: Rust 製のゼロレイテンシー・ローカル AI ゲートウェイ & コンテキスト手術 MCP サーバー

node_modules のスタックトレースで毎回 20,000 トークンを消費するのはもう終わりにしましょう。Tokenectomy Razor は、安全な Rust で書かれたサブミリ秒のローカル AI ゲートウェイ・リバースプロキシ (127.0.0.1:8080) と、それに付随する MCP サーバーです。ターミナルのエラーログからフレームワークのノイズを 41.7%〜99.7% 切除し、漏洩した DB 認証情報や JWT を秘匿化し、プロンプトを無料でキャッシュします。

クイックスタート (10秒) • アーキテクチャ • 問題点 • 導入前と導入後 • ライブ対話デモ • ベンチマーク

                                 ┌────────────────────────────────────────────────────────┐
                                 │                   Autonomous Agents                    │
                                 │  Claude Code • Cursor • Antigravity • Cline • Windsurf │
                                 └───────────────────────────┬────────────────────────────┘
                                                             │
                                                             ▼ (HTTP / SSE Outbound Prompts)
   ┌──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
   │                                 ⚡ TOKENECTOMY AI GATEWAY (127.0.0.1:8080)                                       │
   │                                                                                                                  │
   │  ┌─────────────────────────┐   ┌───────────────────────────┐   ┌──────────────────────────────────────────────┐  │
   │  │   Zero-Cost Prompt      │   │   Zero-Leak Credential    │   │         Polyglot Trace Surgery               │  │
   │  │         Cache           │   │         Redaction         │   │            (9 Languages)                     │  │
   │  │  <1ms Hit • 100% Free   │   │  API Keys • JWTs • DB URIs│   │  node_modules • site-packages • .cargo       │  │
   │  └───────────┬─────────────┘   └─────────────┬─────────────┘   └──────────────────────┬───────────────────────┘  │
   │              │                               │                                        │                          │
   │              └───────────────────────────────┼────────────────────────────────────────┘                          │
   │                                              ▼                                                                   │
   │                                 Smart Upstream Auto-Router                                                       │
   │                         (Anthropic • OpenAI • Groq • Ollama Local)                                               │
   └──────────────────────────────────────────────┬───────────────────────────────────────────────────────────────────┘
                                                  │
                 ┌────────────────────────────────┼────────────────────────────────┐
                 ▼                                ▼                                ▼
       api.anthropic.com                  api.openai.com                   localhost:11434
    (Claude 3.5 / 3.7 Sonnet)         (GPT-4o / o1 / o3-mini)              (DeepSeek / Llama)

⚡ クイックスタート (10秒)

0. ゼロ設定のワンライナーラッパー (wrap)

手動で環境変数を設定することなく、あらゆるコーディングエージェントやテストスイートを Tokenectomy のプライバシー & キャッシュゲートウェイの背後で直接実行できます:

# Wrap Claude Code CLI
razor wrap -- claude

# Wrap Aider with DeepSeek or Ollama (Auto-Transpiled on the fly!)
razor wrap -- aider --model deepseek/deepseek-chat

# Wrap test runs to scrub logs and prevent accidental credential leakage
razor wrap npm test

1. スタンドアロン AI ゲートウェイの起動 (手動モード)

npx -y tokenectomy-razor --proxy

💡 スマートなマルチプロバイダー自動ルーティング & ユニバーサル LLM トランスパイラがデフォルトで有効! Tokenectomy はリクエストパスとヘッダーを自動的に解析します。Claude Code を DeepSeek や Ollama に対して実行する必要がありますか? Tokenectomy は Anthropic の /v1/messages 形式を OpenAI の /v1/chat/completions 形式に、その場で透過的にトランスパイルします(逆も同様)。

2. お気に入りのエージェントを接続

コーディングエージェントや CLI を 127.0.0.1:8080 のローカルゲートウェイに向けます:

3. リアルタイム FinOps & セキュリティダッシュボード

ブラウザで http://127.0.0.1:8080/dashboard を開くと、ライブのトークン削減量、プロンプトキャッシュヒット数、ドル換算の節約額、秘匿化された認証情報をリアルタイムで確認できます。

4. コンパニオン MCP サーバーのセットアップ (サブコーテックス)

深い診断ツールを呼び出すエージェント向け (get_error_context, analyze_code, apply_code_patch):

Claude Code CLI

claude mcp add tokenectomy npx -y tokenectomy-razor --mcp

Google Antigravity / Gemini CLI

agy mcp add tokenectomy-razor -- npx -y tokenectomy-razor --mcp

Cursor Composer (.cursor/mcp.json)

{
  "mcpServers": {
    "tokenectomy": {
      "command": "npx",
      "args": ["-y", "tokenectomy-razor", "--mcp"]
    }
  }
}

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "tokenectomy": {
      "command": "npx",
      "args": ["-y", "tokenectomy-razor", "--mcp"]
    }
  }
}

5. ターミナルパイプ & CLI スクラビング

npm test 2>&1 | npx tokenectomy-razor

🛑 問題点: AI がレート制限に達し、幻覚を起こす理由

開発中にアプリがクラッシュすると (Next.js、Express、FastAPI、Tokio)、ランタイムは node_modules や site-packages からのサードパーティの配管コードを数百行ダンプします。

その生のクラッシュダンプを Cursor や Claude に貼り付けると:

1. 5時間のレート制限を消費: 単一の Express/Prisma エラーで、あなたが書いた覚えのないサードパーティライブラリのコードを 5,000〜45,000 トークンもダンプすることがあります。クラッシュループが数回発生するだけで、セッション制限を簡単に使い切ってしまいます。
2. AI の幻覚を誘発: Claude はフレームワーク内部 (node_modules/express/lib/router/layer.js や starlette/routing.py) に迷い込み、実際のアプリケーションコードではなくライブラリファイルを編集しようとします。
3. シークレットと認証情報を漏洩: 生のデータベースパスワードを含む接続文字列、JWT ベアラートークン、クラウドキーがエラートレースに埋め込まれたまま、外部のモデルサーバーに転送されます。

Raw Terminal Crash (45,820 tokens + Leaked Secrets)
     │
     ▼  <0.2ms Local Rust DFA Engine
[Redact Passwords & Keys] ──► [Strip Third-Party Framework Frames] ──► [Isolate Root Cause]
     │
     ▼
Clean Context (118 tokens • Zero Secrets • Sub-millisecond)

🔍 導入前と導入後の比較

❌ Tokenectomy なし: AI は幻覚を起こし、コンテキストを消費する

TypeError: Cannot read properties of undefined (reading 'token')
    at loadComponents (/app/node_modules/next/dist/server/load-components.js:14:2)
    at renderToHTML (/app/node_modules/next/dist/server/render.js:50:5)
    at nextServer (/app/node_modules/next/dist/server/next-server.js:80:12)
    at processTicksAndRejections (node:internal/process/task_queues:95:5)
    at runMicrotasks (node:internal/process/task_queues:120:3)
    at checkoutHandler (/app/pages/api/checkout.ts:42:15)
Database connection failed: postgresql://admin:super_secret_password@db.prod.internal:5432/primary
API key leaked: sk-ant-api03-abcdef1234567890abcdef1234567890

Claude の動作: load-components.js と next-server.js を分析し、Webpack / Next.js の内部構造について推測し、接続認証情報をリモートの推論ログに漏洩させます。

✅ Tokenectomy あり: クリーンなコンテキスト & 即時修正

// [Tokenectomy Surgery: 5 internal framework frames pruned (83.3%)]
// Source: /app/pages/api/checkout.ts:42:15
42 |   const sessionToken = req.headers.authorization.token;
   |                                                  ^ TypeError: Cannot read properties of undefined (reading 'token')
🛡️ [CONNECTION_STRING_REDACTED]
🛡️ [ANTHROPIC_KEY_REDACTED]

Claude の動作: checkout.ts の 42 行目が、未定義のヘッダー上の .token にアクセスしようとしたことを即座に特定します。req.headers.authorization?.token のオプショナルチェイニングをすぐに提案します。認証情報は送信前に秘匿化されます。

🔬 検証済みベンチマーク

すべてのパフォーマンス主張はハードウェアに基づいており、物理ハードウェア上で独立して再現可能です (Arch Linux、Kernel 6.13 を実行する 10 コア Intel Core i5-1235U @ 15W で測定):

ハードウェア依存性の注意: パフォーマンスはハードウェアに依存します。報告されたスループットは、指定されたテストハードウェア (10 コア Intel Core i5-1235U @ 15W TDP) での測定結果を表します。スループットは、より高い TDP のデスクトップ/サーバー CPU とより高速なメモリバスに応じてスケールします。開発者は、以下の再現コマンドを使用してパフォーマンスを独自に監査することをお勧めします。

$ cargo test --release --test stress_benchmark -- --nocapture

=====================================================================================
🧪 TOKENECTOMY OSS VERIFIABLE HEAVY STRESS BENCHMARK (100% REPRODUCIBLE IN OSS)
   Hardware: 10-Core / 12-Thread Intel Core i5-1235U | OS: Arch Linux | Kernel Telemetry Active
   Initial Baseline Process Memory (VmRSS): 3.45 MB
=====================================================================================

🔥 [TEST 1/3] QUARTER-MILLION LINES LOG REDACTION TORTURE (250,000 LINES / 25MB+ BUFFER)
  ├── Buffer Size: 24.44 MB (250000 lines)
  ├── Redaction Latency: 471.05ms (51.9 MB/sec)
  ├── Line Throughput: 530,735 lines/sec
  ├── Peak Memory (VmRSS): 76.05 MB (Delta: +72.60 MB)
  └── Status: ✅ PASSED (100% of 250,000 lines sanitized, zero memory balloon)

🔥 [TEST 2/3] REDOS CATASTROPHIC BACKTRACKING TORTURE (50,000 CHARS PAYLOAD)
  ├── Attack Payload Size: 50,082 characters
  ├── Execution Latency: 1.165 ms
  └── Status: ✅ PASSED (Linear O(N) evaluation, ReDoS-resistant on tested payloads)

🔥 [TEST 3/3] HIGH-CONCURRENCY TORTURE (100 PARALLEL OS THREADS)
  ├── Thread Concurrency: 100 concurrent OS threads
  ├── Successful Operations: 100/100 (100.0%)
  ├── Total Elapsed: 11.31ms
  ├── Concurrency Throughput: 17,688 ops/sec
  ├── Final VmRSS: 78.99 MB
  └── Status: ✅ PASSED (Zero race condition, zero deadlock)

=====================================================================================
🏆 TOKENECTOMY OSS STRESS BENCHMARK: 3/3 PASSED (100% GREEN)
   Total Suite Duration: 580.83ms
   Bounded Final VmRSS: 78.99 MB
=====================================================================================
test test_oss_heavy_stress_benchmark ... ok

test result: ok. 1 passed; 0 failed; 0 ignored; 0 measured; 0 filtered out; finished in 0.58s

🛡️ 自動秘匿化 & シークレットサニタイゼーションベンチマーク

12 のポリグロットクラッシュトレース (Rust、Python、TypeScript、Go、YAML) を含む内部ベンチマークテストフィクスチャ (tests/fixtures/) で評価。22 のグラウンドトゥルース認証情報とクリーンなネガティブコントロールを含みます。Gitleaks v8.30.1 (デフォルトルールセット) と直接比較評価されました。

アーキテクチャノート: Gitleaks は主にリポジトリのコミット/差分スキャナーとして設計されており、インメモリのランタイムトレース秘匿化ツールではありません。Tokenectomy Razor は、ランタイムストリームのサニタイゼーションとスタックトレース手術のために特別に設計されています。

1. カテゴリ別の適合率、再現率、F1 スコア

2. 直接比較パフォーマンス & アーキテクチャ概要

3. トークン削減 & LLM コンテキスト節約 (tiktoken cl100k_base)

🔌 高度なエージェント & ゲートウェイ設定

1. マルチプロバイダー AI ゲートウェイオプション (--proxy)

Tokenectomy のゲートウェイは、手動設定なしで 127.0.0.1:8080 のローカルで実行されます。複雑な開発環境やコンテナ化されたエージェントトポロジーでは、バインディングとルーティングをカスタマイズできます:

# Default Smart Auto-Routing (routes Anthropic, OpenAI, and Ollama requests dynamically):
razor --proxy

# Safety Circuit Breaker: Prevent runaway agent loops from burning your hourly budget or 5-hour window:
razor --proxy --max-hourly-tokens 200000

# Resilient 429 Auto-Retry: Automatically pause and retry when hitting upstream rate limits (default: on):
razor --proxy --max-retries 5

# Explicit upstream override (e.g. Groq, vLLM, or OpenRouter):
razor --proxy --upstream-url https://api.groq.com/openai/v1

# Secure remote container binding with mandatory bearer token:
razor --proxy --proxy-bind 0.0.0.0:8080 --allow-remote --proxy-token "$MY_GATEWAY_TOKEN"

リアルタイムメトリクスとPrometheusエクスポート

Tokenectomyは、FinOpsおよびトークン経済データをJSON経由でライブ公開します：

curl http://127.0.0.1:8080/v1/metrics

rate_limits_mitigated、circuit_breaker_trips、last_latency_ms、current_hourly_tokens、cache_hits、cache_tokens_saved、estimated_cost_saved_usdの即時テレメトリを返します。

2. スタンドアロンCLIとターミナルスクラビング

ターミナルのテスト出力を直接デバッグまたはパイプ処理する場合：

# Pipe terminal test failures through the surgical redactor:
npm test 2>&1 | razor --scrub

# Sanitize a specific raw log file:
razor --scrub --file /var/log/app/error.log > sanitized.log

# Offline local air-gapped mode (zero external network calls):
cat failure.log | razor --scrub --local-only

🛠️ 公開MCPツール

Tokenectomy Razorは、明示的なパラメータ境界を持つ**Glama Grade A Tool Definition Quality Score（TDQS）**に準拠しています：

🌐 サポート対象のポリグロットエコシステム

📦 インストールオプション

方法1：npxによる即時インストール（ゼロツールチェーンセットアップ）

npx -y tokenectomy-razor --mcp

方法2：Cargo（crates.io）

cargo install tokenectomy

方法3：プリコンパイル済みスタンドアロンバイナリ

GitHub Releasesで利用可能な、ゼロ依存のスタンドアロンリリースバイナリ：

• Linux： x86_64-unknown-linux-gnu、x86_64-unknown-linux-musl、aarch64-unknown-linux-gnu
• macOS： aarch64-apple-darwin（Apple Silicon M1/M2/M3/M4）、x86_64-apple-darwin（Intel）
• Windows： x86_64-pc-windows-msvc.exe

方法4：マルチアーキテクチャDockerコンテナ（GHCR）

docker pull ghcr.io/tokenectomy-labs/razor:latest
docker run -i ghcr.io/tokenectomy-labs/razor:latest --mcp

⚖️ エディション比較

エンタープライズAST自己修復が必要ですか？ Sentinelティアを探索

🗺️ ロードマップとマイルストーン

🔒 セキュリティと不変条件

• デフォルトでローカル実行： すべてのスタックトレース解析、フレームプルーニング、シークレット編集は物理ハードウェア上でローカルに実行されます。
• 文書化されたネットワークエグレス： MCPサーバーモードでは、search_stack_overflowが唯一のアウトバウンドネットワークエグレス（api.stackexchange.comへのHTTPS）を持つツールです。ペイロードは、サニタイズおよび編集されたエラーシグネチャテキストに厳密に制限されます（コード行なし、ローカルパスなし、認証情報ゼロ）。エアギャップ環境では、--local-onlyを使用してネットワーク検索を完全に無効にします。
• 決定論的線形時間パターンマッチング： すべてのパターンマッチャーは、非バックトラッキングDFA正規表現エンジン（$O(N)$線形時間）とAho-Corasickオートマトン評価を利用します。
• パストラバーサル境界分離： ファイル操作は、アクティブなワークスペースルート（CWD）内に厳密にロックされます。パストラバーサル（../）と不正なシンボリックリンクはブロックされます。
• 安全なRust実装： コア実行パスは、リソース枯渇を防ぐ境界付きストリームリーダー（.take()）を使用して、安全なRustメモリ保証を強制します。

脆弱性の開示については、セキュリティポリシーをご確認ください。

⚖️ 法的およびダウンストリームフォーク免責事項

Tokenectomy Razorは、合法的な開発者の生産性、可観測性、ログ手術、および防御的な認証情報編集のためにのみ提供されます。ダウンストリームのフォーク、クローン、再配布、またはプライベートデプロイは、元の作者から完全に独立して動作します。Tokenectomy Labsおよびそのメンテナーは、このコードベースまたはその派生物を使用して第三者によって行われた違法、悪意のある、または不正な行為に対して一切の責任を負いません。すべてのダウンストリームオペレーターは、地域および国際的なサイバーセキュリティ法への準拠について100%個別の責任を負います。完全な法的条件については、DISCLAIMER.mdを参照してください。

❓ よくある質問（FAQ）

Tokenectomy Razorは、Claude CodeとCursorがレート制限に達するのをどのように防ぎますか？

テストやターミナルビルドがクラッシュすると、Next.js、Express、Jest、Djangoなどのフレームワークは数千の内部スタックフレーム（node_modules、site-packages）をダンプします。生の5,000行のクラッシュログを送信すると、プロンプトごとに15,000〜45,000トークンを消費し、5時間のセッション制限を数分で使い果たします。Tokenectomy Razorはログをインターセプトし、実行可能でないフレームワーク配管の95%を除去し、40,000文字のクラッシュログを<0.2msで200の必須トークン未満に削減します。

Cursorがnode_modulesエラーログをLLMに送信するのを止めるにはどうすればよいですか？

Tokenectomy RazorをローカルAIゲートウェイリバースプロキシ（npx -y tokenectomy-razor --proxy）として実行します。Cursor設定で、OpenAI Base URLをhttp://127.0.0.1:8080/v1にポイントします。Composerによって貼り付けまたは参照されたターミナルエラー出力は、モデルサーバーに到達する前に自動的にサニタイズ、スクラビング、キャッシュされます。

Tokenectomyはエラーログでの認証情報漏洩をどのように防ぎますか？

すべてのログ手術とシークレット編集は、アウトバウンド送信前にマシン上のメモリ内で100%ローカルに実行されます。Razorは、決定論的線形時間正規表現とAho-Corasickオートマタを使用して、PostgreSQL/MongoDB接続URI、JWTベアラートークン、クラウドAPIキーを[REDACTED]トークンで検出および編集します。スクラビングにはゼロクラウドエグレスが必要です。

🤝 コミュニティとリソース

• 🌐 公式ウェブサイト
• 📖 ドキュメント
• 🏗️ システムアーキテクチャ
• 📋 チェンジログ
• 🤝 コントリビューションガイドライン
• 🔒 セキュリティポリシー
• ⚖️ 免責事項と責任