Tokenectomy Razor

Tokenectomy Razor

Perbaiki Batas Rate Limit Claude Code & Cursor: Gateway AI Lokal Latensi Nol & Server MCP Bedah Konteks dalam Rust

Berhenti membakar 20.000 token untuk jejak stack node_modules. Tokenectomy Razor adalah gateway AI lokal sub-milidetik reverse proxy (127.0.0.1:8080) & server MCP pendamping yang ditulis dalam Rust yang aman. Memangkas 41,7%–99,7% kebisingan framework dari log error terminal, menyunting kredensial DB/JWT yang bocor, dan menyimpan cache prompt secara gratis.

Mulai Cepat (10 Detik) • Arsitektur • Masalahnya • Sebelum & Sesudah • Demo Interaktif Langsung • Benchmark

                                 ┌────────────────────────────────────────────────────────┐
                                 │                   Autonomous Agents                    │
                                 │  Claude Code • Cursor • Antigravity • Cline • Windsurf │
                                 └───────────────────────────┬────────────────────────────┘
                                                             │
                                                             ▼ (HTTP / SSE Outbound Prompts)
   ┌──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
   │                                 ⚡ TOKENECTOMY AI GATEWAY (127.0.0.1:8080)                                       │
   │                                                                                                                  │
   │  ┌─────────────────────────┐   ┌───────────────────────────┐   ┌──────────────────────────────────────────────┐  │
   │  │   Zero-Cost Prompt      │   │   Zero-Leak Credential    │   │         Polyglot Trace Surgery               │  │
   │  │         Cache           │   │         Redaction         │   │            (9 Languages)                     │  │
   │  │  <1ms Hit • 100% Free   │   │  API Keys • JWTs • DB URIs│   │  node_modules • site-packages • .cargo       │  │
   │  └───────────┬─────────────┘   └─────────────┬─────────────┘   └──────────────────────┬───────────────────────┘  │
   │              │                               │                                        │                          │
   │              └───────────────────────────────┼────────────────────────────────────────┘                          │
   │                                              ▼                                                                   │
   │                                 Smart Upstream Auto-Router                                                       │
   │                         (Anthropic • OpenAI • Groq • Ollama Local)                                               │
   └──────────────────────────────────────────────┬───────────────────────────────────────────────────────────────────┘
                                                  │
                 ┌────────────────────────────────┼────────────────────────────────┐
                 ▼                                ▼                                ▼
       api.anthropic.com                  api.openai.com                   localhost:11434
    (Claude 3.5 / 3.7 Sonnet)         (GPT-4o / o1 / o3-mini)              (DeepSeek / Llama)

⚡ Mulai Cepat (10 Detik)

0. Pembungkus Satu Baris Tanpa Konfigurasi (wrap)

Jalankan agen coding atau rangkaian pengujian apa pun secara langsung di belakang gateway privasi & caching Tokenectomy tanpa pengaturan variabel lingkungan manual:

# Wrap Claude Code CLI
razor wrap -- claude

# Wrap Aider with DeepSeek or Ollama (Auto-Transpiled on the fly!)
razor wrap -- aider --model deepseek/deepseek-chat

# Wrap test runs to scrub logs and prevent accidental credential leakage
razor wrap npm test

1. Luncurkan Gateway AI Mandiri (Mode Manual)

npx -y tokenectomy-razor --proxy

💡 Routing Otomatis Multi-Provider Cerdas & Transpiler LLM Universal AKTIF secara default! Tokenectomy secara otomatis menganalisis jalur permintaan dan header. Perlu menjalankan Claude Code terhadap DeepSeek atau Ollama? Tokenectomy secara transparan mentranspilasi format Anthropic /v1/messages menjadi OpenAI /v1/chat/completions secara langsung dan sebaliknya.

2. Hubungkan Agen Favorit Anda

Arahkan agen coding atau CLI Anda ke gateway lokal di 127.0.0.1:8080:

3. Dasbor FinOps & Keamanan Waktu Nyata

Buka http://127.0.0.1:8080/dashboard di browser Anda untuk mengamati pengurangan token secara langsung, hit cache prompt, penghematan dolar, dan kredensial yang disunting secara waktu nyata.

4. Pengaturan Server MCP Pendamping (Sub-Korteks)

Untuk agen yang memanggil alat diagnostik mendalam (get_error_context, analyze_code, apply_code_patch):

CLI Claude Code

claude mcp add tokenectomy npx -y tokenectomy-razor --mcp

CLI Google Antigravity / Gemini

agy mcp add tokenectomy-razor -- npx -y tokenectomy-razor --mcp

Cursor Composer (.cursor/mcp.json)

{
  "mcpServers": {
    "tokenectomy": {
      "command": "npx",
      "args": ["-y", "tokenectomy-razor", "--mcp"]
    }
  }
}

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "tokenectomy": {
      "command": "npx",
      "args": ["-y", "tokenectomy-razor", "--mcp"]
    }
  }
}

5. Piping Terminal & Pembersihan CLI

npm test 2>&1 | npx tokenectomy-razor

🛑 Masalahnya: Mengapa AI Anda Mengalami Batas Rate Limit & Halusinasi

Saat aplikasi Anda crash selama pengembangan (Next.js, Express, FastAPI, Tokio), runtime membuang ratusan baris plumbing pihak ketiga dari node_modules atau site-packages.

Saat Anda menempelkan dump crash mentah itu ke Cursor atau Claude:

1. Menghabiskan Batas Rate Limit 5 Jam Anda: Satu error Express/Prisma dapat membuang 5.000 hingga 45.000 token kode pustaka pihak ketiga yang tidak pernah Anda tulis. Beberapa siklus crash dengan mudah menghabiskan batas sesi Anda.
2. Memicu Halusinasi AI: Claude tersesat dalam internal framework (node_modules/express/lib/router/layer.js atau starlette/routing.py) dan mencoba mengedit file pustaka alih-alih kode aplikasi Anda yang sebenarnya.
3. Membocorkan Rahasia & Kredensial: String koneksi dengan kata sandi database mentah, token bearer JWT, dan kunci cloud yang tertanam dalam jejak error diteruskan ke server model eksternal.

Raw Terminal Crash (45,820 tokens + Leaked Secrets)
     │
     ▼  <0.2ms Local Rust DFA Engine
[Redact Passwords & Keys] ──► [Strip Third-Party Framework Frames] ──► [Isolate Root Cause]
     │
     ▼
Clean Context (118 tokens • Zero Secrets • Sub-millisecond)

🔍 Perbandingan Sebelum & Sesudah

❌ Tanpa Tokenectomy: AI Halusinasi & Membakar Konteks

TypeError: Cannot read properties of undefined (reading 'token')
    at loadComponents (/app/node_modules/next/dist/server/load-components.js:14:2)
    at renderToHTML (/app/node_modules/next/dist/server/render.js:50:5)
    at nextServer (/app/node_modules/next/dist/server/next-server.js:80:12)
    at processTicksAndRejections (node:internal/process/task_queues:95:5)
    at runMicrotasks (node:internal/process/task_queues:120:3)
    at checkoutHandler (/app/pages/api/checkout.ts:42:15)
Database connection failed: postgresql://admin:super_secret_password@db.prod.internal:5432/primary
API key leaked: sk-ant-api03-abcdef1234567890abcdef1234567890

Apa yang dilakukan Claude: Menganalisis load-components.js dan next-server.js, berspekulasi tentang internal Webpack / Next.js, dan membocorkan kredensial koneksi ke log inferensi jarak jauh.

✅ Dengan Tokenectomy: Konteks Bersih & Perbaikan Instan

// [Tokenectomy Surgery: 5 internal framework frames pruned (83.3%)]
// Source: /app/pages/api/checkout.ts:42:15
42 |   const sessionToken = req.headers.authorization.token;
   |                                                  ^ TypeError: Cannot read properties of undefined (reading 'token')
🛡️ [CONNECTION_STRING_REDACTED]
🛡️ [ANTHROPIC_KEY_REDACTED]

Apa yang dilakukan Claude: Langsung mengidentifikasi bahwa baris 42 di checkout.ts mencoba mengakses .token pada header yang tidak terdefinisi. Menyarankan optional chaining req.headers.authorization?.token segera. Kredensial disunting sebelum transmisi.

🔬 Benchmark yang Dapat Diverifikasi

Semua klaim kinerja didasarkan pada perangkat keras dan dapat direproduksi secara independen pada perangkat keras fisik (diukur pada Intel Core i5-1235U 10-Core @ 15W yang menjalankan Arch Linux, Kernel 6.13):

Pemberitahuan Ketergantungan Perangkat Keras: Kinerja bergantung pada perangkat keras; throughput yang dilaporkan mewakili hasil terukur pada perangkat keras pengujian yang ditentukan (Intel Core i5-1235U 10-Core @ 15W TDP). Throughput meningkat seiring dengan CPU desktop/server TDP yang lebih tinggi dan bus memori yang lebih cepat. Pengembang didorong untuk mengaudit kinerja secara independen menggunakan perintah reproduksi di bawah ini.

$ cargo test --release --test stress_benchmark -- --nocapture

=====================================================================================
🧪 TOKENECTOMY OSS VERIFIABLE HEAVY STRESS BENCHMARK (100% REPRODUCIBLE IN OSS)
   Hardware: 10-Core / 12-Thread Intel Core i5-1235U | OS: Arch Linux | Kernel Telemetry Active
   Initial Baseline Process Memory (VmRSS): 3.45 MB
=====================================================================================

🔥 [TEST 1/3] QUARTER-MILLION LINES LOG REDACTION TORTURE (250,000 LINES / 25MB+ BUFFER)
  ├── Buffer Size: 24.44 MB (250000 lines)
  ├── Redaction Latency: 471.05ms (51.9 MB/sec)
  ├── Line Throughput: 530,735 lines/sec
  ├── Peak Memory (VmRSS): 76.05 MB (Delta: +72.60 MB)
  └── Status: ✅ PASSED (100% of 250,000 lines sanitized, zero memory balloon)

🔥 [TEST 2/3] REDOS CATASTROPHIC BACKTRACKING TORTURE (50,000 CHARS PAYLOAD)
  ├── Attack Payload Size: 50,082 characters
  ├── Execution Latency: 1.165 ms
  └── Status: ✅ PASSED (Linear O(N) evaluation, ReDoS-resistant on tested payloads)

🔥 [TEST 3/3] HIGH-CONCURRENCY TORTURE (100 PARALLEL OS THREADS)
  ├── Thread Concurrency: 100 concurrent OS threads
  ├── Successful Operations: 100/100 (100.0%)
  ├── Total Elapsed: 11.31ms
  ├── Concurrency Throughput: 17,688 ops/sec
  ├── Final VmRSS: 78.99 MB
  └── Status: ✅ PASSED (Zero race condition, zero deadlock)

=====================================================================================
🏆 TOKENECTOMY OSS STRESS BENCHMARK: 3/3 PASSED (100% GREEN)
   Total Suite Duration: 580.83ms
   Bounded Final VmRSS: 78.99 MB
=====================================================================================
test test_oss_heavy_stress_benchmark ... ok

test result: ok. 1 passed; 0 failed; 0 ignored; 0 measured; 0 filtered out; finished in 0.58s

🛡️ Benchmark Penyuntingan Otomatis & Sanitasi Rahasia

Dievaluasi pada fixture uji benchmark internal (tests/fixtures/) dari 12 jejak crash poliglot (Rust, Python, TypeScript, Go, YAML) yang berisi 22 kredensial ground-truth dan kontrol negatif bersih. Dievaluasi head-to-head terhadap Gitleaks v8.30.1 (ruleset default).

Catatan Arsitektural: Gitleaks dirancang terutama sebagai pemindai commit/diff repositori, bukan penyunting jejak runtime dalam memori. Tokenectomy Razor direkayasa khusus untuk sanitasi aliran runtime dan bedah jejak stack.

1. Presisi, Recall & Skor F1 per Kategori

2. Ringkasan Kinerja Head-to-Head & Arsitektural

3. Pengurangan Token & Penghematan Konteks LLM (tiktoken cl100k_base)

🔌 Konfigurasi Agen & Gateway Lanjutan

1. Opsi Gateway AI Multi-Provider (--proxy)

Gateway Tokenectomy berjalan secara lokal di 127.0.0.1:8080 tanpa konfigurasi manual. Dalam lingkungan pengembangan yang kompleks atau topologi agen yang dikontainerisasi, Anda dapat menyesuaikan binding dan routing:

# Default Smart Auto-Routing (routes Anthropic, OpenAI, and Ollama requests dynamically):
razor --proxy

# Safety Circuit Breaker: Prevent runaway agent loops from burning your hourly budget or 5-hour window:
razor --proxy --max-hourly-tokens 200000

# Resilient 429 Auto-Retry: Automatically pause and retry when hitting upstream rate limits (default: on):
razor --proxy --max-retries 5

# Explicit upstream override (e.g. Groq, vLLM, or OpenRouter):
razor --proxy --upstream-url https://api.groq.com/openai/v1

# Secure remote container binding with mandatory bearer token:
razor --proxy --proxy-bind 0.0.0.0:8080 --allow-remote --proxy-token "$MY_GATEWAY_TOKEN"

Metrik Real-Time & Ekspor Prometheus

Tokenectomy mengekspos data FinOps dan ekonomi token secara langsung melalui JSON:

curl http://127.0.0.1:8080/v1/metrics

Mengembalikan telemetri instan untuk rate_limits_mitigated, circuit_breaker_trips, last_latency_ms, current_hourly_tokens, cache_hits, cache_tokens_saved, dan estimated_cost_saved_usd.

2. CLI Mandiri & Pembersihan Terminal

Saat men-debug atau menyalurkan output tes terminal secara langsung:

# Pipe terminal test failures through the surgical redactor:
npm test 2>&1 | razor --scrub

# Sanitize a specific raw log file:
razor --scrub --file /var/log/app/error.log > sanitized.log

# Offline local air-gapped mode (zero external network calls):
cat failure.log | razor --scrub --local-only

🛠️ Alat MCP yang Diekspos

Tokenectomy Razor mematuhi Skor Kualitas Definisi Alat Glama Grade A (TDQS) dengan batasan parameter yang eksplisit:

🌐 Ekosistem Poliglot yang Didukung

📦 Opsi Instalasi

Metode 1: Instan via npx (Pengaturan Toolchain Nol)

npx -y tokenectomy-razor --mcp

Metode 2: Cargo (crates.io)

cargo install tokenectomy

Metode 3: Biner Mandiri yang Telah Dikompilasi

Biner rilis mandiri tanpa dependensi tersedia di GitHub Releases:

• Linux: x86_64-unknown-linux-gnu, x86_64-unknown-linux-musl, aarch64-unknown-linux-gnu
• macOS: aarch64-apple-darwin (Apple Silicon M1/M2/M3/M4), x86_64-apple-darwin (Intel)
• Windows: x86_64-pc-windows-msvc.exe

Metode 4: Kontainer Docker Multi-Arsitektur (GHCR)

docker pull ghcr.io/tokenectomy-labs/razor:latest
docker run -i ghcr.io/tokenectomy-labs/razor:latest --mcp

⚖️ Perbandingan Edisi

Butuh Penyembuhan Mandiri AST Enterprise? Jelajahi Tingkat Sentinel

🗺️ Peta Jalan & Tonggak Pencapaian

🔒 Keamanan & Invariansi

• Eksekusi Lokal secara Default: Semua penguraian jejak stack, pemangkasan bingkai, dan penyuntingan rahasia dieksekusi secara lokal di perangkat keras fisik.
• Egress Jaringan yang Terdokumentasi: Dalam mode server MCP, search_stack_overflow adalah satu-satunya alat dengan egress jaringan keluar (HTTPS ke api.stackexchange.com). Payload dibatasi secara ketat pada teks tanda tangan error yang disanitasi dan disunting (tanpa baris kode, tanpa jalur lokal, tanpa kredensial). Di lingkungan yang terisolasi udara, gunakan --local-only untuk menonaktifkan pencarian jaringan sepenuhnya.
• Pencocokan Pola Waktu Linear Deterministik: Semua pencocok pola menggunakan mesin regex DFA non-backtracking (waktu linear $O(N)$) dan evaluasi automaton Aho-Corasick.
• Isolasi Batas Traversal Jalur: Operasi file dikunci secara ketat di dalam root workspace aktif (CWD). Traversal jalur (../) dan symlink yang tidak sah diblokir.
• Implementasi Rust yang Aman: Jalur eksekusi inti menegakkan jaminan memori Rust yang aman dengan pembaca aliran terbatas (.take()) yang mencegah kehabisan sumber daya.

Untuk pengungkapan kerentanan, silakan tinjau Kebijakan Keamanan kami.

⚖️ Penafian Hukum & Fork Turunan

Tokenectomy Razor disediakan secara ketat untuk produktivitas pengembang yang sah, observabilitas, operasi bedah log, dan penyuntingan kredensial defensif. Setiap fork turunan, klon, redistribusi, atau penerapan pribadi beroperasi sepenuhnya secara independen dari penulis asli. Tokenectomy Labs dan pemeliharanya tidak bertanggung jawab atas tindakan ilegal, jahat, atau tidak sah yang dilakukan oleh pihak ketiga menggunakan basis kode ini atau turunannya. Semua operator turunan memikul tanggung jawab individu 100% untuk kepatuhan terhadap hukum keamanan siber lokal dan internasional. Lihat DISCLAIMER.md untuk ketentuan hukum lengkap.

❓ Pertanyaan yang Sering Diajukan (FAQ)

Bagaimana Tokenectomy Razor mencegah Claude Code & Cursor mencapai batas kecepatan?

Saat tes atau build terminal mogok, framework seperti Next.js, Express, Jest, dan Django membuang ribuan bingkai stack internal (node_modules, site-packages). Mengirim log crash mentah 5.000 baris mengonsumsi 15.000 hingga 45.000 token per prompt, menghabiskan batas sesi 5 jam Anda dalam hitungan menit. Tokenectomy Razor mencegat log dan menghapus 95% saluran framework yang tidak dapat ditindaklanjuti, mengurangi log crash 40.000 karakter menjadi di bawah 200 token penting dalam <0,2ms.

Bagaimana cara menghentikan Cursor mengirim log error node_modules ke LLM?

Jalankan Tokenectomy Razor sebagai proxy terbalik AI Gateway lokal (npx -y tokenectomy-razor --proxy). Di pengaturan Cursor, arahkan OpenAI Base URL Anda ke http://127.0.0.1:8080/v1. Output error terminal apa pun yang ditempel atau direferensikan oleh Composer akan otomatis disanitasi, disunting, dan di-cache saat itu juga sebelum mencapai server model.

Bagaimana Tokenectomy mencegah kebocoran kredensial dalam log error?

Semua operasi bedah log dan penyuntingan rahasia dieksekusi 100% secara lokal di mesin Anda di memori sebelum transmisi keluar. Razor menggunakan regex waktu linear deterministik dan automata Aho-Corasick untuk mendeteksi dan menyunting URI koneksi PostgreSQL/MongoDB, token bearer JWT, dan kunci API cloud dengan token [REDACTED]. Tidak ada egress cloud yang diperlukan untuk pembersihan.

🤝 Komunitas & Sumber Daya

• 🌐 Situs Web Resmi
• 📖 Dokumentasi
• 🏗️ Arsitektur Sistem
• 📋 Catatan Perubahan
• 🤝 Panduan Kontribusi
• 🔒 Kebijakan Keamanan
• ⚖️ Penafian & Tanggung Jawab