Tokenectomy Razor

Tokenectomy Razor

Claude Code और Cursor रेट लिमिट ठीक करें: रस्ट में लिखा ज़ीरो-लेटेंसी लोकल AI गेटवे और कॉन्टेक्स्ट-सर्जरी MCP सर्वर

node_modules स्टैक ट्रेस पर 20,000 टोकन बर्बाद करना बंद करें। Tokenectomy Razor एक सब-मिलीसेकंड लोकल AI गेटवे रिवर्स प्रॉक्सी (127.0.0.1:8080) और साथ में चलने वाला MCP सर्वर है, जो सुरक्षित रस्ट में लिखा गया है। यह टर्मिनल एरर लॉग से 41.7%–99.7% फ्रेमवर्क शोर हटाता है, लीक हुई DB क्रेडेंशियल्स/JWT को रिडैक्ट करता है, और प्रॉम्प्ट को मुफ्त में कैश करता है।

क्विक स्टार्ट (10 सेकंड) • आर्किटेक्चर • समस्या • पहले और बाद में • लाइव इंटरैक्टिव डेमो • बेंचमार्क

                                 ┌────────────────────────────────────────────────────────┐
                                 │                   Autonomous Agents                    │
                                 │  Claude Code • Cursor • Antigravity • Cline • Windsurf │
                                 └───────────────────────────┬────────────────────────────┘
                                                             │
                                                             ▼ (HTTP / SSE Outbound Prompts)
   ┌──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
   │                                 ⚡ TOKENECTOMY AI GATEWAY (127.0.0.1:8080)                                       │
   │                                                                                                                  │
   │  ┌─────────────────────────┐   ┌───────────────────────────┐   ┌──────────────────────────────────────────────┐  │
   │  │   Zero-Cost Prompt      │   │   Zero-Leak Credential    │   │         Polyglot Trace Surgery               │  │
   │  │         Cache           │   │         Redaction         │   │            (9 Languages)                     │  │
   │  │  <1ms Hit • 100% Free   │   │  API Keys • JWTs • DB URIs│   │  node_modules • site-packages • .cargo       │  │
   │  └───────────┬─────────────┘   └─────────────┬─────────────┘   └──────────────────────┬───────────────────────┘  │
   │              │                               │                                        │                          │
   │              └───────────────────────────────┼────────────────────────────────────────┘                          │
   │                                              ▼                                                                   │
   │                                 Smart Upstream Auto-Router                                                       │
   │                         (Anthropic • OpenAI • Groq • Ollama Local)                                               │
   └──────────────────────────────────────────────┬───────────────────────────────────────────────────────────────────┘
                                                  │
                 ┌────────────────────────────────┼────────────────────────────────┐
                 ▼                                ▼                                ▼
       api.anthropic.com                  api.openai.com                   localhost:11434
    (Claude 3.5 / 3.7 Sonnet)         (GPT-4o / o1 / o3-mini)              (DeepSeek / Llama)

⚡ क्विक स्टार्ट (10 सेकंड)

0. ज़ीरो-कॉन्फिग वन-लाइनर रैपर (wrap)

किसी भी कोडिंग एजेंट या टेस्ट सूट को बिना किसी मैनुअल एनवायरनमेंट वेरिएबल सेटअप के सीधे Tokenectomy के प्राइवेसी और कैशिंग गेटवे के पीछे चलाएं:

# Wrap Claude Code CLI
razor wrap -- claude

# Wrap Aider with DeepSeek or Ollama (Auto-Transpiled on the fly!)
razor wrap -- aider --model deepseek/deepseek-chat

# Wrap test runs to scrub logs and prevent accidental credential leakage
razor wrap npm test

1. स्टैंडअलोन AI गेटवे लॉन्च करें (मैनुअल मोड)

npx -y tokenectomy-razor --proxy

💡 स्मार्ट मल्टी-प्रोवाइडर ऑटो-रूटिंग और यूनिवर्सल LLM ट्रांसपाइलर डिफ़ॉल्ट रूप से चालू है! Tokenectomy स्वचालित रूप से अनुरोध पथ और हेडर का विश्लेषण करता है। Claude Code को DeepSeek या Ollama के खिलाफ चलाना चाहते हैं? Tokenectomy पारदर्शी रूप से Anthropic /v1/messages फॉर्मेट को OpenAI /v1/chat/completions में और इसके विपरीत तुरंत बदल देता है।

2. अपना पसंदीदा एजेंट कनेक्ट करें

अपने कोडिंग एजेंट या CLI को 127.0.0.1:8080 पर लोकल गेटवे की ओर इंगित करें:

3. रीयल-टाइम FinOps और सुरक्षा डैशबोर्ड

रीयल टाइम में लाइव टोकन कटौती, प्रॉम्प्ट कैश हिट, डॉलर बचत और रिडैक्ट की गई क्रेडेंशियल्स देखने के लिए अपने ब्राउज़र में http://127.0.0.1:8080/dashboard खोलें।

4. साथी MCP सर्वर सेटअप (सब-कॉर्टेक्स)

गहन डायग्नोस्टिक टूल (get_error_context, analyze_code, apply_code_patch) कॉल करने वाले एजेंटों के लिए:

Claude Code CLI

claude mcp add tokenectomy npx -y tokenectomy-razor --mcp

Google Antigravity / Gemini CLI

agy mcp add tokenectomy-razor -- npx -y tokenectomy-razor --mcp

Cursor Composer (.cursor/mcp.json)

{
  "mcpServers": {
    "tokenectomy": {
      "command": "npx",
      "args": ["-y", "tokenectomy-razor", "--mcp"]
    }
  }
}

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "tokenectomy": {
      "command": "npx",
      "args": ["-y", "tokenectomy-razor", "--mcp"]
    }
  }
}

5. टर्मिनल पाइपिंग और CLI स्क्रबिंग

npm test 2>&1 | npx tokenectomy-razor

🛑 समस्या: आपका AI रेट लिमिट क्यों हिट करता है और भ्रमित क्यों होता है

जब डेवलपमेंट के दौरान आपका ऐप क्रैश होता है (Next.js, Express, FastAPI, Tokio), तो रनटाइम node_modules या site-packages से सैकड़ों लाइनों का थर्ड-पार्टी प्लंबिंग कोड डंप कर देता है।

जब आप उस रॉ क्रैश डंप को Cursor या Claude में पेस्ट करते हैं:

1. आपकी 5-घंटे की रेट लिमिट खत्म हो जाती है: एक एकल Express/Prisma एरर 5,000 से 45,000 टोकन थर्ड-पार्टी लाइब्रेरी कोड डंप कर सकता है जो आपने कभी नहीं लिखा। कुछ क्रैश लूप आसानी से आपकी सत्र सीमा खत्म कर देते हैं।
2. AI भ्रम पैदा करता है: Claude फ्रेमवर्क इंटर्नल (node_modules/express/lib/router/layer.js या starlette/routing.py) में खो जाता है और आपके वास्तविक एप्लिकेशन कोड के बजाय लाइब्रेरी फाइलों को संपादित करने की कोशिश करता है।
3. सीक्रेट और क्रेडेंशियल लीक होते हैं: एरर ट्रेस में एम्बेडेड रॉ डेटाबेस पासवर्ड वाले कनेक्शन स्ट्रिंग, JWT बियरर टोकन और क्लाउड कीज़ बाहरी मॉडल सर्वरों को भेज दी जाती हैं।

Raw Terminal Crash (45,820 tokens + Leaked Secrets)
     │
     ▼  <0.2ms Local Rust DFA Engine
[Redact Passwords & Keys] ──► [Strip Third-Party Framework Frames] ──► [Isolate Root Cause]
     │
     ▼
Clean Context (118 tokens • Zero Secrets • Sub-millisecond)

🔍 पहले और बाद में तुलना

❌ Tokenectomy के बिना: AI भ्रमित होता है और कॉन्टेक्स्ट बर्न करता है

TypeError: Cannot read properties of undefined (reading 'token')
    at loadComponents (/app/node_modules/next/dist/server/load-components.js:14:2)
    at renderToHTML (/app/node_modules/next/dist/server/render.js:50:5)
    at nextServer (/app/node_modules/next/dist/server/next-server.js:80:12)
    at processTicksAndRejections (node:internal/process/task_queues:95:5)
    at runMicrotasks (node:internal/process/task_queues:120:3)
    at checkoutHandler (/app/pages/api/checkout.ts:42:15)
Database connection failed: postgresql://admin:super_secret_password@db.prod.internal:5432/primary
API key leaked: sk-ant-api03-abcdef1234567890abcdef1234567890

Claude क्या करता है: load-components.js और next-server.js का विश्लेषण करता है, Webpack / Next.js इंटर्नल के बारे में अनुमान लगाता है, और रिमोट इंफ़ेरेंस लॉग में कनेक्शन क्रेडेंशियल लीक करता है।

✅ Tokenectomy के साथ: साफ कॉन्टेक्स्ट और तुरंत फिक्स

// [Tokenectomy Surgery: 5 internal framework frames pruned (83.3%)]
// Source: /app/pages/api/checkout.ts:42:15
42 |   const sessionToken = req.headers.authorization.token;
   |                                                  ^ TypeError: Cannot read properties of undefined (reading 'token')
🛡️ [CONNECTION_STRING_REDACTED]
🛡️ [ANTHROPIC_KEY_REDACTED]

Claude क्या करता है: तुरंत पहचान लेता है कि checkout.ts में लाइन 42 ने undefined हेडर पर .token एक्सेस करने की कोशिश की। तुरंत ऑप्शनल चेनिंग req.headers.authorization?.token सुझाता है। ट्रांसमिशन से पहले क्रेडेंशियल रिडैक्ट हो जाते हैं।

🔬 सत्यापन योग्य बेंचमार्क

सभी प्रदर्शन दावे हार्डवेयर-आधारित हैं और भौतिक हार्डवेयर पर स्वतंत्र रूप से पुनरुत्पादित किए जा सकते हैं (10-कोर Intel Core i5-1235U @ 15W पर Arch Linux, Kernel 6.13 चलाकर मापा गया):

हार्डवेयर निर्भरता सूचना: प्रदर्शन हार्डवेयर पर निर्भर है; रिपोर्ट की गई थ्रूपुट निर्दिष्ट टेस्ट हार्डवेयर (10-कोर Intel Core i5-1235U @ 15W TDP) पर मापे गए परिणामों का प्रतिनिधित्व करती है। उच्च TDP डेस्कटॉप/सर्वर CPU और तेज़ मेमोरी बसों के साथ थ्रूपुट बढ़ता है। डेवलपर्स को नीचे दिए गए पुनरुत्पादन कमांड का उपयोग करके स्वतंत्र रूप से प्रदर्शन का ऑडिट करने के लिए प्रोत्साहित किया जाता है।

$ cargo test --release --test stress_benchmark -- --nocapture

=====================================================================================
🧪 TOKENECTOMY OSS VERIFIABLE HEAVY STRESS BENCHMARK (100% REPRODUCIBLE IN OSS)
   Hardware: 10-Core / 12-Thread Intel Core i5-1235U | OS: Arch Linux | Kernel Telemetry Active
   Initial Baseline Process Memory (VmRSS): 3.45 MB
=====================================================================================

🔥 [TEST 1/3] QUARTER-MILLION LINES LOG REDACTION TORTURE (250,000 LINES / 25MB+ BUFFER)
  ├── Buffer Size: 24.44 MB (250000 lines)
  ├── Redaction Latency: 471.05ms (51.9 MB/sec)
  ├── Line Throughput: 530,735 lines/sec
  ├── Peak Memory (VmRSS): 76.05 MB (Delta: +72.60 MB)
  └── Status: ✅ PASSED (100% of 250,000 lines sanitized, zero memory balloon)

🔥 [TEST 2/3] REDOS CATASTROPHIC BACKTRACKING TORTURE (50,000 CHARS PAYLOAD)
  ├── Attack Payload Size: 50,082 characters
  ├── Execution Latency: 1.165 ms
  └── Status: ✅ PASSED (Linear O(N) evaluation, ReDoS-resistant on tested payloads)

🔥 [TEST 3/3] HIGH-CONCURRENCY TORTURE (100 PARALLEL OS THREADS)
  ├── Thread Concurrency: 100 concurrent OS threads
  ├── Successful Operations: 100/100 (100.0%)
  ├── Total Elapsed: 11.31ms
  ├── Concurrency Throughput: 17,688 ops/sec
  ├── Final VmRSS: 78.99 MB
  └── Status: ✅ PASSED (Zero race condition, zero deadlock)

=====================================================================================
🏆 TOKENECTOMY OSS STRESS BENCHMARK: 3/3 PASSED (100% GREEN)
   Total Suite Duration: 580.83ms
   Bounded Final VmRSS: 78.99 MB
=====================================================================================
test test_oss_heavy_stress_benchmark ... ok

test result: ok. 1 passed; 0 failed; 0 ignored; 0 measured; 0 filtered out; finished in 0.58s

🛡️ स्वचालित रिडक्शन और सीक्रेट सैनिटाइज़ेशन बेंचमार्क

एक आंतरिक बेंचमार्क टेस्ट फिक्स्चर (tests/fixtures/) पर मूल्यांकन किया गया, जिसमें 12 पॉलीग्लॉट क्रैश ट्रेस (Rust, Python, TypeScript, Go, YAML) शामिल हैं, जिनमें 22 ग्राउंड-ट्रुथ क्रेडेंशियल और साफ नेगेटिव कंट्रोल हैं। Gitleaks v8.30.1 (डिफ़ॉल्ट नियमसेट) के खिलाफ हेड-टू-हेड मूल्यांकन किया गया।

आर्किटेक्चरल नोट: Gitleaks मुख्य रूप से एक रिपॉजिटरी कमिट/डिफ स्कैनर के रूप में डिज़ाइन किया गया है, न कि इन-मेमोरी रनटाइम ट्रेस रिडैक्टर के रूप में। Tokenectomy Razor विशेष रूप से रनटाइम स्ट्रीम सैनिटाइज़ेशन और स्टैक ट्रेस सर्जरी के लिए इंजीनियर किया गया है।

1. श्रेणी-वार प्रिसिजन, रिकॉल और F1-स्कोर

2. हेड-टू-हेड प्रदर्शन और आर्किटेक्चरल सारांश

3. टोकन कटौती और LLM कॉन्टेक्स्ट बचत (tiktoken cl100k_base)

🔌 उन्नत एजेंट और गेटवे कॉन्फ़िगरेशन

1. मल्टी-प्रोवाइडर AI गेटवे विकल्प (--proxy)

Tokenectomy का गेटवे बिना किसी मैनुअल कॉन्फ़िगरेशन के 127.0.0.1:8080 पर लोकल रूप से चलता है। जटिल डेवलपमेंट वातावरण या कंटेनराइज़्ड एजेंट टोपोलॉजी में, आप बाइंडिंग और रूटिंग को कस्टमाइज़ कर सकते हैं:

# Default Smart Auto-Routing (routes Anthropic, OpenAI, and Ollama requests dynamically):
razor --proxy

# Safety Circuit Breaker: Prevent runaway agent loops from burning your hourly budget or 5-hour window:
razor --proxy --max-hourly-tokens 200000

# Resilient 429 Auto-Retry: Automatically pause and retry when hitting upstream rate limits (default: on):
razor --proxy --max-retries 5

# Explicit upstream override (e.g. Groq, vLLM, or OpenRouter):
razor --proxy --upstream-url https://api.groq.com/openai/v1

# Secure remote container binding with mandatory bearer token:
razor --proxy --proxy-bind 0.0.0.0:8080 --allow-remote --proxy-token "$MY_GATEWAY_TOKEN"

रीयल-टाइम मेट्रिक्स और Prometheus एक्सपोर्ट

Tokenectomy Razor JSON के माध्यम से लाइव FinOps और टोकन अर्थशास्त्र डेटा उजागर करता है:

curl http://127.0.0.1:8080/v1/metrics

rate_limits_mitigated, circuit_breaker_trips, last_latency_ms, current_hourly_tokens, cache_hits, cache_tokens_saved, और estimated_cost_saved_usd के लिए तत्काल टेलीमेट्री लौटाता है।

2. स्टैंडअलोन CLI और टर्मिनल स्क्रबिंग

जब डिबगिंग कर रहे हों या टर्मिनल टेस्ट आउटपुट को सीधे पाइप कर रहे हों:

# Pipe terminal test failures through the surgical redactor:
npm test 2>&1 | razor --scrub

# Sanitize a specific raw log file:
razor --scrub --file /var/log/app/error.log > sanitized.log

# Offline local air-gapped mode (zero external network calls):
cat failure.log | razor --scrub --local-only

🛠️ उजागर MCP टूल्स

Tokenectomy Razor स्पष्ट पैरामीटर सीमाओं के साथ Glama Grade A Tool Definition Quality Score (TDQS) का अनुपालन करता है:

🌐 समर्थित बहुभाषी पारिस्थितिकी तंत्र

📦 इंस्टॉलेशन विकल्प

विधि 1: npx के माध्यम से तुरंत (शून्य टूलचेन सेटअप)

npx -y tokenectomy-razor --mcp

विधि 2: Cargo (crates.io)

cargo install tokenectomy

विधि 3: प्रीकंपाइल्ड स्टैंडअलोन बाइनरी

शून्य-निर्भरता, स्टैंडअलोन रिलीज़ बाइनरी GitHub Releases पर उपलब्ध हैं:

• Linux: x86_64-unknown-linux-gnu, x86_64-unknown-linux-musl, aarch64-unknown-linux-gnu
• macOS: aarch64-apple-darwin (Apple Silicon M1/M2/M3/M4), x86_64-apple-darwin (Intel)
• Windows: x86_64-pc-windows-msvc.exe

विधि 4: मल्टी-आर्क Docker कंटेनर (GHCR)

docker pull ghcr.io/tokenectomy-labs/razor:latest
docker run -i ghcr.io/tokenectomy-labs/razor:latest --mcp

⚖️ संस्करण तुलना

एंटरप्राइज़ AST सेल्फ-हीलिंग चाहिए? Sentinel स्तर देखें

🗺️ रोडमैप और माइलस्टोन

🔒 सुरक्षा और अपरिवर्तनीय

• डिफ़ॉल्ट रूप से स्थानीय निष्पादन: सभी स्टैक ट्रेस पार्सिंग, फ्रेम प्रूनिंग, और गुप्त रिडक्शन भौतिक हार्डवेयर पर स्थानीय रूप से निष्पादित होते हैं।
• प्रलेखित नेटवर्क एग्रेस: MCP सर्वर मोड में, search_stack_overflow आउटबाउंड नेटवर्क एग्रेस वाला एकमात्र टूल है (api.stackexchange.com के लिए HTTPS)। पेलोड सख्ती से सैनिटाइज़्ड, रिडैक्टेड त्रुटि हस्ताक्षर टेक्स्ट तक सीमित है (कोई कोड लाइनें नहीं, कोई स्थानीय पथ नहीं, शून्य क्रेडेंशियल)। एयर-गैप्ड वातावरण में, नेटवर्क खोज को पूरी तरह से अक्षम करने के लिए --local-only का उपयोग करें।
• निर्धारणात्मक रैखिक-समय पैटर्न मिलान: सभी पैटर्न मैचर गैर-बैकट्रैकिंग DFA regex इंजन ($O(N)$ रैखिक समय) और Aho-Corasick ऑटोमेटन मूल्यांकन का उपयोग करते हैं।
• पथ ट्रैवर्सल सीमा अलगाव: फ़ाइल संचालन सक्रिय कार्यक्षेत्र रूट (CWD) के भीतर सख्ती से लॉक हैं। पथ ट्रैवर्सल (../) और अनधिकृत सिमलिंक अवरुद्ध हैं।
• सुरक्षित Rust कार्यान्वयन: कोर निष्पादन पथ सीमित स्ट्रीम रीडर (.take()) के साथ सुरक्षित Rust मेमोरी गारंटी लागू करते हैं, जो संसाधन थकावट को रोकते हैं।

कमजोरियों के प्रकटीकरण के लिए, कृपया हमारी सुरक्षा नीति की समीक्षा करें।

⚖️ कानूनी और डाउनस्ट्रीम फोर्क अस्वीकरण

Tokenectomy Razor केवल कानूनी डेवलपर उत्पादकता, अवलोकनीयता, लॉग सर्जरी, और रक्षात्मक क्रेडेंशियल रिडक्शन के लिए प्रदान किया गया है। कोई भी डाउनस्ट्रीम फोर्क, क्लोन, पुनर्वितरण, या निजी तैनाती मूल लेखकों से पूरी तरह स्वतंत्र रूप से संचालित होती है। Tokenectomy Labs और इसके अनुरक्षक इस कोडबेस या इसके व्युत्पन्नों का उपयोग करके तीसरे पक्षों द्वारा किए गए अवैध, दुर्भावनापूर्ण, या अनधिकृत कार्यों के लिए शून्य दायित्व मानते हैं। सभी डाउनस्ट्रीम ऑपरेटर स्थानीय और अंतर्राष्ट्रीय साइबर सुरक्षा कानूनों के अनुपालन के लिए 100% व्यक्तिगत जिम्मेदारी वहन करते हैं। पूर्ण कानूनी शर्तों के लिए DISCLAIMER.md देखें।

❓ अक्सर पूछे जाने वाले प्रश्न (FAQ)

Tokenectomy Razor Claude Code और Cursor को रेट सीमा तक पहुँचने से कैसे रोकता है?

जब टेस्ट या टर्मिनल बिल्ड क्रैश होते हैं, तो Next.js, Express, Jest, और Django जैसे फ्रेमवर्क हजारों आंतरिक स्टैक फ्रेम (node_modules, site-packages) डंप करते हैं। कच्चे 5,000-लाइन क्रैश लॉग भेजने से प्रति प्रॉम्प्ट 15,000 से 45,000 टोकन खर्च होते हैं, जो आपकी 5-घंटे की सत्र सीमा को मिनटों में समाप्त कर देता है। Tokenectomy Razor लॉग को इंटरसेप्ट करता है और 95% गैर-कार्रवाई योग्य फ्रेमवर्क प्लंबिंग को हटा देता है, जिससे 40,000-वर्ण का क्रैश लॉग <0.2ms में 200 आवश्यक टोकन से कम हो जाता है।

मैं Cursor को LLM को node_modules त्रुटि लॉग भेजने से कैसे रोकूँ?

Tokenectomy Razor को स्थानीय AI गेटवे रिवर्स प्रॉक्सी (npx -y tokenectomy-razor --proxy) के रूप में चलाएँ। Cursor सेटिंग्स में, अपने OpenAI बेस URL को http://127.0.0.1:8080/v1 पर इंगित करें। Composer द्वारा पेस्ट या संदर्भित कोई भी टर्मिनल त्रुटि आउटपुट मॉडल सर्वर तक पहुँचने से पहले स्वचालित रूप से सैनिटाइज़, स्क्रब, और कैश किया जाएगा।

Tokenectomy त्रुटि लॉग में क्रेडेंशियल लीक को कैसे रोकता है?

सभी लॉग सर्जरी और गुप्त रिडक्शन आउटबाउंड ट्रांसमिशन से पहले आपकी मशीन पर 100% स्थानीय रूप से मेमोरी में निष्पादित होते हैं। Razor PostgreSQL/MongoDB कनेक्शन URI, JWT बियरर टोकन, और क्लाउड API कुंजियों को [REDACTED] टोकन के साथ पता लगाने और रिडैक्ट करने के लिए निर्धारणात्मक रैखिक-समय regex और Aho-Corasick ऑटोमेटा का उपयोग करता है। स्क्रबिंग के लिए शून्य क्लाउड एग्रेस की आवश्यकता होती है।

🤝 समुदाय और संसाधन

• 🌐 आधिकारिक वेबसाइट
• 📖 दस्तावेज़ीकरण
• 🏗️ सिस्टम आर्किटेक्चर
• 📋 चेंजलॉग
• 🤝 योगदान दिशानिर्देश
• 🔒 सुरक्षा नीति
• ⚖️ अस्वीकरण और दायित्व