Tokenectomy Razor

Tokenectomy Razor

Khắc phục giới hạn tốc độ của Claude Code & Cursor: Cổng AI cục bộ không độ trễ & MCP Server phẫu thuật ngữ cảnh viết bằng Rust

Đừng đốt 20.000 token vào các stack trace node_modules nữa. Tokenectomy Razor là một cổng đảo ngược AI cục bộ (127.0.0.1:8080) với độ trễ dưới mili-giây và MCP server đồng hành viết bằng Rust an toàn. Loại bỏ 41,7%–99,7% nhiễu framework khỏi log lỗi terminal, che dấu thông tin xác thực DB/JWT bị rò rỉ, và lưu cache prompt miễn phí.

Bắt đầu nhanh (10 giây) • Kiến trúc • Vấn đề • Trước & Sau • Demo tương tác trực tiếp • Điểm chuẩn

                                 ┌────────────────────────────────────────────────────────┐
                                 │                   Autonomous Agents                    │
                                 │  Claude Code • Cursor • Antigravity • Cline • Windsurf │
                                 └───────────────────────────┬────────────────────────────┘
                                                             │
                                                             ▼ (HTTP / SSE Outbound Prompts)
   ┌──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
   │                                 ⚡ TOKENECTOMY AI GATEWAY (127.0.0.1:8080)                                       │
   │                                                                                                                  │
   │  ┌─────────────────────────┐   ┌───────────────────────────┐   ┌──────────────────────────────────────────────┐  │
   │  │   Zero-Cost Prompt      │   │   Zero-Leak Credential    │   │         Polyglot Trace Surgery               │  │
   │  │         Cache           │   │         Redaction         │   │            (9 Languages)                     │  │
   │  │  <1ms Hit • 100% Free   │   │  API Keys • JWTs • DB URIs│   │  node_modules • site-packages • .cargo       │  │
   │  └───────────┬─────────────┘   └─────────────┬─────────────┘   └──────────────────────┬───────────────────────┘  │
   │              │                               │                                        │                          │
   │              └───────────────────────────────┼────────────────────────────────────────┘                          │
   │                                              ▼                                                                   │
   │                                 Smart Upstream Auto-Router                                                       │
   │                         (Anthropic • OpenAI • Groq • Ollama Local)                                               │
   └──────────────────────────────────────────────┬───────────────────────────────────────────────────────────────────┘
                                                  │
                 ┌────────────────────────────────┼────────────────────────────────┐
                 ▼                                ▼                                ▼
       api.anthropic.com                  api.openai.com                   localhost:11434
    (Claude 3.5 / 3.7 Sonnet)         (GPT-4o / o1 / o3-mini)              (DeepSeek / Llama)

⚡ Bắt đầu nhanh (10 giây)

0. Trình bao bọc một dòng không cần cấu hình (wrap)

Chạy bất kỳ tác nhân mã hóa hoặc bộ kiểm thử nào trực tiếp phía sau cổng bảo mật & lưu cache của Tokenectomy mà không cần thiết lập biến môi trường thủ công:

# Wrap Claude Code CLI
razor wrap -- claude

# Wrap Aider with DeepSeek or Ollama (Auto-Transpiled on the fly!)
razor wrap -- aider --model deepseek/deepseek-chat

# Wrap test runs to scrub logs and prevent accidental credential leakage
razor wrap npm test

1. Khởi chạy Cổng AI độc lập (Chế độ thủ công)

npx -y tokenectomy-razor --proxy

💡 Định tuyến tự động đa nhà cung cấp thông minh & Bộ dịch LLM phổ quát BẬT theo mặc định! Tokenectomy tự động phân tích đường dẫn yêu cầu và tiêu đề. Cần chạy Claude Code với DeepSeek hoặc Ollama? Tokenectomy dịch minh bạch định dạng Anthropic /v1/messages sang OpenAI /v1/chat/completions ngay lập tức và ngược lại.

2. Kết nối tác nhân yêu thích của bạn

Trỏ tác nhân mã hóa hoặc CLI của bạn đến cổng cục bộ trên 127.0.0.1:8080:

3. Bảng điều khiển FinOps & Bảo mật thời gian thực

Mở http://127.0.0.1:8080/dashboard trong trình duyệt để quan sát trực tiếp mức giảm token, lượt truy cập cache prompt, tiền tiết kiệm và thông tin xác thực bị che dấu theo thời gian thực.

4. Thiết lập MCP Server đồng hành (Sub-Cortex)

Dành cho các tác nhân gọi công cụ chẩn đoán sâu (get_error_context, analyze_code, apply_code_patch):

Claude Code CLI

claude mcp add tokenectomy npx -y tokenectomy-razor --mcp

Google Antigravity / Gemini CLI

agy mcp add tokenectomy-razor -- npx -y tokenectomy-razor --mcp

Cursor Composer (.cursor/mcp.json)

{
  "mcpServers": {
    "tokenectomy": {
      "command": "npx",
      "args": ["-y", "tokenectomy-razor", "--mcp"]
    }
  }
}

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "tokenectomy": {
      "command": "npx",
      "args": ["-y", "tokenectomy-razor", "--mcp"]
    }
  }
}

5. Đường ống terminal & Làm sạch CLI

npm test 2>&1 | npx tokenectomy-razor

🛑 Vấn đề: Tại sao AI của bạn gặp giới hạn tốc độ & ảo giác

Khi ứng dụng của bạn gặp sự cố trong quá trình phát triển (Next.js, Express, FastAPI, Tokio), runtime đổ ra hàng trăm dòng mã nguồn bên thứ ba từ node_modules hoặc site-packages.

Khi bạn dán bản dump sự cố thô đó vào Cursor hoặc Claude:

1. Ăn hết giới hạn tốc độ 5 giờ của bạn: Một lỗi Express/Prisma duy nhất có thể đổ ra 5.000 đến 45.000 token mã thư viện bên thứ ba mà bạn chưa bao giờ viết. Một vài vòng lặp sự cố nhanh chóng đốt cháy giới hạn phiên của bạn.
2. Kích hoạt ảo giác AI: Claude bị lạc trong nội bộ framework (node_modules/express/lib/router/layer.js hoặc starlette/routing.py) và cố gắng chỉnh sửa tệp thư viện thay vì mã ứng dụng thực tế của bạn.
3. Rò rỉ bí mật & thông tin xác thực: Chuỗi kết nối với mật khẩu cơ sở dữ liệu thô, token bearer JWT và khóa đám mây nhúng trong dấu vết lỗi được chuyển tiếp đến máy chủ mô hình bên ngoài.

Raw Terminal Crash (45,820 tokens + Leaked Secrets)
     │
     ▼  <0.2ms Local Rust DFA Engine
[Redact Passwords & Keys] ──► [Strip Third-Party Framework Frames] ──► [Isolate Root Cause]
     │
     ▼
Clean Context (118 tokens • Zero Secrets • Sub-millisecond)

🔍 So sánh Trước & Sau

❌ Không có Tokenectomy: AI ảo giác & đốt ngữ cảnh

TypeError: Cannot read properties of undefined (reading 'token')
    at loadComponents (/app/node_modules/next/dist/server/load-components.js:14:2)
    at renderToHTML (/app/node_modules/next/dist/server/render.js:50:5)
    at nextServer (/app/node_modules/next/dist/server/next-server.js:80:12)
    at processTicksAndRejections (node:internal/process/task_queues:95:5)
    at runMicrotasks (node:internal/process/task_queues:120:3)
    at checkoutHandler (/app/pages/api/checkout.ts:42:15)
Database connection failed: postgresql://admin:super_secret_password@db.prod.internal:5432/primary
API key leaked: sk-ant-api03-abcdef1234567890abcdef1234567890

Claude làm gì: Phân tích load-components.js và next-server.js, suy đoán về nội bộ Webpack / Next.js, và rò rỉ thông tin xác thực kết nối đến log suy luận từ xa.

✅ Với Tokenectomy: Ngữ cảnh sạch & Sửa lỗi tức thì

// [Tokenectomy Surgery: 5 internal framework frames pruned (83.3%)]
// Source: /app/pages/api/checkout.ts:42:15
42 |   const sessionToken = req.headers.authorization.token;
   |                                                  ^ TypeError: Cannot read properties of undefined (reading 'token')
🛡️ [CONNECTION_STRING_REDACTED]
🛡️ [ANTHROPIC_KEY_REDACTED]

Claude làm gì: Xác định ngay lập tức rằng dòng 42 trong checkout.ts cố truy cập .token trên headers chưa xác định. Đề xuất optional chaining req.headers.authorization?.token ngay lập tức. Thông tin xác thực bị che dấu trước khi truyền đi.

🔬 Điểm chuẩn có thể xác minh

Tất cả tuyên bố về hiệu suất đều dựa trên phần cứng và có thể tái lập độc lập trên phần cứng vật lý (đo trên Intel Core i5-1235U 10 nhân @ 15W chạy Arch Linux, Kernel 6.13):

Lưu ý về phụ thuộc phần cứng: Hiệu suất phụ thuộc vào phần cứng; thông lượng báo cáo đại diện cho kết quả đo trên phần cứng kiểm thử cụ thể (Intel Core i5-1235U 10 nhân @ 15W TDP). Thông lượng tăng theo CPU máy chủ/máy tính để bàn có TDP cao hơn và bus bộ nhớ nhanh hơn. Nhà phát triển được khuyến khích tự kiểm tra hiệu suất bằng lệnh tái lập bên dưới.

$ cargo test --release --test stress_benchmark -- --nocapture

=====================================================================================
🧪 TOKENECTOMY OSS VERIFIABLE HEAVY STRESS BENCHMARK (100% REPRODUCIBLE IN OSS)
   Hardware: 10-Core / 12-Thread Intel Core i5-1235U | OS: Arch Linux | Kernel Telemetry Active
   Initial Baseline Process Memory (VmRSS): 3.45 MB
=====================================================================================

🔥 [TEST 1/3] QUARTER-MILLION LINES LOG REDACTION TORTURE (250,000 LINES / 25MB+ BUFFER)
  ├── Buffer Size: 24.44 MB (250000 lines)
  ├── Redaction Latency: 471.05ms (51.9 MB/sec)
  ├── Line Throughput: 530,735 lines/sec
  ├── Peak Memory (VmRSS): 76.05 MB (Delta: +72.60 MB)
  └── Status: ✅ PASSED (100% of 250,000 lines sanitized, zero memory balloon)

🔥 [TEST 2/3] REDOS CATASTROPHIC BACKTRACKING TORTURE (50,000 CHARS PAYLOAD)
  ├── Attack Payload Size: 50,082 characters
  ├── Execution Latency: 1.165 ms
  └── Status: ✅ PASSED (Linear O(N) evaluation, ReDoS-resistant on tested payloads)

🔥 [TEST 3/3] HIGH-CONCURRENCY TORTURE (100 PARALLEL OS THREADS)
  ├── Thread Concurrency: 100 concurrent OS threads
  ├── Successful Operations: 100/100 (100.0%)
  ├── Total Elapsed: 11.31ms
  ├── Concurrency Throughput: 17,688 ops/sec
  ├── Final VmRSS: 78.99 MB
  └── Status: ✅ PASSED (Zero race condition, zero deadlock)

=====================================================================================
🏆 TOKENECTOMY OSS STRESS BENCHMARK: 3/3 PASSED (100% GREEN)
   Total Suite Duration: 580.83ms
   Bounded Final VmRSS: 78.99 MB
=====================================================================================
test test_oss_heavy_stress_benchmark ... ok

test result: ok. 1 passed; 0 failed; 0 ignored; 0 measured; 0 filtered out; finished in 0.58s

🛡️ Điểm chuẩn che dấu tự động & làm sạch bí mật

Được đánh giá trên fixture kiểm thử nội bộ (tests/fixtures/) gồm 12 dấu vết sự cố đa ngôn ngữ (Rust, Python, TypeScript, Go, YAML) chứa 22 thông tin xác thực ground-truth và các nhóm đối chứng âm tính sạch. Được đánh giá trực tiếp với Gitleaks v8.30.1 (bộ quy tắc mặc định).

Lưu ý kiến trúc: Gitleaks được thiết kế chủ yếu như trình quét commit/diff kho lưu trữ, không phải trình che dấu dấu vết runtime trong bộ nhớ. Tokenectomy Razor được thiết kế riêng cho việc làm sạch luồng runtime và phẫu thuật stack trace.

1. Độ chính xác, Độ thu hồi & Điểm F1 theo từng danh mục

2. Tóm tắt hiệu suất trực tiếp & kiến trúc

3. Giảm token & tiết kiệm ngữ cảnh LLM (tiktoken cl100k_base)

🔌 Cấu hình nâng cao cho tác nhân & cổng

1. Tùy chọn cổng AI đa nhà cung cấp (--proxy)

Cổng của Tokenectomy chạy cục bộ trên 127.0.0.1:8080 mà không cần cấu hình thủ công. Trong môi trường phát triển phức tạp hoặc cấu trúc liên kết tác nhân container hóa, bạn có thể tùy chỉnh ràng buộc và định tuyến:

# Default Smart Auto-Routing (routes Anthropic, OpenAI, and Ollama requests dynamically):
razor --proxy

# Safety Circuit Breaker: Prevent runaway agent loops from burning your hourly budget or 5-hour window:
razor --proxy --max-hourly-tokens 200000

# Resilient 429 Auto-Retry: Automatically pause and retry when hitting upstream rate limits (default: on):
razor --proxy --max-retries 5

# Explicit upstream override (e.g. Groq, vLLM, or OpenRouter):
razor --proxy --upstream-url https://api.groq.com/openai/v1

# Secure remote container binding with mandatory bearer token:
razor --proxy --proxy-bind 0.0.0.0:8080 --allow-remote --proxy-token "$MY_GATEWAY_TOKEN"

Chỉ số Thời gian Thực & Xuất Prometheus

Tokenectomy hiển thị dữ liệu FinOps và token kinh tế trực tiếp qua JSON:

curl http://127.0.0.1:8080/v1/metrics

Trả về telemetry tức thời cho rate_limits_mitigated, circuit_breaker_trips, last_latency_ms, current_hourly_tokens, cache_hits, cache_tokens_saved, và estimated_cost_saved_usd.

2. CLI Độc Lập & Làm Sạch Terminal

Khi gỡ lỗi hoặc chuyển trực tiếp đầu ra kiểm thử terminal:

# Pipe terminal test failures through the surgical redactor:
npm test 2>&1 | razor --scrub

# Sanitize a specific raw log file:
razor --scrub --file /var/log/app/error.log > sanitized.log

# Offline local air-gapped mode (zero external network calls):
cat failure.log | razor --scrub --local-only

🛠️ Các Công Cụ MCP Được Cung Cấp

Tokenectomy Razor tuân thủ Điểm Chất Lượng Định Nghĩa Công Cụ Hạng A của Glama (TDQS) với các ranh giới tham số rõ ràng:

🌐 Các Hệ Sinh Thái Đa Ngôn Ngữ Được Hỗ Trợ

📦 Các Tùy Chọn Cài Đặt

Phương Pháp 1: Cài Đặt Ngay qua npx (Không Cần Thiết Lập Toolchain)

npx -y tokenectomy-razor --mcp

Phương Pháp 2: Cargo (crates.io)

cargo install tokenectomy

Phương Pháp 3: Các Tệp Nhị Phân Độc Lập Được Biên Dịch Sẵn

Các tệp nhị phân phát hành độc lập, không phụ thuộc, có sẵn trên GitHub Releases:

• Linux: x86_64-unknown-linux-gnu, x86_64-unknown-linux-musl, aarch64-unknown-linux-gnu
• macOS: aarch64-apple-darwin (Apple Silicon M1/M2/M3/M4), x86_64-apple-darwin (Intel)
• Windows: x86_64-pc-windows-msvc.exe

Phương Pháp 4: Container Docker Đa Kiến Trúc (GHCR)

docker pull ghcr.io/tokenectomy-labs/razor:latest
docker run -i ghcr.io/tokenectomy-labs/razor:latest --mcp

⚖️ So Sánh Các Phiên Bản

Cần Tự Chữa Lành AST Doanh Nghiệp? Khám Phá Gói Sentinel

🗺️ Lộ Trình & Các Cột Mốc

🔒 Bảo Mật & Các Bất Biến

• Thực Thi Cục Bộ Mặc Định: Tất cả phân tích dấu vết ngăn xếp, cắt tỉa khung, và biên tập bí mật thực thi cục bộ trên phần cứng vật lý.
• Mạng Ra Ngoài Được Ghi Lại: Trong chế độ máy chủ MCP, search_stack_overflow là công cụ duy nhất có mạng ra ngoài (HTTPS đến api.stackexchange.com). Tải trọng được giới hạn nghiêm ngặt ở văn bản dấu hiệu lỗi đã được làm sạch và biên tập (không có dòng mã, không có đường dẫn cục bộ, không có thông tin xác thực). Trong môi trường cách ly mạng, sử dụng --local-only để tắt hoàn toàn tìm kiếm mạng.
• Khớp Mẫu Thời Gian Tuyến Tính Xác Định: Tất cả bộ khớp mẫu sử dụng công cụ regex DFA không quay lui ($O(N)$ thời gian tuyến tính) và đánh giá automaton Aho-Corasick.
• Cách Ly Ranh Giới Điều Hướng Đường Dẫn: Các thao tác tệp bị khóa nghiêm ngặt trong thư mục gốc không gian làm việc đang hoạt động (CWD). Điều hướng đường dẫn (../) và symlink trái phép bị chặn.
• Triển Khai Rust An Toàn: Các đường thực thi cốt lõi thực thi đảm bảo bộ nhớ Rust an toàn với bộ đọc luồng có giới hạn (.take()) ngăn chặn cạn kiệt tài nguyên.

Để tiết lộ lỗ hổng, vui lòng xem Chính Sách Bảo Mật của chúng tôi.

⚖️ Tuyên Bố Miễn Trách Pháp Lý & Fork Hạ Nguồn

Tokenectomy Razor được cung cấp nghiêm ngặt cho năng suất nhà phát triển hợp pháp, khả năng quan sát, phẫu thuật nhật ký, và biên tập thông tin xác thực phòng thủ. Bất kỳ fork hạ nguồn, bản sao, phân phối lại, hoặc triển khai riêng tư nào hoạt động hoàn toàn độc lập với các tác giả gốc. Tokenectomy Labs và những người duy trì không chịu bất kỳ trách nhiệm nào đối với các hành động bất hợp pháp, độc hại, hoặc trái phép do bên thứ ba thực hiện bằng mã nguồn này hoặc các dẫn xuất của nó. Tất cả người vận hành hạ nguồn chịu 100% trách nhiệm cá nhân về việc tuân thủ luật an ninh mạng địa phương và quốc tế. Xem DISCLAIMER.md để biết các điều khoản pháp lý đầy đủ.

❓ Câu Hỏi Thường Gặp (FAQ)

Làm thế nào Tokenectomy Razor ngăn Claude Code & Cursor đạt giới hạn tốc độ?

Khi kiểm thử hoặc bản dựng terminal gặp sự cố, các framework như Next.js, Express, Jest, và Django đổ ra hàng nghìn khung ngăn xếp nội bộ (node_modules, site-packages). Gửi nhật ký sự cố thô 5.000 dòng tiêu tốn 15.000 đến 45.000 token cho mỗi prompt, làm cạn kiệt giới hạn phiên 5 giờ của bạn trong vài phút. Tokenectomy Razor chặn nhật ký và loại bỏ 95% đường ống framework không thể hành động, giảm nhật ký sự cố 40.000 ký tự xuống dưới 200 token thiết yếu trong <0,2ms.

Làm thế nào để ngăn Cursor gửi nhật ký lỗi node_modules đến LLM?

Chạy Tokenectomy Razor như một proxy ngược AI Gateway cục bộ (npx -y tokenectomy-razor --proxy). Trong cài đặt Cursor, trỏ OpenAI Base URL của bạn đến http://127.0.0.1:8080/v1. Bất kỳ đầu ra lỗi terminal nào được dán hoặc tham chiếu bởi Composer sẽ tự động được làm sạch, biên tập, và lưu vào bộ nhớ đệm ngay lập tức trước khi đến máy chủ mô hình.

Làm thế nào Tokenectomy ngăn rò rỉ thông tin xác thực trong nhật ký lỗi?

Tất cả phẫu thuật nhật ký và biên tập bí mật thực thi 100% cục bộ trên máy của bạn trong bộ nhớ trước khi truyền ra ngoài. Razor sử dụng regex thời gian tuyến tính xác định và automaton Aho-Corasick để phát hiện và biên tập URI kết nối PostgreSQL/MongoDB, token bearer JWT, và khóa API đám mây với token [REDACTED]. Không cần mạng ra ngoài đám mây để làm sạch.

🤝 Cộng Đồng & Tài Nguyên

• 🌐 Trang Web Chính Thức
• 📖 Tài Liệu
• 🏗️ Kiến Trúc Hệ Thống
• 📋 Nhật Ký Thay Đổi
• 🤝 Hướng Dẫn Đóng Góp
• 🔒 Chính Sách Bảo Mật
• ⚖️ Tuyên Bố Miễn Trách & Trách Nhiệm