llmtrim

llmtrim

Proxy local que comprime el tráfico de API de LLM para que pagues menos. Mismas respuestas, factura más pequeña.

_{−31% entrada · −74% salida · −66% costo de ida y vuelta · 112 casos A/B en vivo · ~5 ms/llamada · sin modelo que cargar}

_{¿Usas Claude Code? Una instalación también te da /sub para servirlo a través de CLIProxyAPI.}

_{Proxy · CLI · MCP · librería (Python · Ruby · Swift · Kotlin · JS/WASM)}

Qué hace • Instalación • Día a día • En acción • Funciona con • Claude Code • Números • Config • CLI y librería

Qué hace

Ejecutas Claude Code, Codex, Cursor o tu propia aplicación. En cada turno, la herramienta envía una solicitud grande: prompt del sistema, herramientas, historial, salida cruda de comandos. Pagas por cada token de eso, incluidas las partes que no ayudan al modelo.

Un registro de compilación de 200 líneas con dos errores. Esquemas de herramientas reenviados en cada llamada. JSON con cientos de filas casi idénticas. Ese volumen igual se factura.

llmtrim se instala en tu máquina como proxy local, recorta el desperdicio y reenvía una solicitud más pequeña. La respuesta no cambia. Conservas las mismas herramientas y respuestas; gastas menos.

  before:  your tool ───── full request ─────▶  OpenAI / Anthropic / …
                    ◀──────── reply ──────────

  after:   your tool ──▶ llmtrim ──smaller──▶  OpenAI / Anthropic / …
                            (on your machine)
                    ◀──────── reply ──────────  (same answer)

La compresión no puede aumentar tu factura ni romper una solicitud; el peor caso es cero ahorro. Todo se ejecuta localmente, nada se nos envía. En acción →

Para Claude Code, la misma instalación también conecta /sub para enrutar sesiones a través de otra suscripción. Detalles →

Comenzar

npm install -g @llmtrim/cli@latest && llmtrim setup
# open a new terminal, then keep working
llmtrim status

Eso es todo. setup inicia un proxy local y configura tu shell. Cuando Claude Code está presente, también activa /sub. No necesitas una instalación separada para eso.

Cualquier herramienta que respete HTTPS_PROXY funciona (Claude Code, Codex, Cursor, Aider, tu SDK). GitHub Copilot no (fijación de certificados). Lista completa →

# Linux / macOS
curl -fsSL https://raw.githubusercontent.com/fkiene/llmtrim/main/install.sh | sh

# Windows (PowerShell)
irm https://raw.githubusercontent.com/fkiene/llmtrim/main/install.ps1 | iex

# Package managers
brew install fkiene/tap/llmtrim
cargo binstall llmtrim
scoop install llmtrim
docker run -d -p 43117:43117 -v llmtrim-state:/data ghcr.io/fkiene/llmtrim

llmtrim ca
openssl x509 -in ~/.llmtrim/ca.pem -noout -text | grep -A3 "Name Constraints"

Día a día

llmtrim status     # savings + health  (aliases: monitor, gain)
llmtrim update     # new release, restart daemon, refresh integrations
llmtrim ensure     # match the recommended install state on this machine

Después de setup, update o ensure, el /sub de Claude Code propiedad se mantiene sincronizado con el binario.

Series temporales: llmtrim status --daily · --weekly · --monthly · --json · --csv.

En acción

Un agente ejecutó una compilación. La herramienta devolvió 58 líneas; dos eran errores. Las 58 habrían sido facturadas.

4,662 caracteres → 978 (−79%). Los errores permanecen textuales. Las líneas INFO repetidas se pliegan en una plantilla más los valores (sin pérdida cuando el rango es regular).

# before (noise + signal)
[2026-06-13T10:02:00Z] INFO  compiling module core::worker::task_0 (incremental)
… 28 more near-identical INFO lines …
[2026-06-13T10:02:31Z] ERROR src/worker/pool.rs:214: mismatched types: expected `usize`, found `i64`
… 25 more INFO lines …
[2026-06-13T10:03:01Z] ERROR src/net/conn.rs:88: cannot borrow `buf` as mutable more than once
[2026-06-13T10:03:02Z] INFO  build failed, 2 errors

# after (errors verbatim; INFO folded losslessly)
[{}] INFO compiling module core::worker::task_{} (incremental) [×30: (10:02:00Z..10:02:29Z step 1s; 0..29)]
[2026-06-13T10:02:31Z] ERROR src/worker/pool.rs:214: mismatched types: expected `usize`, found `i64`
[{}] INFO compiling module core::net::conn_{} (incremental) [×25: 10:02:32Z..10:02:56Z; 0..24]
[2026-06-13T10:03:01Z] ERROR src/net/conn.rs:88: cannot borrow `buf` as mutable more than once
[2026-06-13T10:03:02Z] INFO  build failed, 2 errors

Pruébalo en un cuerpo de solicitud propio:

echo '{"model":"gpt-4o","messages":[...]}' | llmtrim compress --provider openai

El plegado de registros es una etapa. Otras actúan sobre diferentes desperdicios:

[!IMPORTANT] La compresión no puede aumentar tu factura ni romper una solicitud. Cada etapa se re-mide con el tokenizador real del proveedor y se deshace si no ahorra tokens. Si el proveedor rechaza el cuerpo comprimido, se reenvía el original. El peor caso es cero ahorro.

Los prefijos de caché de prompt existentes (cache_control) se dejan intactos. El modelado recuperable de primera llegada (llmtrim recall r_…) está desactivado por defecto; el recorte de ventana de salida de herramientas en zona viva aún se ejecuta, y una re-ejecución de la misma herramienta se envía completa. Para omitir el modelado de un comando (stdout textual, incluido un trailer de terminal), establece toolout_passthrough = ["*gpt.sh*"] o prefija el comando con LLMTRIM_TOOL_OUTPUT=passthrough. Las líneas que comienzan con LLMTRIM_KEEP: sobreviven al recorte de ventana incluso cuando el resto se recorta.

Claude Code

Cuando ~/.claude existe, setup, update y ensure conectan /sub (y subagentes enrutados). No hay comando de instalación separado para eso.

llmtrim sub on                  # install + start CLIProxyAPI, enable redirect
llmtrim sub on grok             # write opus/sonnet/haiku/fable → that CLI's models
llmtrim sub auth                # CLIProxyAPI TUI — sign in
llmtrim sub models              # official + live sidecar models
llmtrim sub map on opus grok-4.6
llmtrim sub chain anthropic,codex
llmtrim sub mode fallback       # try hops in order when the current one fails
llmtrim sub status
llmtrim sub off

llmtrim agents install          # also installed/refreshed by setup, update, and ensure

/sub on [optional:cli-or-model]  # gemini, codex, claude, grok, kimi, vertex, qwen, copilot, or a model id
/sub off
/sub status

llmtrim sub anthropic-login keep   # connectors OK; Anthropic login required
llmtrim sub anthropic-login skip   # default: no Anthropic /login; connectors off

Úsalo como CLI, MCP o librería

Same engine, no proxy required. No extra model calls; compress runs in-process.

echo '{"model":"gpt-4o","messages":[...]}' | llmtrim compress --provider openai > out.json
echo '{"model":"gpt-4o","messages":[...]}' | llmtrim send --provider openai

use llmtrim_core::{compress, ir::ProviderKind};
let out = compress(request_json, Some(ProviderKind::OpenAi))?;

import llmtrim
out = llmtrim.compress(request_json, llmtrim.Provider.OPEN_AI, "aggressive")

import { compress } from "@llmtrim/js";
const out = compress(requestJson, "openai", "aggressive");

llmtrim mcp install          # Claude Code
llmtrim mcp install --print  # paste into any client

{
  "mcpServers": {
    "llmtrim": { "command": "llmtrim", "args": ["mcp"] }
  }
}

Funciona con

Cualquier herramienta que respete HTTPS_PROXY y una CA proporcionada por el entorno:

Sin proxy: cualquier cliente MCP puede llamar a llmtrim como herramientas (llmtrim mcp install), o usar el CLI / biblioteca.

Los proveedores provienen del registro llm_providers (OpenAI, Anthropic, Google, DeepSeek, Mistral, xAI, Moonshot, Zhipu, Qwen, OpenRouter, …) y se actualizan con él. Las conexiones que no son de LLM pasan sin tocarse.

Configuración

El valor predeterminado es suficiente para la mayoría del tráfico. auto inspecciona cada solicitud y elige compresores según la forma (herramientas → agent, código → code, preguntas y respuestas largas → rag, si no → aggressive).

Anula con LLMTRIM_PRESET=<name> o preset = "<name>" en $XDG_CONFIG_HOME/llmtrim/config.toml:

Las opciones de Claude Code (redirección de suscripción) están en Claude Code.

export LLMTRIM_UPSTREAM_PROXY=http://host:port
# or with auth: http://user:pass@host:port  (redacted in logs)

Los números

Cada caso se envía dos veces, una original y una comprimida, luego ambas respuestas se puntúan y se facturan a tarifas reales. El costo y la calidad se miden juntos, no se estiman, en 112 casos:

Los recortes de tokens son independientes del modelo (−31 % entrada, −74 % salida). El ahorro en dólares sigue la relación de precio salida-entrada del modelo: −66 % aquí, proyectando a −57 % a tarifas de GPT-4o y −59 % a tarifas de Claude Sonnet. El proxy comprime solo la superficie de contenido nuevo y nunca reescribe el prefijo controlado por caché, por lo que tu descuento de caché de prompt sobrevive.

make -C crates/llmtrim-cli/bench data
(cd crates/llmtrim-cli && cargo run -q --features live -- bench quality \
   --corpus bench/data/squad2.jsonl --preset rag \
   --model qwen/qwen3-next-80b-a3b-instruct --route "" --n 20)

Metodología, frontera por corpus e intervalos de confianza: crates/llmtrim-cli/bench/README.md. Reprodúcelo:

make -C crates/llmtrim-cli/bench data   # pull real corpora (gsm8k, humaneval, dolly, hotpotqa, …)
(cd crates/llmtrim-cli && cargo run -q --features live -- bench suite)  # live A/B across all corpora (needs OPENROUTER_API_KEY)
(cd crates/llmtrim-cli/bench/scripts && PYTHONPATH=. python3 -m benchkit.tools.chart)  # regenerate the chart + table

Cómo se compara

Cada herramienta comprime una porción de la solicitud. llmtrim comprime entrada y salida, deja el prefijo en caché intacto para mantener estable la caché de prompt, y puntúa si la respuesta sobrevive al corte, no por tokens eliminados. Ambos ejes a continuación usan el codificador o200k_base y se reproducen desde este repositorio.

Entrada

Reducción de entrada (determinista) junto a la calidad de respuesta de un A/B en vivo. La calidad es la caída frente a llmtrim en el ajuste comparado de cada herramienta (✅ mantenida, un empate estadístico; ❌ significativamente menor), por lo que una gran reducción con ❌ significa que la herramienta compró tokens perdiendo respuestas:

La sobrecarga es el tiempo de compresión mediano por llamada (tiempo de reloj en Python, no comparable CPU a CPU): Headroom y leanctx ejecutan ML en CPU aquí (más rápido en GPU) y pagan una carga de modelo única adicional (~3 s y ~4 s); llmtrim es Rust y entroly es léxico, así que ninguno lo hace.

• auto es el predeterminado con control de calidad; aggressive acepta recortes con pérdida cuando el control se mantiene.
• Headroom cae al 0% con su ML desactivado (sus enrutadores no operan en prosa).
• leanctx y entroly son con pérdida sin control de calidad; entroly no tiene modo de baja reducción.

Headroom empata en reducción equivalente (24-25%, n=30, no significativo), pero sus respuestas más largas alcanzan el límite de tokens de salida del modelo y se truncan 12 veces frente a las 2 de llmtrim, la inflación de salida detrás de su mayor costo. leanctx (medido al 26%) y entroly (al 69%, su modo más suave) puntúan significativamente más bajo que llmtrim (n=20), y caen más en sus reducciones destacadas (vs-leanctx, vs-entroly).

Salida

Reducción de salida pidiendo respuestas más concisas, en una llamada en vivo de pago sobre 9 indicaciones de codificación:

El costo es el prompt de sistema de 949 tokens que caveman reenvía en cada solicitud (columna derecha); el de llmtrim es de 19 para casi el mismo recorte. Ambos aún ahorran neto aquí, así que el recorte más profundo de caveman sale adelante solo cuando la salida que elimina vale más que los 949 tokens que añade de vuelta (artefacto vs-caveman).

Las herramientas se apilan: RTK reduce la salida de CLI, luego llmtrim comprime los esquemas de herramientas encima. Comparativas completas: crates/llmtrim-cli/bench/README.md.

Limitaciones conocidas

Estas se revelan con el mismo A/B que demuestra los ahorros:

• Los conteos de tokens de Anthropic / Gemini son aproximados. No hay un tokenizador público exacto, así que se usa un proxy BPE y se marca en status. OpenAI es exacto.
• Los ahorros de salida no se miden en vivo. El proxy comprime la entrada; un ahorro de salida necesita el contrafactual A/B, que solo ejecuta el benchmark fuera de línea. status "ahorrado" es del lado de la entrada.
• El predeterminado tiene control de calidad, no es sin pérdida. Las etapas con pérdida se ejecutan solo donde la evaluación muestra que la calidad se mantiene. ¿Quieres un viaje de ida y vuelta byte a byte fiel? Usa el preset safe.
• "Sin pérdida" es del lado de la entrada, no restauración de respuestas. Una etapa sin pérdida preserva la información que el modelo lee (un registro de log plegado, un array codificado en TOON, una leyenda de abreviaturas que el modelo decodifica en el prompt), y el control de tokens revierte cualquier recorte de entrada que no dé frutos. El motor no transforma la respuesta del modelo de vuelta a una forma original.

Agradecimientos

Cada compresor es una implementación determinista de investigación publicada: las ideas son suyas, la ingeniería y el control de tokens son nuestros.

¿Encontraste un problema?

llmtrim doctor          # diagnose
llmtrim doctor --fix     # diagnose + apply repairs
llmtrim ensure          # same repair path

Cada verificación fallida nombra su solución. Si una solicitud se dañó, establece LLMTRIM_CAPTURE_DIR y abre un issue con el par antes/después.

Si llmtrim te ahorró dinero, una ⭐ ayuda a otros a encontrarlo.

Historial de estrellas

_{Licenciado bajo MPL-2.0. Usa llmtrim libremente en tu stack, incluso comercialmente, sin obligación de divulgación de código fuente para tu propio código; el copyleft a nivel de archivo se aplica solo a las modificaciones que hagas a los archivos fuente de llmtrim. Contribuciones mediante firma DCO.}