Tiktoken MCP

Conte tokens usando a biblioteca tiktoken da OpenAI.

GitHub
2
Experimente este MCPPatrocinado

Documentação

tiktoken-mcp

Um servidor MCP (Model Context Protocol) que fornece funcionalidade de contagem de tokens usando a biblioteca tiktoken da OpenAI.

Recursos

  • 🔢 Contagem de Tokens: Conte tokens para qualquer texto usando várias codificações tiktoken
  • 💰 Estimativa de Custos: Estime custos de tokens para modelos de IA populares (GPT-4, Claude, etc.)
  • 🚀 Fácil de Usar: Execute diretamente com npx - sem necessidade de instalação
  • 🔧 Integração com Claude Desktop: Integra-se perfeitamente com o aplicativo Claude Desktop

Instalação

Você pode executar este servidor MCP diretamente usando npx:

npx tiktoken-mcp

Ou instale globalmente:

npm install -g tiktoken-mcp

Pré-requisitos

  • Node.js 16 ou superior
  • Python 3.6 ou superior
  • pip (gerenciador de pacotes Python)

A biblioteca Python tiktoken será instalada automaticamente na primeira execução do pacote.

Ferramentas Disponíveis

count_tokens

Conte tokens em texto usando várias codificações tiktoken.

Parâmetros:

  • text (obrigatório): O texto para contar tokens
  • model (opcional): O modelo de codificação a ser usado. Opções: 'cl100k_base' (padrão), 'p50k_base', 'p50k_edit', 'r50k_base'

estimate_cost

Estime custos de tokens para vários modelos de IA.

Parâmetros:

  • text (obrigatório): O texto para estimar o custo
  • model (obrigatório): O modelo para estimar o custo. Opções: 'gpt-4', 'gpt-4-turbo', 'gpt-3.5-turbo', 'claude-3-opus', 'claude-3-sonnet', 'claude-3-haiku'

Configuração do Claude Desktop

Para usar este servidor MCP com o Claude Desktop, adicione o seguinte ao seu arquivo de configuração do Claude:

macOS

Localização: ~/Library/Application Support/Claude/claude_desktop_config.json

Windows

Localização: %APPDATA%\Claude\claude_desktop_config.json

Configuração

{
  "mcpServers": {
    "tiktoken": {
      "command": "npx",
      "args": ["tiktoken-mcp"]
    }
  }
}

Após adicionar esta configuração, reinicie o Claude Desktop. Você poderá então usar as ferramentas de contagem de tokens em suas conversas.

Exemplo de Uso no Claude

Uma vez configurado, você pode usar as ferramentas assim:

  • "Conte os tokens neste texto: 'Hello, world!'"
  • "Estime o custo deste prompt para GPT-4"
  • "Quantos tokens há neste parágrafo usando a codificação cl100k_base?"

Exemplo de Saída

Contagem de Tokens:

Token count: 13
Model: cl100k_base
First 100 token IDs: 9906, 11, 1917, 0, 498, 1097, 701, 30, 220, 17, ...

Estimativa de Custos:

Token count: 150
Model: gpt-4
Estimated input cost: $0.004500
Estimated output cost: $0.009000
Total cost (if used as both input and output): $0.013500

Como Funciona

Este servidor MCP usa a biblioteca tiktoken do Python internamente para contar tokens com precisão. Ele suporta vários modelos de codificação:

  • cl100k_base: Usado por GPT-4, GPT-3.5-turbo e modelos mais recentes
  • p50k_base: Usado por modelos Codex
  • p50k_edit: Usado por modelos de edição
  • r50k_base: Usado por modelos GPT-3

Contribuindo

Contribuições são bem-vindas! Sinta-se à vontade para enviar um Pull Request.

Problemas

Se você encontrar algum problema, por favor registre uma issue no repositório GitHub.

Licença

MIT