Hugging Face Evaluation

Execute Hugging Face Hub operations using the `hf` CLI. Use when the user needs to download models/datasets/spaces, upload files to Hub repositories, create repos, manage local cache, or run compute jobs on HF infrastructure. Covers authentication, file transfers, repository creation, cache operations, and cloud compute.

Criar e gerenciar datasets no Hugging Face Hub. Suporta inicialização de repositórios, definição de configurações/prompts de sistema, atualização de linhas em streaming e consulta/transformação de datasets baseada em SQL. Projetado para funcionar junto ao servidor MCP do HF para fluxos de trabalho abrangentes com datasets.

Execute qualquer workload na infraestrutura de Hugging Face Jobs. Abrange scripts UV, jobs baseados em Docker, seleção de hardware, estimativa de custos, autenticação com tokens, gerenciamento de segredos, configuração de timeout e persistência de resultados. Projetado para workloads de computação de uso geral, incluindo processamento de dados, inferência, experimentos, jobs em lote e qualquer tarefa baseada em Python.

Treine ou ajuste modelos de linguagem usando TRL (Transformer Reinforcement Learning) na infraestrutura de Jobs do Hugging Face. Abrange os métodos de treinamento SFT, DPO, GRPO e modelagem de recompensa, além da conversão para GGUF para implantação local. Inclui orientações sobre preparação de conjuntos de dados, seleção de hardware, estimativa de custos e persistência de modelos.

Publique e gerencie artigos de pesquisa no Hugging Face Hub. Suporta a criação de páginas de artigos, vinculação de artigos a modelos/conjuntos de dados, reivindicação de autoria e geração de artigos de pesquisa profissionais baseados em markdown.

Construa scripts e ferramentas reutilizáveis usando a API do Hugging Face. Útil ao encadear ou combinar chamadas de API, ou quando tarefas forem repetidas/automatizadas. Cria scripts de linha de comando reutilizáveis para buscar, enriquecer ou processar dados do Hugging Face Hub.

Acompanhe e visualize experimentos de treinamento de ML com o Trackio. Use ao registrar métricas durante o treinamento (API Python) ou ao recuperar/analisar métricas registradas (CLI). Suporta visualização em dashboard em tempo real, sincronização com HF Space e saída JSON para automação.

Adicionar descrições para novos modelos do roteador HuggingFace à configuração do chat-ui. Use quando novos modelos forem lançados no roteador e precisarem de descrições…