Hugging Face Evaluation

Evaluierungsergebnisse in Hugging Face-Modellkarten hinzufügen und verwalten. Unterstützt das Extrahieren von Evaluierungstabellen aus README-Inhalten, das Importieren von Bewertungen aus der Artificial Analysis API und das Durchführen benutzerdefinierter Modellevaluierungen mit vLLM/lighteval. Funktioniert mit dem model-index-Metadatenformat.

npx skills add https://github.com/huggingface/skills --skill hugging-face-evaluation

Mehr Skills von huggingface

sync-models
huggingface
Synchronisiere die Modellkonfiguration von chat-ui mit dem HuggingFace-Router — füge Beschreibungen für neue Modelle hinzu, kennzeichne reasoning-fähige Modelle, aktiviere Artefakte für Modelle mit 32B+…
custom-blocks
huggingface
Use when the user has written (or wants to write) a `ModularPipelineBlocks` subclass in a local Python file and needs to package it into a Hub-uploadable…
self-review
huggingface
Use before opening a PR, or whenever asked to self-review a diffusers contribution. Applies the same rubric as the `@claude` CI (checks the diff against…
hf-cloud-sagemaker-production-defaults
huggingface
Erstellen Sie einen SageMaker-Endpunkt (Echtzeit oder asynchron) mit automatischer Skalierung, CloudWatch-Alarmen und standardmäßig aktiviertem Tagging. Verwenden Sie diese Fähigkeit, wenn Sie kurz davor sind, einen … zu erstellen.
hf-cloud-serving-image-selection
huggingface
Wählen Sie den richtigen Serving-Container für eine SageMaker-Modellbereitstellung aus und finden Sie dessen aktuelles Image-URI. Verwenden Sie diese Fähigkeit, wenn Sie ein Modell auf einer… bereitstellen möchten.
Hugging Face Cli
huggingface
Execute Hugging Face Hub operations using the `hf` CLI. Use when the user needs to download models/datasets/spaces, upload files to Hub repositories, create repos, manage local cache, or run compute jobs on HF infrastructure. Covers authentication, file transfers, repository creation, cache operations, and cloud compute.
Hugging Face Datasets
huggingface
Erstellen und verwalten Sie Datensätze auf dem Hugging Face Hub. Unterstützt das Initialisieren von Repos, das Definieren von Konfigurationen/System-Prompts, das Streamen von Zeilenaktualisierungen und SQL-basierte Abfragen/Transformationen von Datensätzen. Entwickelt, um zusammen mit dem HF MCP-Server für umfassende Dataset-Workflows zu arbeiten.
Hugging Face Jobs
huggingface
Führen Sie beliebige Workloads auf der Hugging Face Jobs-Infrastruktur aus. Umfasst UV-Skripte, Docker-basierte Jobs, Hardwareauswahl, Kostenschätzung, Authentifizierung mit Tokens, Secrets-Verwaltung, Timeout-Konfiguration und Ergebnis-Persistenz. Entwickelt für universelle Compute-Workloads wie Datenverarbeitung, Inferenz, Experimente, Batch-Jobs und beliebige Python-basierte Aufgaben.