phoenix-evals

Erstellen und ausführen von Evaluatoren für KI-/LLM-Anwendungen mit Phoenix.

npx skills add https://github.com/github/awesome-copilot --skill phoenix-evals

ZIP herunterladen GitHub

Phoenix Evals

Build evaluators for AI/LLM applications. Code first, LLM for nuance, validate against humans.

Quick Reference

Task	Files
Setup	setup-python, setup-typescript
Decide what to evaluate	evaluators-overview
Choose a judge model	fundamentals-model-selection
Use pre-built evaluators	evaluators-pre-built
Build code evaluator	evaluators-code-python, evaluators-code-typescript
Build LLM evaluator	evaluators-llm-python, evaluators-llm-typescript, evaluators-custom-templates
Batch evaluate DataFrame	evaluate-dataframe-python
Run experiment	experiments-running-python, experiments-running-typescript
Create dataset	experiments-datasets-python, experiments-datasets-typescript
Generate synthetic data	experiments-synthetic-python, experiments-synthetic-typescript
Validate evaluator accuracy	validation, validation-evaluators-python, validation-evaluators-typescript
Sample traces for review	observe-sampling-python, observe-sampling-typescript
Analyze errors	error-analysis, error-analysis-multi-turn, axial-coding
RAG evals	evaluators-rag
Avoid common mistakes	common-mistakes-python, fundamentals-anti-patterns
Production	production-overview, production-guardrails, production-continuous

Workflows

Starting Fresh: observe-tracing-setup → error-analysis → axial-coding → evaluators-overview

Building Evaluator: fundamentals → common-mistakes-python → evaluators-{code|llm}-{python|typescript} → validation-evaluators-{python|typescript}

RAG Systems: evaluators-rag → evaluators-code-* (retrieval) → evaluators-llm-* (faithfulness)

Production: production-overview → production-guardrails → production-continuous

Reference Categories

Prefix	Description
`fundamentals-*`	Types, scores, anti-patterns
`observe-*`	Tracing, sampling
`error-analysis-*`	Finding failures
`axial-coding-*`	Categorizing failures
`evaluators-*`	Code, LLM, RAG evaluators
`experiments-*`	Datasets, running experiments
`validation-*`	Validating evaluator accuracy against human labels
`production-*`	CI/CD, monitoring

Key Principles

Principle	Action
Error analysis first	Can't automate what you haven't observed
Custom > generic	Build from your failures
Code first	Deterministic before LLM
Validate judges	>80% TPR/TNR
Binary > Likert	Pass/fail, not 1-5

Mehr Skills von github

console-rendering

Anleitung zur Verwendung des auf struct-Tags basierenden Konsolen-Rendering-Systems in Go

acquire-codebase-knowledge

Verwenden Sie diese Fähigkeit, wenn der Benutzer explizit darum bittet, eine bestehende Codebasis zu kartieren, zu dokumentieren oder sich in sie einzuarbeiten. Auslöser für Aufforderungen wie „diese Codebasis kartieren“, „dokumentieren…

acreadiness-assess

Run the AgentRC readiness assessment on the current repository and produce a static HTML dashboard at reports/index.html. Wraps `npx github:microsoft/agentrc…

acreadiness-generate-instructions

Generieren Sie maßgeschneiderte KI-Agenten-Anweisungsdateien über den AgentRC-Befehl. Erstellt .github/copilot-instructions.md (Standard, empfohlen für Copilot in VS…

acreadiness-policy

Helfen Sie dem Benutzer, eine AgentRC-Richtlinie auszuwählen, zu schreiben oder anzuwenden. Richtlinien passen die Bereitschaftsbewertung an, indem sie irrelevante Prüfungen deaktivieren, Auswirkungen/Stufen überschreiben, festlegen…

add-educational-comments

Füge pädagogische Kommentare zu Codedateien hinzu, um sie in effektive Lernressourcen zu verwandeln. Passt Erklärungstiefe und Ton an drei konfigurierbare Wissensstufen an: Anfänger, Fortgeschrittene und Fortgeschrittene. Fordert automatisch eine Datei an, falls keine bereitgestellt wird, mit nummerierter Liste für schnelle Auswahl. Erweitert Dateien um bis zu 125 % nur durch pädagogische Kommentare (hartes Limit: 400 neue Zeilen; 300 bei Dateien über 1.000 Zeilen). Bewahrt Dateikodierung, Einrückungsstil, Syntaxkorrektheit und...

adobe-illustrator-scripting

Schreiben, debuggen und optimieren Sie Adobe Illustrator-Automatisierungsskripte mit ExtendScript (JavaScript/JSX). Verwenden Sie dies beim Erstellen oder Ändern von Skripten, die…

agent-governance

Deklarative Richtlinien, Intent-Klassifizierung und Prüfpfade zur Kontrolle des Zugriffs und Verhaltens von KI-Agenten-Tools. Zusammensetzbare Governance-Richtlinien definieren erlaubte/blockierte Tools, Inhaltsfilter, Ratenbegrenzungen und Genehmigungsanforderungen – gespeichert als Konfiguration, nicht als Code. Semantische Intent-Klassifizierung erkennt gefährliche Eingabeaufforderungen (Datenerfassung, Privilegieneskalation, Prompt-Injection) vor der Tool-Ausführung mittels musterbasierter Signale. Der Governance-Decorator auf Tool-Ebene setzt Richtlinien bei Funktionen durch...