performance-slo-planner

bởi microsoft

Lập kế hoạch hiệu suất, tải và độ tin cậy (SLO/SRE) cho sự sẵn sàng sản xuất. Sử dụng khi xác định mục tiêu mức dịch vụ, đặc tính tải, dung lượng,…

npx skills add https://github.com/microsoft/hve-core --skill performance-slo-planner

Performance & SLO/SRE Planner

Turn vague "it should be fast and reliable" expectations into measurable SLIs, SLOs, a load model, a test matrix, and a reliability backlog for production readiness. Pairs with Azure Load Testing tooling for execution. This skill plans; it does not run the tests.

When to Use

  • Defining service level objectives and error budgets before launch.
  • Characterizing load behavior (steady, peak, spike, soak) for a system with "no characterized load."
  • Setting latency/throughput budgets and a false-positive/accuracy baseline.
  • Producing a reliability/SRE backlog for a production-readiness review.

When Not to Use

  • Running the load tests: hand the test matrix to the Azure Load Testing tools.
  • Security, RAI, or privacy concerns: use the respective specialist skill.
  • Authoring or restating requirements: cite the PRD's existing NFR ids rather than re-deriving targets.
  • Redefining user journeys: reference the PRD's existing FR ids rather than inventing flows.

Inputs

Gather what exists; flag what is missing as an assumption to validate.

  1. Business goals (BRD): the business objectives and risk tolerance behind the targets (for example revenue-critical flows, contractual SLAs) that justify each SLO and error budget.
  2. Critical user journeys: the flows that must stay fast (for example: incident ingest → display, dispatch action, alert acknowledge).
  3. Stated NFRs (PRD): latency/availability targets from the PRD's NFRs, Success Metrics, and Operational Readiness sections (for example stratified SLAs like "Critical ≤ 60s, Standard ≤ 3min").
  4. Traffic assumptions: expected and peak concurrency, request rates, and growth.
  5. Accuracy expectations: false-positive tolerance where relevant (for example alerting).

Procedure

  1. Identify SLIs. For each critical journey pick measurable indicators: latency (p50/p95/p99), availability, error rate, and accuracy/false-positive rate where relevant.
  2. Set SLOs and error budgets. For each SLI define a target, a measurement window, and the resulting error budget. Anchor each SLO to a specific PRD NFR id when present; otherwise propose a target and mark it [ASSUMPTION] for tuning.
  3. Define the load model. Specify steady-state, peak, spike, and soak profiles with concurrency/rate and duration for each.
  4. Build the test matrix. Map each load profile to the journeys it exercises, the pass/fail SLO thresholds, and the environment.
  5. Plan capacity and degradation. Note scaling assumptions, saturation points, and required graceful-degradation behavior (no silent fidelity drops).
  6. List observability hooks. Name the metrics/traces needed to measure each SLI in production; an SLO you cannot measure is not real.
  7. Write the backlog to .copilot-tracking/performance-plans/<date>-performance-slo-plan.md using the Output Format.

Output Format

# Performance & SLO Plan: <app>

## SLOs
| SLI         | Journey         | Target           | Window         | Error budget | Source                 |
|-------------|-----------------|------------------|----------------|--------------|------------------------|
| p95 latency | dispatch action | ≤ 60s end-to-end | 28-day rolling | 1%           | NFR-123 / [ASSUMPTION] |

## Load model
| Profile             | Concurrency / rate | Duration | Purpose  |
|---------------------|--------------------|----------|----------|
| Steady              | ...                | ...      | baseline |
| Peak / Spike / Soak | ...                | ...      | ...      |

## Test matrix
| Test | Profile | Journeys | Pass threshold | Env |
|------|---------|----------|----------------|-----|

## Observability hooks
- <metric/trace needed to measure each SLI>

## Backlog
1. <item>: priority, depends-on, SLO it protects

> [!CAUTION]
> This plan is an assistive artifact and does not replace professional performance, reliability, or SRE review. Validate SLO targets, error budgets, and rollback triggers with the owning team before acting on them.

Principles

  • Measurable or it's not an SLO. Every target needs a defined SLI and a way to measure it in production.
  • Anchor to the PRD, mark the rest. Use stated NFRs verbatim; flag proposed numbers [ASSUMPTION] for agency/environment tuning.
  • Plan, don't run. Output a test matrix the Azure Load Testing tools can execute; do not execute here.
  • Degradation is a requirement. Define what graceful degradation looks like, not just the happy path.
  • Review-required. This plan is assistive: carry the professional-review disclaimer and validate targets and budgets with the owning team before acting.

Thêm skills từ microsoft

oss-growth
microsoft
Cá tính tăng trưởng OSS
agent-framework-azure-ai-py
microsoft
Xây dựng các tác nhân Azure AI Foundry bằng SDK Python của Microsoft Agent Framework (agent-framework-azure-ai). Sử dụng khi tạo các tác nhân bền vững với AzureAIAgentsProvider, sử dụng các công cụ được lưu trữ (trình thông dịch mã, tìm kiếm tệp, tìm kiếm web), tích hợp máy chủ MCP, quản lý chuỗi hội thoại hoặc triển khai phản hồi phát trực tuyến. Bao gồm các công cụ hàm, đầu ra có cấu trúc và các tác nhân đa công cụ.
development
airunway-aks-setup
microsoft
Thiết lập AI Runway trên AKS — từ cụm trống đến mô hình đang chạy. Bao gồm xác minh cụm, cài đặt controller, đánh giá GPU, thiết lập nhà cung cấp và triển khai đầu tiên. KHI NÀO: "thiết lập AI Runway", "onboard cụm AKS", "cài đặt AI Runway", "thiết lập airunway", "triển khai mô hình lên AKS", "suy luận GPU trên AKS", "thiết lập KAITO trên AKS", "chạy LLM trên AKS", "vLLM trên AKS", "thiết lập phục vụ mô hình trên AKS", "AI Runway controller".
devops
appinsights-instrumentation
microsoft
Hướng dẫn để instrument các ứng dụng web với Azure Application Insights. Cung cấp các mẫu telemetry, thiết lập SDK, và tài liệu tham khảo cấu hình. KHI NÀO: cách instrument ứng dụng, App Insights SDK, các mẫu telemetry, App Insights là gì, hướng dẫn Application Insights, ví dụ instrumentation, các phương pháp tốt nhất APM.
devops
applicationinsights-web-ts
microsoft
Instrument các ứng dụng trình duyệt/web bằng SDK JavaScript Application Insights (@microsoft/applicationinsights-web). Dùng cho Real User Monitoring (RUM) — lượt xem trang, nhấp chuột, phụ thuộc AJAX/fetch, ngoại lệ, sự kiện tùy chỉnh và dấu vết tác nhân GenAI phía trình duyệt tương quan với dấu vết OpenTelemetry phía backend. Bao gồm thiết lập SDK Loader Script và npm, tiện ích mở rộng framework (React, React Native, Angular), Click Analytics, trình khởi tạo telemetry và quy ước ngữ nghĩa OTel GenAI cho các span tác nhân/công cụ/mô hình phát ra từ trình duyệt.
devops
azure-ai-anomalydetector-java
microsoft
Xây dựng ứng dụng phát hiện bất thường với Azure AI Anomaly Detector SDK cho Java. Sử dụng khi triển khai phát hiện bất thường đơn biến/đa biến, phân tích chuỗi thời gian hoặc giám sát hỗ trợ AI.
development
azure-ai-language-conversations-py
microsoft
Triển khai Conversational Language Understanding (CLU) bằng SDK Python azure-ai-language-conversations. Sử dụng khi làm việc với ConversationAnalysisClient để phân tích ý định và thực thể trong hội thoại, xây dựng tính năng NLP, hoặc tích hợp hiểu ngôn ngữ vào ứng dụng.
development
azure-ai-ml-py
microsoft
Azure Machine Learning SDK v2 cho Python. Dùng cho không gian làm việc ML, công việc, mô hình, tập dữ liệu, tính toán và quy trình. Kích hoạt: "azure-ai-ml", "MLClient", "không gian làm việc", "đăng ký mô hình", "công việc đào tạo", "tập dữ liệu".
development