skills/smithery.ai/eval-harness

eval-harness

Installation
SKILL.md

Eval ハーネススキル

eval 駆動開発(EDD)原則を実装する Claude Code セッション用の正式な評価フレームワークです。

起動条件

  • AI アシストワークフローのための eval 駆動開発(EDD)のセットアップ
  • Claude Code タスク完了のための合格/不合格基準の定義
  • pass@k メトリクスによるエージェント信頼性の測定
  • プロンプトやエージェント変更のためのリグレッションテストスイートの作成
  • モデルバージョン間のエージェントパフォーマンスのベンチマーク

哲学

Eval駆動開発はevalを「AI開発のユニットテスト」として扱う:

  • 実装前に期待される動作を定義
  • 開発中にevalを継続的に実行
  • 各変更でリグレッションを追跡
  • 信頼性測定にpass@kメトリクスを使用
Installs
9
First Seen
Mar 21, 2026
eval-harness from smithery.ai