AIが読んで従う文書のusability test手順

subagentにタスクを依頼して、検証したい文書の記述を頼りにワークフローを完遂できるか検証する手順。ゴールだけを与えて作業を観察し、終わってから判断の根拠を聞き出す、ユーザーテストの模倣である。 実装したAIエージェント自身がskillを使っても、配管の疎通確認にしかならない。実装の全コンテキストを持っているため、手順書の不備に気づかず乗り越えてしまう。

被験体にできる文書

Agent Skillの他に、CLAUDE.md等のルール文書と、ルール文書から参照されるリポジトリ内の文書も被験体にできる。 手順書型の文書は、そのまま被験体にする。 ガイドライン型の文書は、それ単体では完遂の定義が無い。ルール文書はこれに当たる。その文書が作用する作業をタスクとして与え、文書が読み込まれたか、その記述が判断の根拠として証言されるかを、作業後のインタビューとtranscriptの監査で見る。

いつ実行するか

変更の度に自動では実行しない。実行する価値があると判断したら、ユーザーに提案して合意を得てから始める。 価値があるのは、被験体にする文書のワークフロー構成や判断基準に影響する変更。手順の追加・組み替え、新コマンドの組み込み、ガイドラインの判断基準の変更等がこれに当たる。文言の手直しや、挙動を変えないリファクタでは提案しない。

subagentへの指示のやり方

modelはSonnetを指定する