py-ai
Installation
SKILL.md
Python AI/LLM 應用工程
目標與邊界
用此 skill 建立可測試、可替換供應商、具明確工具權限與輸出契約的 AI 應用。預設先用最少抽象完成工作;只有在需要複雜 orchestration、retrieval 或 tracing 時才導入框架。
若任務只是一般 DataFrame 處理,使用 py-data;若主要交付物是 HTTP API,以 py-web 為主、py-ai 為支援。
執行流程
- 定義可驗收任務:輸入、輸出 schema、品質門檻、延遲、成本、隱私與失敗模式。
- 建立基準與 eval set:先收集代表性、邊界與對抗案例,避免只靠主觀試聊。
- 選擇最小架構:單次呼叫優先直接 SDK;需要多步狀態、RAG 或工具編排時才使用框架。
- 外部化模型設定:provider、base URL、model、timeout、重試、token budget 與 sampling 由設定注入。
- 限制信任邊界:外部文件、網頁、使用者文字與模型輸出皆視為不可信資料。
- 結構化與驗證輸出:使用 schema 驗證;驗證失敗時有限次修復或明確失敗,不靜默猜測。
- 限制工具副作用:allowlist、參數驗證、最小權限、dry-run、人工確認與 audit log。
- 加入觀測與回退:記錄延遲、token、成本、retrieval、tool calls、錯誤類型與 fallback。
- 以 eval 決定發布:比較基準、回歸、風險與成本,不以單一 demo 成功作結論。