LiteLLM SDK Basics

工作流程

1. 判斷 endpoint 類型與模型能力，並確認是否真的應使用 SDK 而非 Proxy。
2. 查核目前 LiteLLM 官方文件與 provider 支援狀態；不要依記憶猜測模型名稱或參數。
3. 使用環境變數讀取憑證，指定 provider-prefixed model。
4. 實作成功路徑及 authentication、rate limit、timeout、provider error 路徑。
5. Structured output 在應用層再次驗證；tool calling 只執行已註冊工具並驗證 arguments。
6. Streaming 必須處理空 delta、中途失敗及取消。
7. 執行離線測試；只有使用者明確允許時才呼叫付費 provider。

需要程式範例、測試案例或版本注意事項時，讀取 實驗與參考。

安全底線