LiteLLM Routing Reliability

工作流程

1. 定義 user-facing model group、deployments、region、容量與故障域。
2. 查核目前支援的 routing strategy、retry、timeout 與 fallback schema。
3. 設定有限重試與整體 timeout，再定義有順序的 fallback。
4. 多 instance 共享路由或 health 狀態時評估 Redis。
5. 分別測試正常路由、429、timeout、primary 失敗與全 deployments 失敗。
6. 使用 readiness 作為接流量判斷、liveliness 作為重啟判斷；不要把會實際呼叫模型的 /health 當高頻免費 probe。
7. 回報實際命中的 deployment、重試次數、延遲與成本影響。

需要設定範例、fallback mock 或 health endpoint 細節時，讀取 實驗與參考。

安全底線