py-data
Installation
SKILL.md
Python 資料處理與分析
目標與邊界
用此 skill 建立可重現、可驗證、具明確 schema 的資料處理流程。重點不是把程式縮成最短 method chain,而是讓輸入、轉換、品質檢查與輸出契約可追蹤。
若任務主要是模型推論或 RAG,改以 py-ai 為主;若主要問題是效能瓶頸,先完成正確性後再搭配 py-perf。
執行流程
- 定義資料契約:列出欄位、型別、null 規則、主鍵、時區、單位與允許值。
- 盤點資料規模與來源:檔案格式、壓縮、分割方式、資料庫、記憶體限制與更新頻率。
- 選擇引擎:依既有生態、查詢型態、資料量與部署環境選 pandas、Polars、DuckDB、Arrow 或 NumPy。
- 先做小樣本驗證:用代表性資料確認 schema、join cardinality、排序與時間語意。
- 建立 lazy/streaming 管線:能延遲執行就避免中途 materialize;只選取需要欄位並儘早過濾。
- 加入資料品質閘門:驗證列數、主鍵、null、重複、範圍、類別值與 reconciliation。
- 輸出可重現結果:固定 schema、排序需求、分割策略、壓縮與 metadata。