py-data

Installation
SKILL.md

Python 資料處理與分析

目標與邊界

用此 skill 建立可重現、可驗證、具明確 schema 的資料處理流程。重點不是把程式縮成最短 method chain,而是讓輸入、轉換、品質檢查與輸出契約可追蹤。

若任務主要是模型推論或 RAG,改以 py-ai 為主;若主要問題是效能瓶頸,先完成正確性後再搭配 py-perf。

執行流程

  1. 定義資料契約:列出欄位、型別、null 規則、主鍵、時區、單位與允許值。
  2. 盤點資料規模與來源:檔案格式、壓縮、分割方式、資料庫、記憶體限制與更新頻率。
  3. 選擇引擎:依既有生態、查詢型態、資料量與部署環境選 pandas、Polars、DuckDB、Arrow 或 NumPy。
  4. 先做小樣本驗證:用代表性資料確認 schema、join cardinality、排序與時間語意。
  5. 建立 lazy/streaming 管線:能延遲執行就避免中途 materialize;只選取需要欄位並儘早過濾。
  6. 加入資料品質閘門:驗證列數、主鍵、null、重複、範圍、類別值與 reconciliation。
  7. 輸出可重現結果:固定 schema、排序需求、分割策略、壓縮與 metadata。

引擎選擇指南

Installs
2
GitHub Stars
1
First Seen
May 8, 2026