数据清洗与可视化 (Data Cleaning and Visualization)

本技能用于自动处理数学建模中的原始数据，执行标准化的清洗流程，并生成基础的数据探索性分析（EDA）图表。旨在减少手动处理数据的繁琐步骤，快速获取数据的统计特征和分布情况。

功能特性

1. 自动发现数据源：自动扫描 problem_files/（赛题附件）或 crawled_data/（爬虫数据）目录。
2. 智能清洗：
   • 自动识别并转换数值列。
   • 处理缺失值（数值型填补均值/中位数，分类型填补众数）。
   • 去除全空行/列。
   • 简单的异常值标记/处理。
3. 自动可视化：
   • 数值变量：直方图、箱线图。
   • 分类变量：柱状图。
   • 多变量关系：相关性热力图、散点矩阵。
4. 规范化输出：所有清洗后的数据和图表统一保存到 paper_output/ 目录下，方便后续论文写作调用。

脚本清单