case-log-analysis
SKILL.md
案例日志分析器
概述
本技能提供全面的案例日志分析功能,涵盖ETL数据传输日志(基于Spark)、SQL执行日志(数据库查询日志)和通用系统日志。它帮助识别错误、性能瓶颈,并为数据管道操作和系统故障排查提供可操作的优化建议。
使用时机
- 分析Spark ETL任务日志中的错误或性能问题
- 审查SQL查询执行日志以寻找优化机会
- 排查数据管道中的数据库操作故障
- 比较不同管道阶段的执行时间
- 识别数据处理工作流中的资源约束
功能特性
ETL日志分析
- 错误检测: 识别常见的Spark错误(内存不足、shuffle错误、序列化问题、数据格式问题)
- 性能分析: 分析任务执行时间、阶段持续时间、shuffle数据大小