skills/skills.netease.im/case-log-analysis

case-log-analysis

SKILL.md

案例日志分析器

概述

本技能提供全面的案例日志分析功能,涵盖ETL数据传输日志(基于Spark)、SQL执行日志(数据库查询日志)和通用系统日志。它帮助识别错误、性能瓶颈,并为数据管道操作和系统故障排查提供可操作的优化建议。

使用时机

  • 分析Spark ETL任务日志中的错误或性能问题
  • 审查SQL查询执行日志以寻找优化机会
  • 排查数据管道中的数据库操作故障
  • 比较不同管道阶段的执行时间
  • 识别数据处理工作流中的资源约束

功能特性

ETL日志分析

  • 错误检测: 识别常见的Spark错误(内存不足、shuffle错误、序列化问题、数据格式问题)
  • 性能分析: 分析任务执行时间、阶段持续时间、shuffle数据大小
Installs
1
First Seen
Apr 7, 2026