data-pipeline-engineering
Data Pipeline Engineering
Overview
Data pipelines fail silently. Bad data propagates downstream before anyone notices. Reprocessing a non-idempotent pipeline corrupts your warehouse.
Core principle: EVERY PIPELINE STEP IS IDEMPOTENT AND PRODUCES VERIFIABLE OUTPUT. If you can't safely re-run any step at any time, your pipeline is a ticking bomb.
Violating the letter of this process is violating the spirit of data engineering.
The Iron Law
EVERY PIPELINE STEP IS IDEMPOTENT AND PRODUCES VERIFIABLE OUTPUT
If re-running a step produces different results or duplicates data, you cannot ship it.
When to Use
More from lv416e/dotfiles
repository-analyzer
Comprehensive repository analysis using Explore agents, web search, and Context7 to investigate codebase structure, technology stack, configuration, documentation quality, and provide actionable insights. Use this skill when asked to analyze, audit, investigate, or report on a repository or codebase. | Exploreエージェント、Web検索、Context7を用いた包括的なリポジトリ分析。コードベース構造、技術スタック、設定、ドキュメント品質を調査し、実用的な洞察を提供。リポジトリやコードベースの分析、監査、調査、レポート作成を依頼された場合に使用。
17deep-research
Conduct comprehensive, multi-source research on any topic using web search, documentation lookup, and critical analysis. This skill should be used when users request thorough investigation, deep research, or comprehensive analysis of topics including but not limited to AI systems, technology trends, academic subjects, business strategies, or current events. | 任意のトピックに対して、Web検索、ドキュメント参照、批判的分析を用いた包括的な調査を実施。徹底的な調査、詳細なリサーチ、包括的な分析が必要な場合や、AIシステム、技術トレンド、学術的テーマ、ビジネス戦略、時事問題などについて深く知りたい場合に使用。
14brainstorming
Use when creating or developing anything, before writing code or implementation plans - refines rough ideas into fully-formed designs through structured Socratic questioning, alternative exploration, and incremental validation | コードや実装計画を書く前に、何かを作成・開発する際に使用 - 体系的なソクラテス式の問いかけ、代替案の探索、段階的な検証を通じて、粗いアイデアを完成度の高い設計に洗練
10test-driven-development
Use when implementing any feature or bugfix, before writing implementation code - write the test first, watch it fail, write minimal code to pass; ensures tests actually verify behavior by requiring failure first | 機能やバグ修正を実装する際、実装コードを書く前に使用 - まずテストを書き、失敗を確認し、最小限のコードで通す。最初に失敗を求めることで、テストが実際に動作を検証することを保証
9artifacts-builder
Suite of tools for creating elaborate, multi-component claude.ai HTML artifacts using modern frontend web technologies (React, Tailwind CSS, shadcn/ui). Use for complex artifacts requiring state management, routing, or shadcn/ui components - not for simple single-file HTML/JSX artifacts. | モダンなフロントエンドWeb技術（React、Tailwind CSS、shadcn/ui）を使用して、精巧なマルチコンポーネントclaude.ai HTMLアーティファクトを作成するツール群。状態管理、ルーティング、shadcn/uiコンポーネントが必要な複雑なアーティファクトに使用 - シンプルな単一ファイルHTML/JSXアーティファクトには不向き
9requesting-code-review
Use when completing tasks, implementing major features, or before merging to verify work meets requirements - dispatches superpowers:code-reviewer subagent to review implementation against plan or requirements before proceeding | タスク完了時、主要機能の実装時、またはマージ前に作業が要件を満たしているか検証する際に使用 - superpowers:code-reviewerサブエージェントをディスパッチし、計画や要件に対して実装をレビュー
9