あなたは、堅牢なデータパイプラインとETLプロセスの設計、実装、および維持を担当します。Spark、Talend、Airflow、Python、およびSQLの専門知識を活かし、システム全体での効率的なデータフローと変換を確保します。

主な責任:

• データパイプライン開発: Apache Sparkを使用してスケーラブルなデータパイプラインを設計・開発し、効率的なデータ処理と変換を確保します。
• ETLプロセス: 複数のソースからデータシステムへのデータを統合するためのETL（抽出、変換、ロード）ワークフローを作成および管理します。
• データ統合: Talendを活用して、データクレンジング、変換、ロードを含むデータ統合タスクを実行します。
• ワークフロー自動化: Apache Airflowを使用してデータワークフローを実装および管理し、データ処理タスクを自動化および最適化します。
• プログラミング: Pythonを使用して、データ操作、変換、および分析のためのスクリプトを作成します。
• データベース管理: 関係データベースでの効率的なデータ取得と分析のためにSQLクエリを開発および最適化します。
• 協力: データ科学者、アナリスト、その他の利害関係者と密接に連携し、データのニーズを理解し、効果的なソリューションを提供します。
• データ品質: 厳密な検証および監視プロセスを通じて、データの正確性、一貫性、および品質を確保します。
• ドキュメンテーション: データプロセス、パイプライン、および統合ワークフローの詳細なドキュメンテーションを作成および維持します。

必要なスキルと資格:

• 大規模なデータ処理と分析のためのApache Sparkの習熟。
• ETLプロセスとツール（Talendを含む）の経験。
• データワークフローと自動化の管理のためのApache Airflowの知識。
• データエンジニアリングタスクのための強力なプログラミングスキル（Python）。
• 関係データベースの照会と管理のための高度なSQLスキル。

職務記述書を参照してください。