あなたは、その人物でしょうか？

Technical Lead Engineer - Data として、AWS S3、Glue、Lake Formation、および DMS を活用して構築されたエンドツーエンドのデータプラットフォームの設計、実装、及びスケールを行っていただきます。少人数のエンジニアチームを率い、不正、財務、プロダクト、エンジニアリングなどの部門のステークホルダーと横断的に連携し、事業全体で信頼性が高く、タイムリーかつ安全なデータアクセスを確保していただきます。

データ設計、ガバナンス、及びオブザーバビリティにおける最善のプラクティスを推進し、生成型 AI ツールを活用してエンジニアリングの生産性を向上させ、洞察の獲得を加速していただきます。

データ設計、ガバナンス、及びオブザーバビリティにおける最善のプラクティスを推進し、生成型 AI ツールを活用してエンジニアリングの生産性を向上させ、洞察獲得を促進していただきます。

貢献していただく内容

• AWS ネイティブサービスを活用し、ストリーミングおよびバッチ処理の作業負荷に対応するデータレイクアーキテクチャの設計およびスケーラビリティ向上の責任を担っていただきます。
• AWS Glue、DMS、Kinesis/Kafka、及び PySpark を使用して、データの取り込み、変換、保存パイプラインの開発を主導していただきます。
• 下流サービス向けに、リアルタイムおよびタイムトラベルクエリをサポートするため、データをオープンテーブルフォーマット（Apache Iceberg、Delta Lake）に構造化し、進化させる取り組みを行っていただきます。
• 不正検出、照合、及び報告用途のため、API ファーストかつセルフサービスでキュレーション済みデータセットへのアクセスを可能にするデータのプロダクト化を推進していただきます。
• 規制されたフィンテック環境において、クリティカルなデータパイプラインの SLA および SLO を定義・追跡し、高い可用性とデータの正確性を保証していただきます。
• InfoSec、SRE、及びデータガバナンスチームと連携し、データセキュリティ、リネージュ追跡、アクセス制御、並びに GDPR や MAS TRM などのコンプライアンス遵守を徹底していただきます。
• テストハーネスの自動生成、スキーマドキュメントの作成、変換のスキャフォールド、及びパフォーマンスの洞察提供など、開発者の生産性向上のために生成型 AI ツールを活用していただきます。
• データエンジニアの指導、技術的な方向性の設定、並びに高品質で観測可能なデータパイプラインの提供を確実にしていただきます。

主な責任

• AWS Glue、Step Functions、Airflow、または EMR などのツールを活用し、リアルタイム及びバッチ処理のパラダイムにまたがるスケーラブルでコスト最適化されたパイプラインを設計していただきます。
• AWS DMS を使用してトランザクションソースからのデータ取り込みを管理し、スキーマドリフトへの対応と低遅延レプリケーションに注力していただきます。
• AWS S3 に保存された Iceberg または Hudi テーブルに対し、Glue および Lake Formation を使用してカタログ化された効率的なパーティショニング、圧縮、並びにメタデータ戦略を設計していただきます。
• 機械駆動プロセス（例：不正検知エンジン）及び人が理解しやすいインターフェース（例：ダッシュボード）をサポートするため、データマート、監査用ビュー、分析レイヤーを構築していただきます。
• OpenLineage や Great Expectations を活用し、メトリクス、アラート、及びリネージュ追跡を通じて堅牢なデータオブザーバビリティを確保していただきます。
• ステークホルダーや上級経営陣と連携し、四半期ごとにデータコスト、パフォーマンス、スキーマの進化、及びアーキテクチャ設計のレビューを主導していただきます。
• GitOps や Terraform などのツールを活用し、バージョン管理、CI/CD、並びに Infrastructure as Code のプラクティスを徹底していただきます。

• データエンジニアリングにおける実務経験が7年以上あること。
• AWSデータスタック（Glue（ジョブおよびクローラー）、S3、Athena、Lake Formation、DMS、Redshift Spectrum）を実務で深く習得されていること。
• リアルタイム、ストリーミング、およびバッチシステム向けのデータパイプライン設計に関する豊富な経験（スキーマ設計、フォーマット最適化、SLA策定を含む）があること。
• Python（PySpark）および分析処理・変換のための高度なSQLによるプログラミングスキルをお持ちであること。
• オープンテーブルフォーマット（Iceberg、Delta Lake、Hudi）を用いた大規模なデータアーキテクチャの管理経験が実績としてあること。
• Kinesis/Kafkaによるストリーム処理や、AirflowまたはStep Functionsを用いたオーケストレーションの理解があること。
• 規制環境におけるデータアクセス制御、暗号化ポリシー、およびコンプライアンスワークフローの実装経験があること。
• データエンジニアリングプロセスにGenAIツールを統合し、測定可能な生産性と品質向上を実現する能力があり、なおかつ優れたエンジニアリングプラクティスを保持していること。
• チームの指導、アーキテクチャの意思決定、そしてクロスファンクショナルな関係者との協働の実績があること。

追加評価ポイント

• PCI DSSまたはその他中央銀行の規制環境における、監査ログおよびデータ保持要件に対応した実務経験があること。
• 決済または銀行業務における、リコンシリエーション、チャージバック分析、または詐欺検出に関連するユースケースに取り組んだ経験があること。
• データ契約、データメッシュパターン、及び「データをプロダクトとして扱う」原則への理解があること。
• データ文書の自動化、データテストの生成、またはリコンシリエーションユースケースを支援するためにGenAIを使用した経験があること。
• AWS Glue、Athena、S3におけるパフォーマンスチューニングおよびコスト最適化戦略への精通があること。