作業範囲/責任:

1. データパイプライン開発:

・Databricksおよび関連技術を使用して、エンドツーエンドのデータパイプラインを設計、実装、最適化します。

・大規模なデータの取り込み、変換、格納を処理するためのワークフローを構築します。

2. LLM用データ準備:

・LLMのトレーニングと微調整のために、多様なデータセット（テキスト、構造化、および非構造化）を前処理、クリーン化、および構造化します。

・NLPモデルをサポートするための特徴エンジニアリング、トークン化、ベクトル化技術を実装します。

3. パフォーマンス最適化:

・Delta LakeやMLflowを含むDatabricksの機能を使用して、データワークフローを合理化します。

・高可用性、スケーラビリティ、コスト効率のためにデータインフラを最適化します。

4. チームとの協力:

・データサイエンティスト、MLエンジニア、および他のステークホルダーと密接に協力して、LLM技術のデータ要件を理解します。

・エンジニアリングパイプラインと機械学習の目標との整合性を確保します。

5. データ品質とガバナンス:

・データの品質、一貫性、およびガバナンスポリシーへの準拠を確保するためのプロセスを実施します。

・パイプラインライフサイクル全体でデータの整合性を監視し、維持します。

6. 新技術の採用:

・Databricks、生成AI、およびLLM技術の進展について最新情報を把握します。

・ワークフローの改善のために革新的なツールや実践の採用に貢献します。

要件および資格（教育および職務経験）:

経験:

・データエンジニアリングの役割で7年以上の経験があり、少なくとも2年間はリーダーシップの役割とDatabricksを含むプロジェクトの経験があります。

・データパイプライン、特徴エンジニアリング、特にLLMのためのデータセット準備に関する豊富な専門知識を持っています。

・GenAIまたはAI/ML統合を持つエンタープライズグレードのアプリケーションを構築した経験があります。

技術スキル:

・Databricks、Apache Spark、Delta Lakeに関する専門知識。

・PythonおよびSQLでの強力なプログラミングスキル; pandas、NumPy、またはPyTorchなどのライブラリに関する知識も歓迎されます。

・Redux、Recoil、またはZustandのような状態管理ライブラリ、およびバージョン管理（Git）を理解しています。

・エンタープライズアプリケーションのためのウェブセキュリティ原則とコンプライアンス要件を理解しています。

ソフトスキル:

・卓越した問題解決および意思決定の能力。

・技術的な議論を導く能力を持つ優れたコミュニケーションおよびリーダーシップスキルを持ち、チームメンバーの指導ができます。

・品質の提供に強い関心。

職務内容を参照してください。