職務: データアナリスト（Databricks、Apache Spark、Delta Lake、GenAIまたはAI/ML統合）。

勤務地: マニラ。

期間: 6か月以上の契約。

職務内容:

業務範囲/責任

1. データパイプライン開発:

• Databricksや関連技術を使用してエンドツーエンドのデータパイプラインを設計、実装、最適化。
• 大規模なデータの取り込み、変換、および保存を処理するワークフローを構築。

2. LLM用データ準備:

• テキスト、構造化、非構造化など多様なデータセットをLLMトレーニングおよび微調整用に前処理、クリーンアップ、構造化。
• NLPモデルをサポートするための特徴量エンジニアリング、トークナイゼーション、およびベクトル化技術を実装。

3. パフォーマンス最適化:

• Delta LakeやMLflowを含むDatabricksの機能を使用してデータワークフローを合理化。
• 高可用性、スケーラビリティ、およびコスト効率のためにデータインフラストラクチャを最適化。

4. チームとのコラボレーション:

• データ要件を理解するためにデータサイエンティスト、MLエンジニア、および他のステークホルダーと密接に協力。
• エンジニアリングパイプラインと機械学習の目標の間の整合性を確保。

5. データ品質とガバナンス:

• データの品質、一貫性、ガバナンスポリシーの遵守を確保するプロセスを実装。
• パイプラインのライフサイクル全体を通じてデータの整合性を監視および維持。

6. 新技術の採用:

• Databricks、生成AI、LLM技術の進歩に関する最新情報を保持。
• ワークフローを改善する革新的なツールやプラクティスの採用に貢献。

要件と資格（教育および職務経験）

経験:

• データエンジニアリングの役割で7年以上の経験を持ち、少なくとも2年のリーダーシップ役割とDatabricksを含むプロジェクトの経験あり。
• データパイプライン、特徴量エンジニアリング、特にLLM用のデータセット準備の専門知識を証明済み。
• GenAIまたはAI/ML統合を使用してエンタープライズグレードのアプリケーションを構築した経験。

技術スキル:

• Databricks、Apache Spark、Delta Lakeの専門知識。
• PythonおよびSQLの強力なプログラミングスキル;pandas、NumPy、PyTorchなどのライブラリの知識はプラスであり、Redux、Recoil、またはZustand、Cypress）とバージョン管理（Git）のような状態管理ライブラリの理解。
• エンタープライズアプリケーションのためのウェブセキュリティ原則とコンプライアンス要件の理解。

ソフトスキル:

• 優れた問題解決および意思決定能力。
• 優れたコミュニケーションおよびリーダーシップスキルを持ち、技術的な議論を指導し、チームメンバーを指導する能力。
• 品質を提供することに強いフォーカス

職務内容をご参照ください。