私たちは、データ収集、データクリーニング、データエンジニアリング、および特徴量エンジニアリングに精通したデータエンジニアを、日々成長する当社チームの一員として募集しております。ご担当いただく業務は、複数のデータソースから大規模なデータセットを収集・準備し、データ品質を確保の上、生データを分析および機械学習に適した形式へ変換することです。これは、当社のAIおよびWeb3システム構築における重要な役割となります。

 職務内容

• ウェブクローリングやAPIなど、複数のデータソースから大規模なデータを収集、処理、クリーニングするためのデータパイプラインの設計および実装
• 生データのクリーニングおよび前処理を実施し、分析および機械学習に適用できる高品質なデータを確保すること
• 特徴量エンジニアリングを実施し、生データセットから有用な特徴を抽出して機械学習モデルの性能向上に寄与すること
• データサイエンティストやエンジニアと密に連携し、データの要求事項を明確にしてクリーンかつ構造化されたデータを提供すること
• 定型業務の自動化、データフローの最適化により、効率性と拡張性を向上させること
• データパイプラインの監視および保守を行い、データフローおよびストレージの信頼性を確保すること
• データ検証および品質チェックを実施し、データの正確性と一貫性を維持すること

職務要件

• PythonとSQLを用いたデータ操作に精通し、少なくとも2年のデータエンジニアリングまたは関連分野での経験を有している方。
• ウェブスクレイピング（例：ウェブクローラー、API統合）や大規模データセットの処理経験がある方。
• データクリーニングおよび前処理技術に精通し、特に分析および機械学習用のデータ準備に注力できる方。
• 特徴量エンジニアリングに習熟し、元のデータをモデル化に適した形式に変換できる方。
• MySQL、PostgreSQL、NoSQL等のデータベースの使用経験がある方。
• AWS、Google Cloud等のクラウドプラットフォームや関連するデータストレージ技術に習熟している方。
• 問題解決能力と細部への注意力に優れている方。
• 卓越したコミュニケーション能力と協調性をもち、スピード感ある環境でチーム間の連携を円滑に進められる方。

歓迎要件

• Hadoop、Sparkなどのビッグデータ技術および分散システムに精通している方。
• Apache Airflowまたは類似のデータパイプラインツールの使用経験がある方。
• AI/機械学習関連のデータ準備およびパイプライン統合の経験がある方。
• Docker、Kubernetesなどのコンテナ技術に習熟している方。

弊社が提供するもの

• 競争力のある給与体系および株式報酬制度
• リモートファーストの柔軟な勤務環境
• 先端プロジェクトおよび最新技術に触れる機会
• 世界をリードする業界のエキスパートとの協働によるプロフェッショナルな成長機会
• グローバルで多様性に富み、包摂的なチーム環境