データエンジニア(Data Engineer)

Abel.ai

$5-8K[月給]
リモートワーク1年以上3年未満の経験大卒正社員
共有

リモートワークの詳細

募集している国ワールドワイド

必要言語英語 | 中国語

職務内容

原文を表示

説明

私たちは、データ収集、データクリーニング、データエンジニアリング、および特徴量エンジニアリングに精通したデータエンジニアを、日々成長する当社チームの一員として募集しております。ご担当いただく業務は、複数のデータソースから大規模なデータセットを収集・準備し、データ品質を確保の上、生データを分析および機械学習に適した形式へ変換することです。これは、当社のAIおよびWeb3システム構築における重要な役割となります。


 職務内容

  • ウェブクローリングやAPIなど、複数のデータソースから大規模なデータを収集、処理、クリーニングするためのデータパイプラインの設計および実装
  • 生データのクリーニングおよび前処理を実施し、分析および機械学習に適用できる高品質なデータを確保すること
  • 特徴量エンジニアリングを実施し、生データセットから有用な特徴を抽出して機械学習モデルの性能向上に寄与すること
  • データサイエンティストやエンジニアと密に連携し、データの要求事項を明確にしてクリーンかつ構造化されたデータを提供すること
  • 定型業務の自動化、データフローの最適化により、効率性と拡張性を向上させること
  • データパイプラインの監視および保守を行い、データフローおよびストレージの信頼性を確保すること
  • データ検証および品質チェックを実施し、データの正確性と一貫性を維持すること


要件

職務要件

  • PythonとSQLを用いたデータ操作に精通し、少なくとも2年のデータエンジニアリングまたは関連分野での経験を有している方。
  • ウェブスクレイピング(例:ウェブクローラー、API統合)や大規模データセットの処理経験がある方。
  • データクリーニングおよび前処理技術に精通し、特に分析および機械学習用のデータ準備に注力できる方。
  • 特徴量エンジニアリングに習熟し、元のデータをモデル化に適した形式に変換できる方。
  • MySQL、PostgreSQL、NoSQL等のデータベースの使用経験がある方。
  • AWS、Google Cloud等のクラウドプラットフォームや関連するデータストレージ技術に習熟している方。
  • 問題解決能力と細部への注意力に優れている方。
  • 卓越したコミュニケーション能力と協調性をもち、スピード感ある環境でチーム間の連携を円滑に進められる方。


歓迎要件

  • Hadoop、Sparkなどのビッグデータ技術および分散システムに精通している方。
  • Apache Airflowまたは類似のデータパイプラインツールの使用経験がある方。
  • AI/機械学習関連のデータ準備およびパイプライン統合の経験がある方。
  • Docker、Kubernetesなどのコンテナ技術に習熟している方。


弊社が提供するもの

  • 競争力のある給与体系および株式報酬制度
  • リモートファーストの柔軟な勤務環境
  • 先端プロジェクトおよび最新技術に触れる機会
  • 世界をリードする業界のエキスパートとの協働によるプロフェッショナルな成長機会
  • グローバルで多様性に富み、包摂的なチーム環境


PythonSQLデータ移行データ分析データ処理
Preview

hr xiong

HR总监Abel.ai

Active today

掲載日 02 April 2025

Abel.ai

<50 従業人数

DeFi

採用中の件の求人を表示

報告する

Bossjobの安全に関する注意事項

海外勤務をお考えの際は下記の事項に注意して下さい。まずパスポートなどの身分証明証は不必要に提示しない。

そして下記に該当する企業を見つけた際は、 直ちに報告をお願いいたします。

  • 保証や担保を要求する会社には注意
  • 投資や資金調達を勧誘する
  • 不当な利益を得ていると思われる企業
  • 違法と思われる状況
  • その他不審に感じた場合