我们正在招聘一名熟悉数据爬取、数据清洗、数据工程和特征工程的数据工程师加入我们不断壮大的团队。你将负责从多种数据源收集和准备大规模数据集，确保数据质量，并将原始数据转化为可用于分析和机器学习的格式。这是我们AI和Web3系统构建中的关键角色。

 岗位职责

• 设计并实现数据管道（data pipeline），用于收集、处理、清洗来自网页爬取和API等多种数据源的大规模数据。
• 清洗和预处理原始数据，确保数据高质量并适用于分析和机器学习。
• 执行特征工程，从原始数据集中提取有价值的特征，提升机器学习模型表现。
• 与数据科学家和工程师紧密合作，明确数据需求，提供干净且结构化的数据。
• 自动化重复任务，优化数据流程，提高效率和扩展性。
• 监控并维护数据管道，确保数据流与存储的可靠性。
• 开展数据验证和质量检查，确保数据准确性和一致性。

职位要求

• 精通Python和SQL进行数据操作，具备至少2年数据工程或相关领域的经验。
• 有数据爬取（如网页爬虫、API集成）及处理大规模数据集的经验。
• 熟练掌握数据清洗和预处理技术，尤其注重为分析和机器学习准备数据。
• 熟悉特征工程，能够将原始数据转化为适合建模的格式。
• 具备数据库使用经验（如MySQL、PostgreSQL、NoSQL等）。
• 熟悉云平台（如AWS、Google Cloud）以及相关数据存储技术。
• 具备较强的问题解决能力和细节关注能力。
• 优秀的沟通和协作能力，能在快节奏环境中跨团队高效合作。

加分项

• 熟悉大数据技术（如Hadoop、Spark）和分布式系统。
• 有Apache Airflow或类似数据管道工具的使用经验。
• 具备AI/机器学习相关的数据准备和管道集成经验。
• 熟悉容器化技术（如Docker、Kubernetes）。

 我们提供

• 极具竞争力的薪资待遇及股权激励
• 远程优先的灵活办公环境
• 接触尖端项目与前沿技术的机会
• 与全球顶尖行业精英共事的专业成长机会
• 全球化、多元化且包容的团队氛围