角色与责任

• 开发、优化和维护ETL/ELT管道，以实现高效的数据采集、处理和存储。
• 处理来自各种来源的结构化和非结构化数据，确保数据的质量和完整性。
• 实施和管理数据仓库、数据湖及其他存储解决方案。
• 与数据科学家、分析师和业务团队协作，了解数据需求并开发合适的解决方案。
• 编写干净、高效和可扩展的Python代码以进行数据转换和自动化。
• 优化查询性能并排除与数据相关的问题。
• 确保数据安全、隐私，并遵守相关法规。
• 记录数据工程流程、工作流程和最佳实践。

• 2年以上的数据工程经验。
• 有Python进行数据处理和自动化的能力。
• 有使用SQL和关系数据库（如PostgreSQL、MySQL或SQL Server）的经验。

请参考职位描述。