职责：

• 设计和实现使用Azure数据工厂（ADF）、Azure Databricks和Azure Synapse Analytics的数据管道。
• 开发和优化针对结构化和非结构化数据源的ETL/ELT过程。
• 确保在Azure环境中高效的数据摄取、转化和存储。
• 设计和管理数据湖、数据仓库和关系数据库（Azure SQL、Azure Synapse、Azure Cosmos DB）。
• 优化数据库性能、索引和分区策略。
• 实施数据安全、访问控制和加密最佳实践。
• 部署和管理Azure数据服务，包括Azure Blob存储、Azure数据湖和Azure函数。
• 监控和排除数据管道性能问题。
• 使用Azure Purview和数据编目工具确保数据质量、完整性和治理。
• 遵守合规要求并执行数据隐私最佳实践。
• 实施数据工作流的日志记录、监控和警报解决方案。
• 与数据科学家、分析师和业务团队密切合作，了解数据需求。
• 记录数据解决方案、架构和最佳实践以供将来参考。
• 为初级工程师提供指导和技术支持。

资格：

必须具备

• Azure数据工程师助理认证或AWS/Google的同等认证
• 有基础设施与DevOps或数据管道经验

优先考虑

• Snowflake架构认证或相关实践经验
• Databricks认证或相关实践经验

请参考职位描述。