Alcance del Trabajo/Responsabilidades:

1. Desarrollo de Canalizaciones de Datos:

· Diseñar, implementar y optimizar canalizaciones de datos de extremo a extremo utilizando Databricks y tecnologías relacionadas.

· Construir flujos de trabajo para manejar la ingestión, transformación y almacenamiento de datos a gran escala.

2. Preparación de Datos para LLMs:

· Preprocesar, limpiar y estructurar conjuntos de datos diversos (texto, estructurados y no estructurados) para el entrenamiento y ajuste de LLM.

· Implementar técnicas de ingeniería de características, tokenización y vectorización para apoyar modelos de NLP.

3. Optimización del Rendimiento:

· Utilizar características de Databricks, incluyendo Delta Lake y MLflow, para optimizar flujos de trabajo de datos.

· Optimizar la infraestructura de datos para alta disponibilidad, escalabilidad y eficiencia de costos.

4. Colaboración con Equipos:

· Trabajar en estrecha colaboración con científicos de datos, ingenieros de ML y otros interesados para entender los requisitos de datos para los requisitos de tecnología LLM.

· Asegurar la alineación entre las canalizaciones de ingeniería y los objetivos de aprendizaje automático.

5. Calidad de Datos y Gobernanza:

· Implementar procesos para asegurar la calidad, consistencia y cumplimiento de los datos con las políticas de gobernanza.

· Monitorear y mantener la integridad de los datos a lo largo del ciclo de vida de la canalización.

6. Adopción de Nuevas Tecnologías:

· Mantenerse actualizado sobre los avances en Databricks, IA generativa y tecnologías LLM.

· Contribuir a la adopción de herramientas y prácticas innovadoras para mejorar los flujos de trabajo.

Requisitos y Cualificación (Educación y Experiencia Laboral):

Experiencia:

· Más de 7 años de experiencia en roles de ingeniería de datos, con al menos 2 años en un rol de liderazgo y proyectos que involucren Databricks.

· Experiencia comprobada en canalizaciones de datos, ingeniería de características y preparación de conjuntos de datos para aprendizaje automático, específicamente LLMs.

· Experiencia construyendo aplicaciones de nivel empresarial con integraciones de GenAI o IA/ML.

Habilidades Técnicas:

· Experiencia en Databricks, Apache Spark y Delta Lake.

· Fuertes habilidades de programación en Python y SQL; conocimiento de bibliotecas como pandas, NumPy o PyTorch es un plus

· Comprensión de bibliotecas de gestión de estado como Redux, Recoil o Zustand.Cypress), y control de versiones (Git).

· Comprensión de principios de seguridad web y requisitos de cumplimiento para aplicaciones empresariales.

Habilidades Blandas:

· Excepcionales habilidades de resolución de problemas y toma de decisiones.

· Excelentes habilidades de comunicación y liderazgo, con la capacidad de guiar discusiones técnicas y mentorear a los miembros del equipo.

· Fuerte enfoque en la entrega de calidad

Por favor, consulte la descripción del trabajo.