Ingeniero de Plataforma de Datos Sénior

Qué buscamos:
Requisitos imprescindibles:

• Sólidas habilidades de ingeniería en Python
• Experiencia construyendo pipelines de datos o plataformas de datos
• Experiencia trabajando con AWS
• Experiencia trabajando con grandes conjuntos de datos utilizados en flujos de trabajo de ML
• Sólidas prácticas de ingeniería de software (testing, CI/CD, documentación)
• Experiencia colaborando con equipos de ML o trabajando en entornos de IA

Requisitos deseables:
• Experiencia con herramientas de versionado de conjuntos de datos como DVC
• Experiencia con Kubernetes
• Experiencia con arquitecturas de data lakehouse
• Experiencia trabajando con pipelines de anotación o conjuntos de datos de entrenamiento de ML
• Experiencia con PostgreSQL, Metabase o herramientas de datos similares
• Experiencia trabajando en entornos regulados (IA médica / sanitaria)

Nuestro stack

Sobre el puesto
Buscamos un Senior Data Platform / Data Engineer para unirse a nuestro equipo de ML Platform y ayudar a construir y escalar la infraestructura de datos que impulsa nuestros productos de IA en odontología. Nuestra plataforma soporta todo el ciclo de vida de desarrollo de IA, desde la ingesta de datos brutos y los flujos de trabajo de anotación hasta el versionado de conjuntos de datos y los pipelines de entrenamiento de modelos. Trabajarás estrechamente con Machine Learning Researchers (MLRs), ingenieros de MLOps y equipos de producto para garantizar que nuestra infraestructura de datos sea fiable, escalable y fácil de usar.
Un enfoque clave del puesto es mejorar nuestro Data Lakehouse (DLH) y los flujos de trabajo de gestión de conjuntos de datos, incluyendo el versionado de conjuntos de datos (DVC) y la mejora de cómo se preparan, extraen y consumen los datos en los sistemas de investigación y producción.

En qué trabajarás:
Desempeñarás un papel clave en la configuración de la próxima generación de nuestra plataforma de datos.
Las responsabilidades típicas incluyen:
Propiedad de la plataforma de datos

• Diseñar y evolucionar la arquitectura del Data Lakehouse (DLH) utilizada en nuestros equipos de ML.
• Mejorar la fiabilidad y la estructura de los pipelines de ingesta, extracción y transformación de datos.
• Garantizar que los conjuntos de datos utilizados para el entrenamiento y la evaluación sean consistentes, reproducibles y estén bien documentados.

Gestión del ciclo de vida de los conjuntos de datos

• Mejorar los flujos de trabajo para el versionado y la reproducibilidad de los conjuntos de datos utilizando herramientas como DVC.
• Diseñar soluciones para gestionar múltiples versiones de conjuntos de datos y anotaciones a través de experimentos y modelos.
• Mejorar la capacidad de los investigadores para recuperar las versiones correctas de los conjuntos de datos de forma fiable.

Pipelines de datos e infraestructura

• Construir y mantener pipelines de datos escalables en Python.
• Mejorar la gestión de metadatos, la validación de conjuntos de datos y la monitorización de la calidad de los datos.
• Optimizar los flujos de trabajo de datos en infraestructuras basadas en AWS.

Colaboración con equipos de ML

• Trabajar estrechamente con investigadores de ML e ingenieros de ML para comprender sus necesidades de datos.
• Apoyar los flujos de trabajo de investigación con patrones de acceso a datos fiables y eficientes.
• Ayudar a traducir los requisitos de investigación en capacidades robustas de la plataforma.

Gobernanza y calidad de los datos

• Implementar prácticas para la calidad, reproducibilidad y trazabilidad de los datos en todo el ciclo de vida de ML.
• Garantizar que nuestra infraestructura de datos cumpla con los requisitos del desarrollo de IA regulado.

Tipo de empleo: Jornada completa

Porcentaje de viajes: 0 - 10%

• AWS
• Python
• Kubernetes
• PostgreSQL
• Metabase
• DVC para el versionado de conjuntos de datos
• Infraestructura interna de Data Lakehouse

Ubicaciones alternativas: España : Madrid || Polonia : Gdansk || Polonia : Varsovia || Polonia : Wroclaw