Ingeniero de Datos Sénior (Python/Azure)

Qué ofrecemos

• Una cultura altamente colaborativa y centrada en la ingeniería.
• Una fuerte orientación a la acción con una burocracia mínima.
• La oportunidad de diseñar el motor de datos central que impulsa el descubrimiento de productos para millones de usuarios activos diarios utilizando Azure, Kafka, Spark, Elasticsearch y la Arquitectura de Datos Medallion.

Sobre el puesto

Parser busca un Senior Data Engineer experimentado para unirse a un equipo de entrega de clientes que trabaja en la plataforma de E-commerce Search & Product Discovery para un importante minorista multinacional. El cliente opera en múltiples regiones, incluyendo el Reino Unido, Europa y Asia, ofreciendo alimentación, ropa, electrónica y bienes de consumo a través de tiendas físicas y plataformas de comercio electrónico a gran escala, además de servicios financieros, móviles y de combustible.

Como Senior Data Engineer en Parser, construirás la plataforma de datos central que impulsa las iniciativas de relevancia y optimización de búsqueda. Esta base agrega flujos de eventos de múltiples fuentes y datos de telemetría para garantizar que estén limpios, sean trazables y estén fácilmente accesibles para las aplicaciones downstream, apoyando el descubrimiento automatizado de problemas de búsqueda, la evaluación de cambios offline y las pruebas de relevancia humana. Al incorporarte en la semana 1, colaborarás con el equipo de analítica del cliente para establecer la arquitectura de la plataforma y construir componentes clave de los pipelines de datos para entregar un prototipo funcional en la semana 2.

Responsabilidades clave

• Arquitectura de la base de datos: Construir y escalar la base de datos de búsqueda compartida utilizando una
  Arquitectura Medallion: Bronze (ingesta de fuentes brutas), Silver (conjuntos de datos limpios, validados y estandarizados) y Gold (datos listos para el negocio para el análisis de relevancia y la evaluación offline).
• Integración de telemetría de búsqueda: Integrar y unir fuentes de datos de búsqueda complejas (clickstream, registros de consultas, interacciones con productos) en estrecha colaboración con los equipos de analítica y ciencia de datos del cliente.
• Evaluación de la plataforma: Revisar los pipelines de datos, cuadros de mando y stacks tecnológicos existentes (Azure, Kafka, Elasticsearch) durante la semana 1 para definir y acordar la arquitectura óptima del data lake.
• Calidad y linaje de datos: Implementar controles de calidad de datos robustos y linaje de datos de extremo a extremo para garantizar que los conjuntos de datos puedan ser auditados, validados y reutilizados en las iniciativas de búsqueda.
• Bucles de retroalimentación de relevancia: Suministrar conjuntos de datos de alta calidad para potenciar las herramientas de descubrimiento y los marcos de evaluación offline, reingiriendo las calificaciones de relevancia humana en la base de datos central.
• Excelencia en ingeniería: Escribir código limpio, mantenible y bien probado, documentando las decisiones de diseño y las arquitecturas de los pipelines para un traspaso sin problemas.