El portal de empleo de España

Ingeniero de Datos – Spark / Scala / AWS

En remoto desde España·Añadida hoy (comprobada el 11 nov)

AD4 Octógono

95 ofertas abiertas

Inscribirme

Nuestro resumen

Salario: 25.000 € - 32.000 € al año
Modalidad: En remoto desde España
Inglés: Obligatorio
Experiencia: 2+ años

Habilidades

Requisitos

Qué buscan

Experiencia profesional de al menos 2 años en Data Engineering, con experiencia práctica en desarrollo con Spark y Scala.
Conocimientos sólidos de Apache Spark, Scala y Hadoop.
Experiencia en desarrollo y mantenimiento de pipelines de procesamiento de grandes volúmenes de datos.
Experiencia en transformaciones, migraciones y sustitución de tablas, garantizando la integridad y consistencia de los datos.
Conocimientos de servicios AWS:
AWS EMR.
AWS Glue.
AWS Lambda.
AWS Step Functions.
Experiencia en orquestación, planificación y monitorización de procesos batch.
Conocimientos de Terraform para configuración de infraestructura.
Experiencia en monitorización y resolución de incidencias en producción, incluyendo análisis de logs Hadoop/YARN.
Dominio de SQL y experiencia con Amazon Athena o motores de consulta equivalentes.
Experiencia en controles de calidad de datos, reconciliación, detección de duplicados y validación de información.
Conocimientos de scripting con Bash y Python.
Experiencia trabajando en entornos Unix/Linux.
Control de versiones con Git y herramientas de construcción como Maven.
Conocimientos de procesos CI/CD y herramientas como Jenkins.
Experiencia con Jira.
Inglés C1, imprescindible para la comunicación en un entorno profesional internacional.

Se valorará

Experiencia en banca o servicios financieros.
Conocimiento de procesos de reporting regulatorio.
Experiencia en banca minorista, empresarial o corporativa.
Capacidad para interpretar requisitos de negocio y convertirlos en especificaciones técnicas.
Experiencia en definición de escenarios de prueba y validación independiente de desarrollos.
Conocimientos de Control-M para planificación y gestión de procesos batch.
Familiaridad con plataformas de Business Intelligence, especialmente Power BI.
Experiencia elaborando documentación técnica y operativa.

Salario y beneficios

Qué ofrecen

Salario: 25000€ - 32000€
Modalidad Remota
Participación en un proyecto especializado en ingeniería y procesamiento de datos.
Entorno tecnológico basado en Apache Spark, Scala y servicios cloud de AWS.
Trabajo sobre procesos de datos críticos y reporting regulatorio.
Posibilidad de incorporación en alguna de nuestras oficinas, valorando también otras ubicaciones.

Si tienes experiencia en Data Engineering, dominas Spark y Scala y quieres participar en proyectos de procesamiento de datos en entornos cloud, ¡queremos conocerte!

El puesto

Buscamos un/a Data Engineer especializado/a en Spark y Scala, con experiencia en desarrollo y mantenimiento de procesos de tratamiento de grandes volúmenes de datos y conocimientos de servicios cloud de AWS.

La persona seleccionada participará en un proyecto de ingeniería de datos dentro de un entorno financiero y de reporting regulatorio, colaborando con analistas de negocio y especialistas en modelado de datos para transformar los requisitos funcionales y regulatorios en soluciones técnicas.

Buscamos un perfil con capacidad para desarrollar procesos ETL, gestionar migraciones de datos, automatizar flujos de procesamiento y garantizar la calidad, integridad y disponibilidad de la información en entornos productivos.

Qué harás

Diseñar, desarrollar, mantener y optimizar pipelines de procesamiento de datos mediante Spark y Scala.
Implementar procesos ETL y transformaciones complejas de información.
Desarrollar estrategias de migración y sustitución de tablas, garantizando la integridad y consistencia de los datos.
Colaborar con analistas de negocio y especialistas en modelado de datos para trasladar los requisitos funcionales y regulatorios a especificaciones técnicas.
Orquestar y monitorizar procesos batch utilizando servicios AWS, especialmente Step Functions.
Trabajar con AWS EMR, Glue y Lambda.
Gestionar ejecuciones parametrizadas y flujos de procesamiento.
Participar en la configuración y automatización de infraestructura mediante Terraform.
Desarrollar y ejecutar procesos de validación y reconciliación de datos.
Realizar controles de calidad mediante SQL y Amazon Athena.
Detectar valores nulos, duplicados e inconsistencias.
Implementar pruebas automatizadas y controles que garanticen la fiabilidad de la información.
Monitorizar y solucionar incidencias en procesos productivos.
Analizar logs de Hadoop/YARN, incluyendo stdout y stderr, para identificar errores y determinar sus causas.
Realizar análisis de causa raíz y proponer medidas correctivas y preventivas.
Documentar desarrollos, cambios técnicos, pruebas y procedimientos operativos.
Garantizar el cumplimiento de los estándares de desarrollo y los requisitos regulatorios.

Competencias personales

Capacidad analítica y resolución estructurada de problemas.
Autonomía y responsabilidad sobre los entregables.
Orientación a resultados y atención al detalle.
Capacidad para investigar incidencias y encontrar su causa raíz.
Organización y gestión de prioridades.
Adaptabilidad y facilidad para comprender arquitecturas y sistemas existentes.
Capacidad para trabajar de forma autónoma y colaborar con equipos multidisciplinares.

Sobre AD4 Octógono

AD4 Octógono es una empresa española de servicios de TI que ofrece consultoría especializada en TI y servicios públicos (utilities). Sus servicios incluyen consultoría de TI, outsourcing de TI, headhunting de TI, servicios en la nube, servicios gestionados, inteligencia de negocio, y outsourcing y headhunting para el sector de servicios públicos.

AD4 Octógono es la empresa de Grupo Audinfor especializada en outsourcing y soluciones de TI, cuyo objetivo es apoyar a las organizaciones en su transformación digital aportando talento, tecnología y metodología. La empresa se describe como dinámica y en crecimiento, con programas de desarrollo continuo para sus empleados y trabajo en proyectos colaborativos.

Datos prácticos

Muchos puestos se ofrecen como totalmente remotos dentro de España (por ejemplo, 'Desarrollador/a Python Junior - REMOTO', 'Full Stack Developer – Java / Angular - REMOTO (ESPAÑA)').
Otros puestos son híbridos, con base en ciudades como Madrid, Sevilla, Bilbao, Málaga y Barcelona.

Todas las vacantes de AD4 Octógono