Ingeniero de Deep Learning Sénior, Evaluación de Precisión

• Grado, Máster o Doctorado en Informática, Aprendizaje Automático, Estadística o un campo relacionado

• Más de 6 años de experiencia práctica con LLMs, diseñando y ejecutando evaluaciones para modelos de lenguaje extensos o sistemas de IA multimodales, incluyendo experiencia en entornos agénticos, de varios turnos o con gran carga de razonamiento.

• Sólidos fundamentos estadísticos: diseño experimental, pruebas de significación, análisis de regresión y la capacidad de distinguir la señal del ruido en los resultados de los benchmarks a escala.

• Experiencia demostrada en la construcción de infraestructura de evaluación (pipelines, entornos de benchmark, sistemas de CI reproducibles) y no solo en el consumo de benchmarks existentes.

• Comunicador claro y preciso capaz de traducir los resultados de la evaluación cuantitativa en decisiones para investigadores, equipos de producto y la alta dirección.

• Profundo conocimiento de los frameworks de evaluación de código abierto

• Experiencia diseñando evaluaciones para sistemas agénticos: uso de herramientas, razonamiento de varios turnos, benchmarks basados en entornos (estilo SWE-bench, GAIA, WebArena) o entornos de evaluación interactivos.

• Trayectoria publicando o contribuyendo a la investigación de evaluación, diseño de nuevos benchmarks, artículos de metodología o análisis de reproducibilidad que hayan dado forma a la manera en que el campo mide la capacidad de los modelos.

• Experiencia midiendo la precisión de los modelos bajo inferencia de baja precisión (FP8, INT4, entornos conscientes de la cuantización) y comprensión de cómo la calibración y la dispersión interactúan con los resultados de los benchmarks.

• Comodidad ejecutando cargas de trabajo a gran escala en clústeres HPC/Slurm, incluyendo la gestión de experimentos reproducibles (MLflow, W&B) y la optimización del coste computacional en cientos de ejecuciones de benchmarks.

Tu salario base se determinará en función de tu ubicación, experiencia y la remuneración de empleados en puestos similares. Para Polonia: El rango de salario base es de 375.000 PLN - 650.000 PLN.

Buscamos ingenieros senior para ser pioneros en nuevas metodologías para evaluar con precisión el rendimiento y las capacidades de modelos de aprendizaje profundo revolucionarios, incluyendo LLMs, RAG, agentes y modelos de visión. Colaborarás con toda la organización para dar vida a los últimos modelos insignia de nuestra comunidad y socios. Este puesto ofrece una oportunidad excepcional para diseñar el futuro de la IA en una empresa de rápido crecimiento a la vanguardia de la revolución de la IA. Únete a nuestro equipo de ingenieros de software de clase mundial y socios para ofrecer los modelos más avanzados con una inferencia ultrarrápida. Trabajarás con los clústeres de GPU de grado empresarial más potentes, capaces de cientos de PetaFLOPS, y tendrás acceso anticipado a hardware aún no lanzado, ¡lo que tendrá un impacto directo en la hoja de ruta de NVIDIA y en el panorama general de la IA!

• Diseñar y construir entornos de evaluación de nivel de decisión para los modelos de frontera de NVIDIA que abarcan sistemas de razonamiento, multimodales, de contexto largo y agénticos, produciendo señales de precisión auditables que condicionen cada lanzamiento importante de modelos.

• Investigar y desarrollar metodologías de evaluación novedosas para familias de modelos emergentes y dominios de capacidad (numérica de baja precisión, tareas agénticas de varios turnos, generación de código) donde aún no existen benchmarks establecidos o estos no son generalizables.

• Construir y operar la infraestructura y los pipelines de evaluación, incluyendo entornos de benchmark, sistemas de CI de regresión y herramientas de análisis estadístico, utilizados por los equipos de modelos, producto e investigación aplicada en todo NVIDIA.

• Colaborar con los equipos de investigación de modelos, entrenamiento y clientes para traducir las señales de evaluación en decisiones concretas: aprobación o rechazo de lanzamientos (go/no-go), dirección de las iteraciones de entrenamiento y posicionamiento competitivo frente a modelos de frontera externos.