Líder del Equipo de Evaluaciones

• Experiencia liderando la evaluación de sistemas de ML tabulares utilizados en producción o en decisiones críticas para el cliente.

• Sólido juicio estadístico: elección de métricas y esquemas de validación, estimación de la incertidumbre, comparación de modelos entre conjuntos de datos y consideración de la experimentación repetida.

• Experiencia práctica detectando fugas (leakage) en el preprocesamiento, la construcción de características (feature construction), joins, dependencias temporales y entidades relacionadas entre divisiones de datos.

• Sólidas habilidades en Python y SQL, familiaridad con scikit-learn y árboles de gradiente aumentado (gradient-boosted trees), y experiencia construyendo herramientas o plataformas de ML fiables utilizadas por otros equipos.

• Experiencia diseñando comparaciones de modelos equitativas, incluyendo la búsqueda de hiperparámetros, presupuestos de recursos y medición de latencia de extremo a extremo.

• Experiencia previa en gestión de personas, incluyendo contratación, coaching técnico y feedback de rendimiento, manteniendo al mismo tiempo la implicación técnica.

• Comunicación clara, tanto escrita como oral, con investigadores, ingenieros y científicos de datos de clientes, incluyendo la disposición a cuestionar afirmaciones que la evidencia no respalde.

• Experiencia evaluando modelos fundacionales tabulares o sistemas de AutoML.

• Experiencia midiendo cómo las optimizaciones del modelo afectan a la calidad predictiva y al rendimiento de la inferencia.

• Experiencia con datos relacionales o de múltiples tablas, y entornos Snowflake o Databricks.

• Experiencia evaluando flujos de trabajo de ML automatizados o impulsados por agentes, incluyendo fallos que las métricas agregadas pueden ocultar.

• Compensación competitiva con salario y acciones (equity)

• Cobertura sanitaria integral para ti y tus dependientes

• Permiso parental retribuido para todos los nuevos padres, incluyendo procesos de adopción y gestación subrogada

• Apoyo para la reubicación de empleados que se trasladen para unirse al equipo en una de nuestras oficinas

• Una cultura orientada a la misión y con poco ego que valora la diversidad de pensamiento, la responsabilidad y la orientación a la acción

Sobre el puesto

NEXUS ya está en producción y estamos trabajando para mejorar sustancialmente su calidad predictiva, latencia y eficiencia de costes. Liderarás el equipo responsable de cómo se mide NEXUS, construyendo la plataforma de evaluación compartida en la que confían ingeniería, investigación y Applied AI: benchmarks consistentes, conjuntos de datos curados y estándares para métricas, divisiones de datos (data splits), prevención de fugas (leakage prevention) y contaminación de benchmarks que resistan cualquier escrutinio.

Investigación necesita confiar en los resultados antes de comprometer capacidad de cómputo, ingeniería necesita detectar regresiones antes de que lleguen a producción y, cuando el propio equipo de ciencia de datos de un cliente evalúa NEXUS frente a sus propios modelos, tu plataforma es en la que Applied AI se apoya. Realizarás benchmarks de NEXUS frente a enfoques de la competencia, utilizando presupuestos de ajuste, acceso a datos y protocolos de medición de latencia equitativos, y convertirás tus hallazgos en prioridades de investigación y recomendaciones de lanzamiento.

Este es un rol de "player-coach": contratarás y gestionarás un equipo pequeño mientras te mantienes involucrado directamente en el código, el diseño de experimentos y la metodología. No hay una función de evaluación que heredar aquí: lo que construyas se convertirá en el estándar con el que el resto de la empresa medirá NEXUS.

• Construir una plataforma de evaluación compartida para ingeniería, investigación y Applied AI. Añadir y mantener continuamente modelos y conjuntos de datos curados para que los equipos puedan ejecutar benchmarks e investigar resultados de forma independiente.

• Definir estándares de evaluación para métricas, divisiones de datos, prevención de fugas, calibración, incertidumbre y contaminación de benchmarks.

• Construir pipelines reproducibles con entradas y artefactos versionados, e integrar controles de regresión en los flujos de trabajo de investigación y lanzamiento.

• Realizar benchmarks de NEXUS frente a enfoques de la competencia utilizando presupuestos de ajuste, acceso a datos, cómputo y protocolos de medición de latencia equitativos.

• Apoyar las evaluaciones de las POC de los clientes de Applied AI con herramientas, orientación metodológica y análisis.

• Medir la calidad predictiva, la latencia y el coste en diversas configuraciones de despliegue, tipos de tareas y características de los conjuntos de datos.

• Convertir los hallazgos en prioridades de investigación, recomendaciones de lanzamiento y planes de mejora para clientes respaldados por evidencia.

• Contratar y desarrollar al equipo, establecer prioridades y mantenerse involucrado directamente en el código y el diseño experimental.