Ingeniero de Machine Learning – Evaluación de ML y Diseño de Experimentos

• Más de 3 años de experiencia práctica en aprendizaje automático aplicado

• Sólida experiencia con:

  • Diseño de experimentos de ML

  • Selección de modelos

  • Ajuste de hiperparámetros

  • Evaluación de modelos

  • Preprocesamiento y validación de datos

• Comprensión sólida de las divisiones de entrenamiento, validación y prueba

• Capacidad para identificar:

  • Fuga de datos (data leakage)

  • Ruido en las etiquetas

  • Desplazamiento de la distribución

  • Correlaciones espurias

  • Fuga de características (feature leakage)

  • Contaminación de datos

• Experiencia evaluando si las mejoras de rendimiento son estadísticamente significativas en lugar de fluctuaciones aleatorias

• Comprensión sólida de las métricas de evaluación de ML y de cuándo son apropiadas las diferentes métricas

• Experiencia depurando cargas de trabajo de ML en entornos CPU y GPU

• Capacidad para analizar problemas técnicos y proporcionar comentarios escritos claros

• Experiencia creando o participando en competiciones de ML como Kaggle, DrivenData o similares

• Experiencia diseñando conjuntos de datos de referencia (benchmarks) o desafíos de ML

• Formación en IA centrada en datos (data-centric AI) o calidad de conjuntos de datos

• Experiencia con la generación y validación de datos sintéticos

• Familiaridad con pruebas estadísticas, intervalos de confianza y tamaños del efecto

• Experiencia con pipelines de evaluación de ML, RLHF o evaluación de modelos de IA

• Experiencia desarrollando currículos de ML o evaluaciones técnicas

• Comprensión de los modos comunes de fallo en ML, tales como:

  • Aprendizaje de atajos (shortcut learning)

  • Correlaciones espurias

  • Ley de Goodhart

  • Paradoja de Simpson

  • Manipulación de métricas (metric gaming)

Anyone AI está contratando Machine Learning Engineers experimentados para un proyecto especializado centrado en la revisión y evaluación de desafíos de aprendizaje automático utilizados en el entrenamiento y la evaluación de modelos de IA.

El trabajo consiste en analizar experimentos de ML, conjuntos de datos, métricas y pipelines para determinar si los desafíos son técnicamente sólidos, reproducibles, con una dificultad adecuada y si requieren genuinamente un razonamiento sólido en aprendizaje automático.

Revisarás desafíos de ML que involucren:

• Diseño de experimentos y selección de modelos

• Conjuntos de datos pequeños y sintéticos

• Calidad de los datos y preprocesamiento

• Desplazamiento de la distribución (distribution shift) y contaminación de datos

• Ruido en las etiquetas y fuga de características (feature leakage)

• Evaluación de modelos y selección de métricas

• Ajuste de hiperparámetros

• Metodología de entrenamiento / validación / prueba

• Reproducibilidad y pipelines deterministas

• Significancia estadística de las mejoras del modelo

Una parte clave del rol es determinar si un desafío realmente premia un buen razonamiento de ML, en lugar de ser simplemente resoluble mediante la selección de modelos por fuerza bruta o búsquedas extensas de hiperparámetros.

• Revisar desafíos de ML y determinar si están bien diseñados y son técnicamente resolubles

• Evaluar si los conjuntos de datos contienen señales significativas y aprendibles

• Identificar atajos o artefactos no deseados en conjuntos de datos sintéticos

• Determinar si las tareas requieren un diagnóstico genuino del problema de ML subyacente

• Revisar las métricas de evaluación y los umbrales de mejora

• Detectar la manipulación de métricas, la fuga de datos y los fallos de evaluación

• Verificar la reproducibilidad a lo largo de todo el pipeline de datos → modelo → evaluación

• Evaluar si la dificultad del desafío está calibrada adecuadamente

• Proporcionar recomendaciones claras para mejorar, recalibrar o excluir tareas problemáticas

Tipo de trabajo: Remoto
Contratación: A tiempo parcial, consultoría basada en proyectos
Enfoque: Aprendizaje automático aplicado, diseño de experimentos, calidad de datos y evaluación de modelos

Este rol encaja perfectamente con ingenieros de ML que disfruten depurando experimentos, comprendiendo por qué los modelos tienen éxito o fallan, identificando problemas en conjuntos de datos y pipelines de evaluación, y diseñando experimentos de aprendizaje automático rigurosos.