Senior Software Engineer – Open Source & SWE-Bench Evaluation

• Más de 3 años de experiencia profesional en ingeniería de software

• Sólida experiencia trabajando con bases de código grandes y de múltiples archivos

• Experiencia revisando pull requests, depurando problemas y manteniendo código de producción

• Sólido conocimiento de pruebas unitarias y cobertura de pruebas

• Capacidad para evaluar si las pruebas validan correctamente una solución sin restringir innecesariamente los enfoques de implementación

• Experiencia con gestión de dependencias, configuración de entornos y reproducibilidad

• Sólido conocimiento de Git y flujos de trabajo de desarrollo basados en GitHub

• Capacidad para analizar problemas técnicos complejos y proporcionar feedback escrito claro

• Contribuciones o mantenimiento de proyectos de código abierto

• Experiencia con SWE-Bench, SWE-Bench Verified o benchmarks de programación similares

• Experiencia con proyectos importantes de código abierto en Python como Django, Flask, scikit-learn, SymPy, matplotlib, requests o pytest

• Experiencia con Docker, CI/CD, pip, conda o fijación de dependencias (dependency pinning)

• Conocimiento de fixtures de prueba, aislamiento de pruebas o pruebas basadas en propiedades (property-based testing)

• Experiencia diseñando evaluaciones técnicas o revisando desafíos de programación

• Experiencia con evaluación de IA/ML, curación de datos, RLHF o desarrollo de benchmarks

Anyone AI está contratando Software Engineers experimentados para un proyecto especializado centrado en la revisión y evaluación de tareas de ingeniería de software del mundo real derivadas de repositorios de código abierto.

El trabajo consiste en evaluar si las tareas de programación basadas en problemas (issues) y pull requests reales de GitHub son técnicamente sólidas, reproducibles, están probadas adecuadamente y son representativas del tipo de problemas que los ingenieros de software profesionales resuelven cada día.

Revisarás tareas de ingeniería de software que implican:

• Corrección de errores (bug fixes) y la implementación de funciones en el mundo real

• Repositorios de código abierto y pull requests

• Pruebas unitarias y cobertura de pruebas

• Configuración de repositorios y gestión de dependencias

• Reproducibilidad y configuración del entorno

• Dificultad y complejidad de las tareas

• Cambios de código en múltiples archivos y entre módulos

• Feedback técnico y evaluación de calidad

Determinarás si las tareas están claramente especificadas, son técnicamente resolubles, cuentan con suficientes pruebas y están libres de problemas como pruebas inestables (flaky tests), dependencias faltantes, requisitos ambiguos o comportamientos específicos del entorno.

• Revisar tareas de programación derivadas de issues y pull requests reales de GitHub

• Evaluar si los enunciados de los problemas y los criterios de éxito son claros y completos

• Evaluar las pruebas unitarias en cuanto a corrección, cobertura y robustez

• Identificar pruebas inestables (flaky tests), dependencias faltantes, conflictos de versiones y problemas de entorno

• Determinar si las tareas pueden reproducirse de forma fiable en diferentes entornos

• Evaluar la dificultad y complejidad real de cada tarea

• Proporcionar recomendaciones claras sobre si las tareas deben aceptarse, mejorarse o excluirse

Tipo de trabajo: Remoto
Contratación: Consultoría por proyectos, a tiempo parcial
Enfoque: Ingeniería de software, revisión de código abierto, pruebas y evaluación técnica

Este puesto es ideal para ingenieros experimentados que disfruten depurando bases de código complejas, revisando pull requests, trabajando con software de código abierto y evaluando qué hace que un problema de ingeniería de software esté bien diseñado.