Ingeniero de Evaluación de Agentes Freelance

• Más de 5 años en desarrollo de software
• Stack principal: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis
• Experiencia escribiendo pruebas (funcionales, de integración)
• Competencia en inglés - B2+

Por qué esto es difícil:
Los modelos de vanguardia ya son buenos programando. Crear una tarea que realmente desafíe a los mejores modelos no es trivial. Necesita comprender profundamente dónde fallan los modelos y qué escenarios revelan la diferencia entre una solución buena y una mala. Las tareas tienen muchas soluciones válidas: escribir pruebas que acepten todas las soluciones correctas y rechacen las incorrectas es más difícil de lo que parece.

Los candidatos deben tener un mínimo de 3 años de experiencia profesional en roles o dominios relacionados, específicamente para roles de QA-automation/testing o ciberseguridad

Cualificaciones educativas

• Máster en Informática, Ingeniería de Software, Ciencia de Datos / Análisis de Datos, Inteligencia Artificial / Aprendizaje Automático, Lingüística Computacional / Procesamiento de Lenguaje Natural (NLP), Sistemas de Información u otros campos relacionados.
• Se acepta el título de Grado si el candidato tiene 5 años de experiencia en el sector.

Experiencia académica y/o profesional

Por favor, envíe su CV en inglés e indique su nivel de competencia en inglés.

Cómo funciona
Solicitud → Superar la(s) cualificación(es) → Unirse a un proyecto → Completar tareas → Cobrar

Compensación:
Pago por tarea aceptada. Su tarifa depende del nivel de cualificación que alcance y de la eficiencia con la que complete las tareas, hasta el equivalente a 40 $/hora. Dado que el pago es por tarea, un ritmo más rápido aumenta su tarifa por hora efectiva.

Mindrift conecta a especialistas con oportunidades de IA basadas en proyectos para empresas tecnológicas líderes, centradas en probar, evaluar y mejorar sistemas de IA. La participación es por proyectos, no es un empleo permanente.

Estamos construyendo un conjunto de datos para evaluar agentes de codificación de IA: qué tan bien maneja un modelo las tareas de desarrollo del mundo real.

Creará tareas desafiantes y criterios de evaluación dentro de entornos simulados realistas:

• Construir entornos de desarrollo realistas: una empresa virtual con base de código, infraestructura y contexto (tickets, documentación, conversaciones) que forme un historial de desarrollo creíble
• Diseñar tareas a partir de estados intermedios de estos entornos: elaborar el prompt, definir qué significa "resuelto" y asegurar que la tarea sea resoluble por un agente de IA
• Escribir pruebas que verifiquen las soluciones del agente: aceptar todos los enfoques válidos y rechazar los incorrectos, sin ser ni demasiado estricto ni demasiado permisivo
• Iterar en tareas y pruebas basándose en el feedback de QA: revisar las soluciones del agente, analizar los fallos y refinar hasta que la evaluación sea justa y robusta

• Participe en un proyecto freelance, remoto y a tiempo parcial que se adapte a sus compromisos profesionales o académicos principales.
• Trabaje en proyectos avanzados de IA y gane una experiencia valiosa que mejore su portafolio. - Influya en cómo los futuros modelos de IA entienden y se comunican en su campo de especialización.

• No es etiquetado de datos
• No es ingeniería de prompts
• No es escribir código desde cero: el agente escribe la mayor parte del código; usted guía y evalúa