Ingeniero de Prompt Sénior

• Idiomas: Fluidez nativa en español y fluidez en inglés.
• Ubicación: Debe residir en España.
• Educación: Grado, Máster o Doctorado en Informática, Ciencia de Datos, Lingüística Computacional, Interacción Persona-Ordenador (HCI), Ciencia Cognitiva o un campo analítico relacionado.
• Experiencia en Prompt Engineering y IA: Al menos 4 años de experiencia como Prompt Engineer. Experiencia demostrada en el ajuste de modelos de lenguaje extensos (LLMs) para obtener resultados estrictos y estructurados, tareas de clasificación complejas, y familiaridad con chain-of-thought y few-shot learning.
• Análisis de datos: Gran competencia en la identificación de patrones de error, análisis del rendimiento del modelo y uso de SQL u otras herramientas de análisis de datos.
• Agilidad técnica: Capacidad para aprender y dominar rápidamente herramientas propietarias con una supervisión mínima.
• Comunicación: Excelentes habilidades de comunicación verbal y escrita.

• Familiaridad con interfaces de LLM de nivel empresarial como la Goose API.
• Experiencia en evaluación de modelos de IA, ciencia de datos, lingüística computacional o ingeniería de software.
• Experiencia práctica con sistemas de Automated Prompt Optimization (APO) o flujos de trabajo de ajuste (tuning).
• Experiencia lingüística, incluyendo la comprensión de la semántica y la lógica.

Buscamos un Prompt Engineer para que sea responsable del flujo de trabajo de migración técnica de extremo a extremo para la transición de plantillas a autoraterizadores de LLM. El puesto requiere el uso de las herramientas internas del cliente para aprovechar las técnicas de ingeniería de prompts y maximizar el rendimiento del modelo.

• Utilizar herramientas de Automatic Prompt Generation (APG) para crear prompts base para grupos complejos de plantillas padre-hijo.
• Ejecutar y supervisar la herramienta de Automated Prompt Optimization (APO), revisar los resultados y señalar cuando la APO alcance bloqueos o mesetas.
• Redactar, probar y perfeccionar prompts manualmente para navegar por arquitecturas de plantillas complejas, superar anti-patrones y gestionar casos límite donde las herramientas sean insuficientes o fallen. Resolver escenarios de casos límite mediante el diseño y perfeccionamiento de prompts manuales.
• Monitorizar las ejecuciones de shadowbot para asegurar que se registren, generen y rastreen suficientes discrepancias (entre las calificaciones humanas y las de los LLM).
• Ejecutar versiones de prompts contra datos de referencia (gold data) establecidos para medir continuamente la calidad del autoraterizador frente a la base de referencia de la multitud humana, calculando métricas de precisión como las puntuaciones F1, precisión y exhaustividad (recall).
• Redactar las justificaciones de preparación para el lanzamiento técnico (Launch Certification Documentation) para la fase final.