Ingeniero de Benchmarks de IA | Especialista en Lengua Nativa - Español

• Experiencia: Más de 5 años de experiencia en la industria de la ingeniería de software.

• Trayectoria: Historial demostrado en empresas tecnológicas líderes y/o graduación en universidades de ingeniería de primer nivel.

• Idioma: Fluidez nativa o casi nativa, con un profundo conocimiento de su gramática, registro y reglas de fraseo. Alto nivel de inglés.

• Stack técnico: Gran dominio de Python, scripting de shell estándar y procesamiento de datos.

• Flujo de trabajo: Amplia experiencia con flujos de trabajo de desarrollo basados en Terminal/CLI y familiaridad práctica con agentes de programación.

• Experiencia en el dominio: Profundo conocimiento técnico de los problemas del procesamiento de texto multilingüe, incluyendo:

  • Robustez de codificación/decodificación y normalización Unicode.

  • Convenciones dependientes de la configuración regional (ordenación, mayúsculas/minúsculas, fechas no gregorianas).

  • E/S de texto, interoperabilidad de la cadena de herramientas y operaciones de cadenas seguras.

  • (Para idiomas específicos) Manejo bidireccional/RTL, sustitución de fuentes (font fallbacks) y renderizado/tipografía en la interfaz de usuario o artefactos.

• Tu horario, tus reglas. Como contratista independiente, trabaja cuando quieras, tanto o tan poco como quieras. Sin horarios fijos, sin controles de asistencia, sin microgestión.

• Recibe pagos rápidos y justos. Respetamos tu tiempo y tu experiencia. Tarifas competitivas, pagos puntuales, sin tener que perseguir facturas.

• Trabaja en proyectos que realmente importan. Contribuye a la IA de vanguardia y a la tecnología lingüística que está dando forma a la manera en que los humanos y las máquinas se comunican.

• Sé parte de algo más grande. Únete a una comunidad global de lingüistas, expertos en la materia y profesionales del lenguaje que están haciendo avanzar el conocimiento humano juntos.

• Crece sin límites. Como contratista de Lilt, tienes acceso a proyectos diversos e innovadores que amplían tu portafolio y perfeccionan tus habilidades en diversos sectores y dominios.

• Diviértete haciendo lo que amas. Da vida a tus habilidades lingüísticas en proyectos que son tan interesantes como impactantes. Estamos construyendo una suite de evaluación rigurosa y verificable de tareas de Terminal-Bench, diseñada para poner a prueba los límites de los modelos de lenguaje de gran tamaño en desafíos de software multilingües. Nuestro objetivo es medir la robustez multilingüe frente a los efectos del idioma del prompt, el procesamiento de datos en idiomas distintos al inglés y casos límite complejos de configuración regional (locale) y codificación en flujos de trabajo de terminal.

Estamos construyendo una suite de evaluación rigurosa y verificable de tareas de Terminal-Bench, diseñada para poner a prueba los límites de los modelos de lenguaje de gran tamaño en desafíos de software multilingües. Nuestro objetivo es medir la robustez multilingüe frente a los efectos del idioma del prompt, el procesamiento de datos en idiomas distintos al inglés y casos límite complejos de configuración regional (locale) y codificación en flujos de trabajo de terminal.

Buscamos ingenieros de software experimentados con lengua materna para diseñar, construir y validar estos benchmarks. Crearás tareas de alta señal y alta calidad que pongan a prueba genuinamente la capacidad de un modelo para manejar entornos multilingües sin depender de muletas de traducción al inglés.

• Ingeniería de tareas: Evaluación de agentes de programación (Coding Agents).

• Creación de activos: Construir entornos de tareas realistas utilizando conjuntos de datos y archivos en tu lengua materna. Crucialmente, estos activos deben permanecer en el idioma de destino para medir genuinamente el manejo multilingüe.

• Prompting y traducción: encontrar puntos de fallo donde la IA no funcione, en tu lengua materna.

• Implementación y verificación: Apoyar el desarrollo de soluciones robustas (implementaciones de referencia) y escribir scripts de verificación altamente fiables y deterministas (utilizando juicios basados en rúbricas solo cuando sea estrictamente necesario).

• Calibración y ejecución: Analizar los registros de ejecución y calibrar la dificultad de las tareas (de Fácil a Muy Difícil) utilizando configuraciones de ejecución estándar de Terminal-Bench frente a varios niveles de modelos (Haiku, Sonnet, Opus).

• Garantía de calidad: Participar en un riguroso proceso de control de calidad humano de 4 capas (creación, revisión humana, revisión de calibración y auditoría) junto con comprobaciones automatizadas basadas en LLM para garantizar la imparcialidad, la precisión gramatical y la integridad del benchmark.

• No es ideal como trabajo a tiempo completo o fuente principal de ingresos. La disponibilidad de trabajo fluctúa según la demanda del proyecto, por lo que es más adecuado como una fuente de ingresos suplementaria. Como contratista 1099, no recibirás beneficios como seguro médico, vacaciones pagadas o contribuciones de jubilación, y las horas no están garantizadas.

• Requiere disponibilidad y compromiso fiables. Una vez que aceptes una tarea, esperamos un trabajo de calidad y una entrega puntual. La mayoría de las tareas requieren un mínimo de 2 horas al día o de 15 a 20 horas por semana. Si tu horario es impredecible, puede que esto no sea lo adecuado para ti.

• Pueden aplicarse restricciones geográficas. No podemos contratar a colaboradores en regiones sujetas a embargos o sanciones internacionales. Como contratista 1099, eres el único responsable de tus propias obligaciones fiscales. Recomendamos consultar a un profesional fiscal antes de comprometerte.