Ingeniero de LLM Sénior

Nuestros productos estrella, CompactifAI y Singularity, abordan necesidades críticas en diversas industrias:

• CompactifAI es una herramienta de compresión revolucionaria para modelos de IA fundacionales basada en redes de tensores (Tensor Networks). Permite la compresión de grandes sistemas de IA —como los modelos de lenguaje— para hacerlos significativamente más eficientes y portátiles.

• Singularity es una plataforma de optimización cuántica e inspirada en la cuántica, utilizada por empresas líderes para resolver problemas complejos en finanzas, energía, fabricación y otros sectores. Se integra perfectamente con los sistemas existentes y ofrece mejoras de rendimiento inmediatas tanto en hardware clásico como cuántico.

Resumen del puesto
Buscamos un Senior LLM Engineer para unirse a nuestro equipo de Investigación. Trabajarás en todo el ciclo de vida del modelo: datos, entrenamiento distribuido, post-entrenamiento, compresión, evaluación e inferencia eficiente. Nuestro trabajo previo incluye la compresión y reparación de modelos de pesos abiertos (open-weight), post-entrenamiento con SFT, RL y destilación, entrenamiento multimodal, edición de conocimiento y la creación de nuestra propia familia de modelos. Las prioridades cambian rápidamente en investigación, por lo que valoramos unos fundamentos sólidos por encima de una especialización estrecha. Cuando tiene sentido, publicamos artículos y lanzamos modelos y código.

Como LLM Engineer, tú

• Entrenarás y realizarás el post-entrenamiento de LLMs y modelos multimodales en clusters de GPU multinodo utilizando SFT, optimización de preferencias, RL (por ejemplo, GRPO), y destilación on-policy y offline.

• Diseñarás técnicas de compresión (cuantización, pruning, entrenamiento consciente de la cuantización, métodos de redes tensoriales inspirados en la computación cuántica) y recetas de reparación que recuperen la calidad de los modelos comprimidos.

• Construirás entornos de RL, funciones de recompensa y verificadores para tareas de razonamiento, programación y agentes, y extenderás los métodos de RL a modelos de mundo y Physical AI.

• Investigarás y crearás prototipos de arquitecturas post-transformer e híbridas (modelos de espacio de estados, atención lineal, MoE), desde ablaciones a pequeña escala hasta recetas de escalado.

• Construirás pipelines de datos para la curación, filtrado, deduplicación y generación de datos sintéticos a gran escala.

• Diseñarás ablaciones y evaluaciones rigurosas en conjuntos de benchmarks actuales (razonamiento, programación, contexto largo, seguimiento de instrucciones, agentes), así como evaluaciones internas.

• Portarás y optimizarás modelos para la inferencia en diversos aceleradores y chips de borde (edge), perfilando la latencia, la memoria y el rendimiento (throughput).

• Redactarás experimentos y resultados en forma de informes internos y, cuando sea relevante, artículos y lanzamientos de código abierto.

• Revisarás código, mentorizarás a tus compañeros y seguirás e introducirás las últimas investigaciones.