Staff Research Engineer - Multimodal Generative Modelling

• Experiencia con arquitecturas de streaming o en tiempo real.

• Familiaridad con arquitecturas de vanguardia en generación de audio y voz, como modelos de difusión, neural codecs, modelos de flow-matching o decodificadores autorregresivos.

• Excelencia en una o más de las siguientes modalidades: voz, texto, vídeo.

• Evidencia de contribuciones de investigación originales, como publicaciones o trabajo de código abierto en foros de primer nivel (por ejemplo, NeurIPS, CVPR, ICML, ICLR, Interspeech).

La visión a largo plazo de Synthesia es construir los mejores modelos de interacción humana: sistemas que no solo hablen con las personas, sino que las perciban y les respondan, reaccionando a las acciones y emociones del usuario, no solo a sus palabras. Hoy en día, más de 60.000 empresas confían en nuestra plataforma, y el próximo salto en lo que podemos ofrecerles depende de modelos que combinen texto, audio y vídeo en una única experiencia interactiva en tiempo real.

Como Staff Research Engineer, te unirás al equipo de Voice dentro de nuestro departamento de I+D de más de 40 personas, pero tu alcance se extenderá mucho más allá de la voz. Ayudarás a definir e impulsar esa visión más amplia entre los equipos, proponiendo direcciones de investigación ambiciosas y asumiendo la responsabilidad directa del diseño e implementación de sus componentes más críticos. Trabajarás directamente con nuestro responsable de voz y colaborarás estrechamente con nuestros equipos de vídeo y otros miembros senior de la organización.

Concretamente, trabajarás en modelos de voice-to-voice que produzcan texto y voz simultáneamente. Modelos que puedan razonar, interrumpir al usuario con back channeling y hablar. Modelos que te hagan sentir que estás manteniendo una conversación natural, sin esa sensación de turnos de palabra que predomina en los modelos actuales de speech-to-speech. Tu función consistirá en colaborar en la definición de una hoja de ruta, implementarla y entregar los resultados al producto.

Lo que harás

• Dar forma a nuestra hoja de ruta para crear nuevas capacidades en los modelos y desbloquear nuevas funcionalidades para nuestra base de clientes, tanto a corto como a largo plazo.

• Proponer arquitecturas de sistemas multimodales novedosas (especialmente de texto y voz).

• Desarrollar y evaluar sistemas de streaming y conversacionales para la síntesis de voz y vídeo interactiva de baja latencia.

• Diseñar soluciones que refuercen la expresividad emocional y la interacción natural.

• Implementar y dar vida a los diseños, desde el preentrenamiento hasta el postentrenamiento.

• Integrar y probar arquitecturas novedosas (neural codecs, diffusion, flow-matching) para mejorar el realismo y la capacidad de respuesta.

• Definir nuevas métricas de evaluación para sistemas conversacionales, incluyendo mediciones basadas en la interacción y conscientes de la latencia.

• Seguir las últimas investigaciones en difusión audiovisual, modelos autorregresivos, neural codecs y LLMs multimodales.

• Curar nuevos conjuntos de datos para complementar los existentes.

• Liderar iniciativas de postentrenamiento como DPO, fine-tuning y destilación para llevar los modelos a una calidad de lanzamiento.

• Lanzar modelos a producción con un tiempo de ejecución optimizado para dar servicio a los clientes, y atender sus comentarios posteriormente.

• La capacidad de aportar ideas y diseños novedosos que hagan avanzar el campo de los sistemas multimodales interactivos.

• Sólido conocimiento de modelado generativo, idealmente aplicado a datos secuenciales o multimodales.

• Experiencia práctica con modelos de lenguaje de gran tamaño (LLMs) o arquitecturas similares basadas en transformers.

• Alta competencia en PyTorch, incluyendo entrenamiento distribuido y optimización de modelos.

• Un conocimiento sólido del modelado de series temporales y la tokenización, preferiblemente en el contexto de audio, voz o vídeo.

• Una capacidad demostrada para prototipar rápidamente, probar hipótesis e iterar de manera eficiente.

• Experiencia demostrada en el entrenamiento de modelos de aprendizaje profundo de extremo a extremo, desde la preparación de datos hasta la evaluación.

• Sólidas habilidades generales de ingeniería de software, que permitan realizar contribuciones a una infraestructura de investigación compartida y de gran tamaño.

• Haber lanzado un modelo generativo en un producto real utilizado a una escala significativa, no solo haberlo publicado o prototipado.

• Trabajar en sistemas conversacionales o interactivos donde la latencia, la capacidad de respuesta y la experiencia de usuario fueran restricciones de primer orden, no algo secundario.

• Trabajar con LLMs con entrenamientos a gran escala que den lugar a modelos con capacidades de razonamiento decentes.

• Responsabilizarse de un problema de investigación de principio a fin: desde la propuesta de la arquitectura hasta el preentrenamiento, el postentrenamiento y el despliegue en producción.

• Colaborar entre distintas modalidades o equipos (por ejemplo, audio y vídeo, o investigación y producto) para lanzar un sistema unificado.