Ingeniero de Model Serving

• Grado o Máster en Ciencias de la Computación, Ingeniería o un campo relacionado (o experiencia práctica equivalente)

• Más de 5 años de experiencia en model serving, infraestructura de ML o un rol de ingeniería backend estrechamente relacionado

• Experiencia profunda en concurrencia en Python, incluyendo el comportamiento del GIL, multi-threading, thread safety y multiprocessing

• Experiencia construyendo sistemas asíncronos y basados en mensajes

• Sistemas distribuidos de alto rendimiento y gran escala

• Capacidad para leer y analizar implementaciones de modelos de ML a nivel computacional, incluyendo el comportamiento de cómputo, batching, uso de memoria y características de inferencia

• Experiencia realizando profiling y optimizando el rendimiento en cargas de trabajo de CPU, memoria, E/S y, de forma ideal, GPU, y traduciendo los hallazgos en mejoras arquitectónicas

• Comprensión de la arquitectura de GPU, las características de rendimiento y la utilización de recursos en cargas de trabajo de computación de alto rendimiento

• Experiencia trabajando con sistemas de ML de datos tabulares y estructurados

• Comprensión de las redes neuronales y las arquitecturas modernas de deep learning

• Experiencia con Kubernetes e infraestructura en la nube

• Familiaridad con DevOps y herramientas de infraestructura de producción, incluyendo contenedores, Helm, observabilidad y sistemas CI/CD

• Compensación competitiva con salario y acciones (equity)

• Cobertura sanitaria integral para ti y tus dependientes

• Permiso parental retribuido para todos los nuevos padres, incluyendo procesos de adopción y gestación subrogada

• Apoyo para la reubicación de empleados que se trasladen para unirse al equipo en una de nuestras oficinas

• Una cultura con propósito y de bajo ego que valora la diversidad de pensamiento, la responsabilidad (ownership) y la orientación a la acción

Nuestro equipo de Serving es responsable de convertir NEXUS, nuestro Large Tabular Model, en un sistema de producción fiable y escalable. Somos los propietarios de la infraestructura y del stack de ejecución que sirve el modelo en múltiples entornos de despliegue, cada uno con diferentes requisitos de escala, aislamiento, rendimiento y confianza.

El equipo se sitúa en la intersección entre la investigación y la ingeniería de producción. Trabajamos estrechamente con los investigadores para llevar nuevas arquitecturas de modelos a producción, al tiempo que construimos los sistemas necesarios para operarlos de forma eficiente y predecible bajo cargas de trabajo del mundo real. Los modelos fundacionales tabulares introducen retos de serving que difieren significativamente de la inferencia tradicional de LLM, incluyendo un comportamiento computacional irregular y complejos compromisos de recursos entre CPU, GPU, memoria y redes.

Como Model Serving Engineer, trabajarás en todo el stack de inferencia: desde el rendimiento del runtime de Python y el comportamiento de la concurrencia hasta la orquestación distribuida, la infraestructura de serving de GPU y la arquitectura de despliegue. Identificarás cuellos de botella, mejorarás el rendimiento (throughput) y la latencia, y ayudarás a definir cómo las nuevas generaciones del modelo se traducen de artefactos de investigación a sistemas de grado de producción.

Este es un rol profundamente técnico, con un fuerte componente de Python, para ingenieros que disfrutan de los sistemas distribuidos, la optimización del rendimiento y los retos de infraestructura de bajo nivel cercanos a los sistemas modernos de ML.

Responsabilidades clave

• Optimizar el código de inferencia en Python para obtener el máximo rendimiento bajo restricciones de concurrencia reales, incluyendo la contención del GIL, multi-threading, multiprocessing, ejecución asíncrona y cargas de trabajo de producción de larga duración

• Trabajar estrechamente con el equipo de investigación para comprender el funcionamiento interno de los modelos y apoyar la evolución continua de la arquitectura, especialmente en torno al comportamiento computacional complejo y no evidente bajo carga de producción

• Colaborar con los equipos de investigación e infraestructura para analizar la utilización del hardware y los compromisos de serving entre GPU, CPU, memoria, redes, batching y concurrencia

• Definir y evolucionar la arquitectura detrás de nuestro stack de inferencia distribuida y ejecución asíncrona, incluyendo la orquestación, la coordinación de workers y los patrones de concurrencia de extremo a extremo

• Responsabilizarse de la capa de serving Triton para NEXUS, incluyendo cómo se empaquetan, configuran y ejecutan los modelos como parte de nuestro pipeline de inferencia de producción

• Construir herramientas de observabilidad y rendimiento en todo el stack de serving, y utilizar métricas de producción para impulsar decisiones de ajuste en torno a la latencia, el rendimiento y la eficiencia de los recursos

• Resolver retos de serving transversales que surgen al desplegar el mismo modelo en entornos con restricciones de escala, aislamiento y fiabilidad muy diferentes

• Evaluar e integrar nuevos runtimes de inferencia, estrategias de serving y enfoques de infraestructura a medida que evoluciona el ecosistema de modelos