Senior Machine Learning Engineer, LLM Inference Optimization

• Sólidas habilidades de ingeniería en Python y PyTorch.
• Experiencia práctica desplegando u optimizando inferencia de LLM, VLM o transformers de alto rendimiento.
• Conocimiento práctico de al menos un stack de inferencia moderno, como vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe o un sistema interno equivalente.
• Comprensión profunda de los cuellos de botella de la inferencia de transformers que involucran el KV cache, la atención, el ancho de banda de memoria, el batching, el paralelismo y el servicio de contexto largo.
• Capacidad para cuantificar las compensaciones (trade-offs) entre latencia, rendimiento, calidad, utilización y coste.
• Experiencia diseñando u optimizando la arquitectura de sistemas de inferencia distribuida, con trabajo práctico en una o más áreas como el enrutamiento de solicitudes, la planificación distribuida, PDD, la inferencia multinodo o el paralelismo de expertos.
• Excelentes habilidades de comunicación y colaboración con equipos de investigación, kernel, infraestructura, producto y clientes.

• Experiencia con entrenamiento consciente de la cuantización (quantization-aware training), cuantización post-entrenamiento, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ o SmoothQuant.
• Experiencia con destilación, speculative decoding, EAGLE, Medusa, predicción de múltiples tokens o métodos de aceleración de inferencia relacionados.
• Experiencia en el soporte de cargas de trabajo de agentes que involucren llamadas a herramientas (tool calling), salidas estructuradas, APIs de streaming, alta concurrencia y orquestación de múltiples pasos.
• Familiaridad con CUDA o Triton; el puesto no requiere que la ingeniería de kernels sea la especialización principal del candidato.
• Contribuciones a proyectos de código abierto como vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray o KServe.
• Experiencia de implementación con enrutamiento de solicitudes consciente de la caché (cache-aware), PDD o WideEP, incluyendo el diagnóstico de cuellos de botella de comunicación y desequilibrio de carga.
• Familiaridad con librerías de comunicación de GPU e interconexiones, como NCCL, NVLink, InfiniBand o RoCE.

• Compensación competitiva
• Oportunidades de crecimiento profesional y aprendizaje
• Flexibilidad y autonomía
• Cultura colaborativa e innovadora
• Oportunidad de trabajar en proyectos de IA de gran impacto
• Entorno internacional y equipos con talento

Nebius está liderando una nueva era en la infraestructura de la nube para la economía global de la IA. Estamos construyendo una plataforma de nube de IA de stack completo que da soporte a desarrolladores y empresas, desde el entrenamiento de datos y modelos hasta el despliegue en producción, sin el coste y la complejidad de construir una gran infraestructura de IA/ML propia.

Creado por ingenieros, para ingenieros. Desde la orquestación de GPU a gran escala hasta la optimización de la inferencia, nos encargamos de los problemas difíciles en computación, almacenamiento, redes e IA aplicada.

Cotizamos en Nasdaq (NBIS) y tenemos nuestra sede en Ámsterdam; contamos con una presencia global con centros de I+D en Europa, el Reino Unido, Norteamérica e Israel. Nuestro equipo de más de 1.500 personas incluye a cientos de ingenieros con profunda experiencia en hardware, software e I+D de IA.

Como Senior Machine Learning Engineer en el equipo de Applied AI en Nebius Token Factory, serás el responsable de la optimización de modelos y endpoints, desde los artefactos del modelo hasta el despliegue en producción. Tu trabajo abarcará el interior de los modelos, cuantización y compresión de modelos, speculative decoding, optimización de KV-cache, motores de inferencia, arquitectura de servicio y benchmarking para mejorar la latencia, el rendimiento (throughput), la eficiencia de memoria, la utilización de la GPU y el coste por token, manteniendo la calidad y la fiabilidad.

Trabajarás con ingenieros de kernels y de plataforma para investigar problemas de servicio, comparar configuraciones y resolver regresiones de rendimiento y calidad. Evaluarás optimizaciones a nivel de modelo y de motor junto con diseños de inferencia distribuida, incluyendo el enrutamiento de solicitudes, la planificación (scheduling), la coordinación prefill/decode y la ejecución en múltiples nodos de GPU. Tus mejoras se validarán mediante benchmarks reproducibles y despliegues seguros en producción bajo cargas de trabajo del mundo real.

• Liderar proyectos de optimización para familias de modelos específicas, endpoints de clientes o backends de servicio.
• Comparar motores de inferencia y recomendar configuraciones de servicio adecuadas para cargas de trabajo individuales.
• Diagnosticar regresiones de calidad del modelo y de rendimiento durante los despliegues en producción.
• Mejorar la latencia, el rendimiento, la eficiencia de memoria, la utilización de la GPU, la calidad y el coste por token de los endpoints de LLM y VLM.
• Desplegar, configurar, realizar benchmarks y ampliar motores como vLLM, SGLang, TensorRT-LLM, Triton Inference Server y NVIDIA Dynamo.
• Desarrollar flujos de trabajo de compresión de modelos para producción que cubran cuantización, entrenamiento consciente de la cuantización (quantization-aware training), destilación, servicio de baja precisión (low-bit serving) y recuperación de precisión.
• Implementar o integrar speculative decoding, enfoques de modelos de borrador (draft-model), optimización de KV-cache, almacenamiento en caché de prefijos (prefix caching), prefill fragmentado (chunked prefill), batching continuo y servicio de prefill/decode desagregado. Para la desagregación prefill-decode (PDD), evaluar la transferencia de KV-cache, la ubicación de los workers y el equilibrio de capacidad para determinar qué cargas de trabajo se benefician de la arquitectura.
• Diseñar y mejorar los enrutadores de solicitudes de LLM y las políticas de planificación que equilibren la utilización de los workers, el encolamiento, las características de las solicitudes y la localidad del KV-cache, cumpliendo al mismo tiempo con los objetivos de latencia y fiabilidad.
• Escalar la inferencia de modelos densos y de mezcla de expertos (mixture-of-experts) a través de múltiples nodos de GPU. Seleccionar y ajustar el paralelismo de tensores, de pipeline, de datos y de expertos —incluyendo el paralelismo de expertos amplio (WideEP)— prestando atención a la topología del hardware, al equilibrio de carga de los expertos y a la sobrecarga de comunicación.
• Construir entornos de benchmark reproducibles que midan TTFT, TPOT, tokens por segundo por GPU, latencia p95/p99, memoria de GPU, fiabilidad y coste por token. Validar las elecciones de arquitectura bajo un tráfico representativo y presupuestos de GPU consistentes.
• Colaborar con ingenieros de kernels de GPU y de plataforma para rastrear cuellos de botella en el código del modelo, los kernels, el runtime, el scheduler, la gateway y las capas del clúster.
• Elaborar documentos de diseño, informes de rendimiento, planes de despliegue y explicaciones técnicas para los clientes.

Ritmo rápido - Pensamiento audaz - Crecimiento constante - Impacto significativo - Confianza y responsabilidad real - Oportunidad de dar forma al futuro de la IA