Ingeniero de ML Sénior | Kimchi (Optimización de Inferencia de LLM)

• Más de 5 años construyendo sistemas de ML reales, con un portfolio que demuestre profundidad en infraestructura de inferencia o entrenamiento (no solo notebooks de entrenamiento de modelos).
• Python sólido: servicios de producción, no scripts.
• Experiencia práctica con al menos uno de estos: vLLM, SGLang o TensorRT-LLM, y un modelo mental funcional de por qué un motor de inferencia se comporta de la manera en que lo hace en una GPU determinada.
• Fluidez con las compensaciones (trade-offs) de la cuantización: has medido regresiones de calidad, no solo ratios de compresión.
• Comodidad con sistemas distribuidos: comunicación colectiva, estrategias de sharding y los modos de fallo prácticos de configuraciones multi-GPU y multi-nodo.
• Orientación hacia la medición. Instrumentas antes de optimizar, y sabes distinguir entre una victoria real y un artefacto de un benchmark.
• Autodirección. Este puesto conlleva un mandato amplio; deberías sentirte entusiasmado por ello, no inquieto.

• Salario competitivo (dependiendo del nivel de experiencia).
• Disfruta de un entorno global flexible y "remote-first".
• Colaborar con un equipo global de expertos e innovadores en la nube, apasionados por ampliar los límites de la tecnología Kubernetes
• Opciones de acciones (equity).
• Recibe feedback rápido con un flujo de trabajo ágil. La mayoría de los proyectos de funcionalidades se completan en un plazo de 1 a 4 semanas.
• Dedica el 10% de tu tiempo de trabajo a proyectos personales o a la superación personal.
• Presupuesto de aprendizaje para el desarrollo profesional y personal, incluyendo el acceso a conferencias internacionales y cursos que eleven tus habilidades.
• Hackathon anual para generar nuevas ideas y fortalecer los vínculos del equipo.
• Presupuesto para team-building y eventos de empresa para conectar con tus compañeros.
• Presupuesto para equipamiento para asegurar que tienes todo lo que necesitas.
• Días libres adicionales para ayudar a mantener un equilibrio saludable entre la vida laboral y personal.

Throughput. Latencia. Utilización de la caché KV.

Mueve esos tres números en la dirección correcta y ocurrirán dos cosas: los clientes obtendrán una inferencia más rápida y económica, y nuestros márgenes mejorarán. Esa es la tesis completa de este puesto. Cada kernel que ajustes, cada esquema de cuantización que implementes y cada ajuste de scheduler que logres se reflejará directamente en el p99 de un cliente y en nuestra P&L.
Este es un puesto de alto impacto. También es un puesto de gran autonomía, ya que se te dará libertad para liderar la dirección técnica de la optimización de la inferencia en Kimchi, no para ejecutar la hoja de ruta de otra persona.

El problema: ejecutar LLMs en producción es un objetivo móvil. El modelo "correcto" y la configuración de servicio para una carga de trabajo dependen de la forma del tráfico, la distribución de la longitud de la secuencia, la dinámica de los batches, el SKU de la GPU, el ancho de banda de la memoria, la tolerancia a la cuantización y una docena de otras variables que cambian semana tras semana. La mayoría de los equipos eligen un modelo una vez, sobredimensionan las GPUs y absorben el coste. Kimchi es el sistema que toma esa decisión automáticamente, haciendo coincidir continuamente las cargas de trabajo con el LLM y la configuración de servicio más eficientes en costes y con mejor rendimiento en la infraestructura del cliente. Estamos construyendo la capa de optimización entre el modelo y el hardware, y necesitamos ingenieros que comprendan profundamente ambos lados.

• Impulsar el throughput. Continuous batching, speculative decoding, chunked prefill, ajuste a nivel de kernel en vLLM, SGLang y TensorRT-LLM. Encuentra el límite de cada SKU de GPU y luego elévalo.
• Reducir la latencia. Ataca el TTFT y el TPOT por separado. Realiza perfiles, identifica el cuello de botella real (cómputo, ancho de banda de memoria, programación, red) y soluciónalo, no el cuello de botella que suponías que existía.
• Sacar más provecho de la caché KV. Paged attention, prefix caching, políticas de expulsión, reutilización de caché entre peticiones, KV cuantizado. Aquí es donde reside gran parte del throughput no aprovechado, y es un área de la que te harás responsable.
• Cuantizar sin perder calidad. INT8, INT4, FP8 en pesos, activaciones y KV. Trabajo empírico: medir la calidad en cargas de trabajo reales, no solo en benchmarks de perplejidad.
• Reducir los arranques en frío (cold starts) y la huella de memoria. Inicialización más rápida, carga de pesos más inteligente, gestión de memoria más ajustada: la diferencia entre un modelo que escala y uno que no lo hace.
• Escalar entre nodos. Topologías de inferencia distribuida, ubicación consciente de la red, estrategias de checkpointing que no generen cuellos de botella en el almacenamiento o la interconexión.
• Establecer la dirección técnica. Decidir qué evaluamos con benchmarks, qué adoptamos y qué construimos nosotros mismos. Liderar al equipo mediante informes sólidos y experimentos reproducibles.

Python; vLLM; SGLang; TensorRT-LLM; PyTorch; herramientas adyacentes a CUDA; Kubernetes; gRPC; ClickHouse; PostgreSQL; GCP Pub/Sub; AWS / GCP / Azure; GitLab CI; ArgoCD; Prometheus; Grafana; Loki; Tempo.