Senior Site Reliability Engineer

Ubicación: Remoto Global / San Francisco · Jornada completa

Andromeda es una plataforma de mercado e infraestructura para comprar, vender y operar capacidad de cómputo.

Creemos que la demanda de cómputo crecerá exponencialmente. Tan rápido que un puñado de proveedores integrados verticalmente no podrán escalar en operaciones, capital, cadenas de suministro y política para atenderla. El resultado es una oleada masiva de fragmentación, con fábricas de IA de todas las formas y tamaños llegando al mercado para satisfacer esta demanda. Nuestro trabajo es permitir que todo ese cómputo fragmentado fluya a través de una sola plataforma, entregando capacidad fiable a los creadores de modelos, laboratorios de investigación y proveedores de inferencia cuando la necesiten. Creemos que cada electrón sobrante debe hacerse productivo para la IA y estamos construyendo la plataforma que lo hace posible.

Nos situamos en el centro de tres fuerzas:

• Empresas que necesitan cómputo de alto rendimiento y fiable de forma rápida

• Un suministro global fragmentado de GPUs a través de hyperscalers, neoclouds y centros de datos independientes

• Capital, riesgo y complejidad operativa que la mayoría de los equipos no están equipados para gestionar

Cuando tengamos éxito, billones de dólares en cómputo fluirán a través de Andromeda. Los creadores obtienen capacidad cuando la necesitan. Los proveedores obtienen una forma fiable de monetizar, operar y financiar infraestructura a escala. El capital obtiene una forma fácil de desplegar, cubrir riesgos y suscribir.

En cinco años, Andromeda no solo participará en el mercado de infraestructura de IA. Nosotros le daremos forma.

Este no es un rol de SRE generalista.

Diseñarás, operarás y depurarás infraestructura de GPU a gran escala utilizada para entrenamiento e inferencia distribuidos, trabajando directamente con clientes que desafían los límites de los sistemas de IA modernos.

Buscamos ingenieros que hayan gestionado personalmente clústeres de GPU en producción, comprendan los modos de fallo del entrenamiento distribuido y puedan razonar sobre el rendimiento desde la estructura de red (network fabric) → kernel → framework.

• Arquitectura de clústeres de GPU: Diseñar y evolucionar clústeres de cómputo GPU multi-proveedor y multi-región optimizados para entrenamiento a gran escala. Tomar decisiones de programación (scheduling), redes y almacenamiento conscientes de la topología que impacten directamente en el rendimiento del entrenamiento y la eficiencia de costes.

• Asociación técnica con el cliente: Actuar como el principal punto de contacto técnico para clientes que ejecutan cargas de trabajo de entrenamiento a gran escala. Realizar el onboarding, la resolución de problemas y la optimización, a menudo en tiempo real.

• Ingeniería de fiabilidad y rendimiento: Definir SLOs y presupuestos de error que tengan en cuenta los modos de fallo únicos de la infraestructura de GPU (errores ECC, degradación de NVLink, tiempos de espera de NCCL). Responsabilizarse de la planificación de la capacidad en flotas de GPU heterogéneas optimizadas para el rendimiento del entrenamiento.

• Salud de la red y la estructura (Fabric): Garantizar la salud y el rendimiento de las interconexiones de alta velocidad (InfiniBand, RoCE, NVLink) que sustentan el entrenamiento distribuido. Diagnosticar y resolver problemas a nivel de fabric que degraden las operaciones colectivas.

• Observabilidad: Construir una visibilidad profunda de la utilización de la GPU, la presión de memoria, el rendimiento de la interconexión, el rendimiento de los trabajos de entrenamiento y la salud del hardware. Ir mucho más allá de las métricas de infraestructura estándar.

• Automatización y herramientas: Construir automatización de grado de producción para el aprovisionamiento de clústeres, comprobaciones de salud de la GPU, programación de trabajos, autorreparación y gestión del ciclo de vida de firmware/drivers.

• Liderazgo de incidentes: Liderar la respuesta ante incidentes para fallos complejos y multicapa que abarquen hardware, redes, orquestación y frameworks de ML. Impulsar postmortems sin culpabilidad (blameless) y correcciones sistémicas.

• Experiencia en sistemas GPU: Experiencia profunda y práctica operando clústeres de GPU a gran escala (NVIDIA A100/H100/B200 o equivalente). Entiendes las jerarquías de memoria de la GPU, el comportamiento de ECC, el estrangulamiento térmico (thermal throttling) y los modos de fallo de hardware por experiencia directa, no por documentación.

• Redes de alto rendimiento: Experiencia en producción con estructuras InfiniBand, RoCE o NVLink en el contexto de entrenamiento distribuido. Puedes diagnosticar por qué un all-reduce es lento, identificar un enlace degradado en una topología fat-tree y razonar sobre el control de congestión a escala.

• Entrenamiento distribuido y frameworks de ML: Conocimiento práctico de cómo se ejecutan realmente los grandes trabajos de entrenamiento: NCCL, CUDA, PyTorch distributed, DeepSpeed, Megatron, FSDP o similares. No necesitas escribir los modelos, pero necesitas entender qué está sucediendo a nivel de sistemas cuando una ejecución de entrenamiento de 1.000 GPUs se detiene.

• Linux e internals de sistemas: Conocimiento de Linux a nivel experto: ajuste del kernel, gestión de drivers (drivers de NVIDIA, CUDA toolkit), internals de cgroup/namespace, perfilado de rendimiento a nivel de syscall y hardware.

• Kubernetes y orquestación: Sólida experiencia ejecutando Kubernetes en producción con cargas de trabajo de GPU, incluyendo device plugins, programación consciente de la topología, federación multi-clúster y operadores personalizados. La experiencia con Slurm u otros planificadores de HPC es igualmente valorada.

• Automatización e ingeniería de software: Sólidas habilidades de ingeniería en Python, Go o Bash. Construyes herramientas y servicios de grado de producción, no solo scripts. Competencia en Infraestructura como Código (Terraform, Helm, Ansible o equivalente).

• Observabilidad y monitorización: Experiencia práctica construyendo monitorización y alertas para infraestructura de GPU, no solo lo básico de Prometheus/Grafana, sino telemetría específica de GPU (DCGM, nvidia-smi, métricas de fabric manager) integrada en dashboards accionables.

• Gestión de incidentes: Trayectoria demostrada liderando la respuesta ante incidentes para sistemas distribuidos complejos donde el fallo puede estar en el hardware, firmware, redes, drivers, orquestación o código de la aplicación, y necesitas acotarlo rápidamente.

• Almacenamiento distribuido: Experiencia con sistemas de archivos paralelos de alto rendimiento (VAST, Weka, Lustre, GPFS) y los cuellos de botella de E/S de checkpoint y carga de datos que conllevan las grandes ejecuciones de entrenamiento.

• Optimización de entrenamiento: Experiencia perfilando y optimizando el rendimiento del entrenamiento distribuido: identificación de stragglers, ajuste de estrategias de comunicación colectiva, mejora del MFU (Model FLOPs Utilization) y reducción del tiempo de inactividad de la GPU en grandes ejecuciones.

• Construcción de clústeres y hardware: Experiencia involucrada en el diseño físico de clústeres: disposición en racks, restricciones de potencia/refrigeración, diseño de topología de red y validación/burn-in de hardware a escala.

• Liderazgo de equipos: Experiencia liderando o mentorizando a un equipo de ingenieros de infraestructura. Estamos creciendo y necesitamos personas que eleven el nivel de todos a su alrededor.

Este es un rol de alto impacto para un constructor senior. Tendrás una propiedad y autonomía significativas para dar forma a cómo funcionan nuestros sistemas a un nivel fundamental, trabajando directamente con clientes y proveedores mientras arquitectas la columna vertebral de infraestructura para un cómputo de IA fiable y escalable. Influirás en la dirección técnica y ayudarás a definir cómo son las operaciones de infraestructura de IA de clase mundial.