Ingeniero de Investigación Staff (Pre-entrenamiento de LLM)

• Experiencia en diseño, despliegue y soporte de sistemas de ML en producción.
• Una sólida base teórica en NLP y enfoques basados en transformers.
• Dominio de frameworks modernos de deep learning como PyTorch y librerías comunes para NLP.
• Experiencia en entrenamiento distribuido de modelos de miles de millones de parámetros.
• Atención al detalle en todo lo que hagas y excelentes habilidades de comunicación.

• Puedan planificar proyectos y tomar decisiones de forma independiente, consultando con otros si es necesario.
• Identifiquen las necesidades de los clientes y prioricen sus tareas en consecuencia.
• Comiencen con las soluciones más sencillas y añadan complejidad gradualmente según sea necesario.
• Asuman la responsabilidad exclusiva de un subsistema completo.
• Tengan pasión por aprender y deseo de mantenerse al día con los últimos avances en el campo de los LLM.
• Frameworks de inferencia de LLM como vLLM, DeepSpeed, TensorRT.
• Técnicas de alineación de LLM como RLHF/RLAIF.
• Herramientas y prácticas de MLOps, incluyendo CI/CD para ML.
• K8s y Kubeflow.
• Publicaciones científicas en el campo del NLP.

Estamos trabajando en una nueva y ambiciosa plataforma que proporciona capacidades de IA a todos los productos de JetBrains. Nuestra plataforma se basa en modelos desarrollados internamente para la asistencia en la escritura y la programación, así como en la integración con nuestros socios estratégicos.

Buscamos un Research Engineer que pueda contribuir al entrenamiento de modelos fundacionales para tareas de programación. Trabajarás en el desarrollo de Large Language Models desde cero y en su despliegue en entornos de producción donde serán accesibles para usuarios finales en todo el mundo.

• Trabajen con los stakeholders para convertir los requisitos de negocio en especificaciones técnicas.
• Entrenen LLMs desde cero en un gran clúster de GPUs.
• Recopilen y procesen conjuntos de datos de pre-entrenamiento y de fine-tuning.
• Den soporte y mejoren los subsistemas existentes.

• Un clúster de cientos de GPUs NVIDIA como infraestructura de entrenamiento.
• Git para la gestión del control de versiones.
• Python, PyTorch y HuggingFace como stack de ML.
• Kubeflow y Weights & Biases para el seguimiento de experimentos.
• TeamCity como sistema de automatización de CI.