Programa del Curso

Introducción

  • Descripción general de los desafíos de escalado del aprendizaje profundo
  • Descripción general de DeepSpeed y sus características
  • DeepSpeed frente a otras bibliotecas de aprendizaje profundo distribuidas

Empezar

  • Configuración del entorno de desarrollo
  • Instalación de PyTorch y DeepSpeed
  • Configuración de DeepSpeed para el entrenamiento distribuido

Funciones de optimización de DeepSpeed

  • Canalización de entrenamiento de DeepSpeed
  • ZeRO (optimización de memoria)
  • Puntos de control de activación
  • Puntos de control de gradiente
  • Paralelismo de canalizaciones

Escalado de modelos con DeepSpeed

  • Escalado básico con DeepSpeed
  • Técnicas avanzadas de escalado
  • Consideraciones de rendimiento y procedimientos recomendados
  • Técnicas de depuración y solución de problemas

Temas avanzados de DeepSpeed

  • Técnicas avanzadas de optimización
  • Uso de DeepSpeed con entrenamiento de precisión mixto
  • DeepSpeed en diferentes hardware (por ejemplo, GPUs, TPUs)
  • DeepSpeed con múltiples nodos de entrenamiento

Integración de DeepSpeed con PyTorch

  • Integración de DeepSpeed con los flujos de trabajo de PyTorch
  • Uso de DeepSpeed con PyTorch Lightning

Solución de problemas

  • Depuración de problemas comunes de DeepSpeed
  • Monitoreo y registro

Resumen y próximos pasos

  • Resumen de los conceptos y características clave
  • Prácticas recomendadas para utilizar DeepSpeed en producción
  • Más recursos para aprender más sobre DeepSpeed

Requerimientos

  • Conocimiento intermedio de los principios del aprendizaje profundo
  • Experiencia con PyTorch o marcos de aprendizaje profundo similares
  • Familiaridad con Python programación

Audiencia

  • Científicos de datos
  • Ingenieros de aprendizaje automático
  • Desarrolladores
 21 Horas

Número de participantes


Precio por Participante​

Próximos cursos

Categorías Relacionadas