Тема: распределённое обучение

Распределённое обучение: от одной видеокарты до кластера

Что делать, когда модель не влезает в память, а обучение идёт месяц: бюджет памяти шага оптимизатора, коллективные операции и их цена, DDP, ZeRO и FSDP, тензорный и …