распределённое обучение on Digitable courses https://courses.digitable.life/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D1%91%D0%BD%D0%BD%D0%BE%D0%B5-%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5/ Recent content in распределённое обучение on Digitable courses Hugo -- gohugo.io ru-RU Thu, 16 Jul 2026 10:00:00 +0300 Распределённое обучение: от одной видеокарты до кластера https://courses.digitable.life/post/neural-networks/12-distributed-training/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/neural-networks/12-distributed-training/ Что делать, когда модель не влезает в память, а обучение идёт месяц: бюджет памяти шага оптимизатора, коллективные операции и их цена, DDP, ZeRO и FSDP, тензорный и конвейерный параллелизм, 3D-раскладка на кластер, MFU и отказоустойчивость длинных запусков.