Тема: глубокое обучение

Статья

Эмбеддинги и обучение представлений

Как сеть превращает объекты в векторы, на каких задачах учатся хорошие представления (word2vec, контрастное обучение, CLIP, self-supervised), как их измерять и как …

#нейросети#глубокое обучение#эмбеддинги

Статья

Свёрточные сети и компьютерное зрение

Почему на изображениях полносвязная сеть безнадёжна, как устроена свёртка изнутри, что такое рецептивное поле, как эволюционировали архитектуры от LeNet до ConvNeXt и что …

#нейросети#компьютерное зрение#cnn

Статья

Рекуррентные сети, LSTM и GRU

Как сеть обрабатывает последовательности произвольной длины: развёртка во времени, BPTT, проблема исчезающих градиентов и почему вентильные архитектуры LSTM и GRU её …

#нейросети#глубокое обучение#последовательности

Статья

Распределённое обучение: от одной видеокарты до кластера

Что делать, когда модель не влезает в память, а обучение идёт месяц: бюджет памяти шага оптимизатора, коллективные операции и их цена, DDP, ZeRO и FSDP, тензорный и …

#нейросети#глубокое обучение#распределённое обучение

Статья

Перцептрон, функции активации и обратное распространение ошибки

От одного нейрона Розенблатта до алгоритма, который считает градиент по миллиардам параметров за один проход: линейная разделимость, зоопарк активаций, правило цепочки на …

#нейросети#глубокое обучение#backpropagation

Статья

Обучение сетей: оптимизаторы, инициализация, нормализация, регуляризация

Полный разбор того, что происходит между «есть архитектура» и «есть работающая модель»: ландшафт потерь, SGD и Adam, learning rate schedule, инициализация весов, …

#нейросети#глубокое обучение#оптимизация

Статья

Нейронные сети: карта трека, интуиция и место среди ML

Что такое нейронная сеть с первых принципов, чем она отличается от классического ML, почему работает глубина — и как устроен весь трек: от перцептрона до деплоя и …

#нейросети#глубокое обучение#машинное обучение

Статья

Графовые нейронные сети

Как обучать нейросети на данных без сетки и без порядка: перестановочная симметрия, передача сообщений, GCN/GraphSAGE/GAT/GIN, пределы выразительности, переглаживание и …

#нейросети#глубокое обучение#графы

Статья

Генеративные модели: VAE, GAN, диффузия

Как научить сеть порождать новые данные: вариационная нижняя граница и VAE, минимаксная игра GAN, диффузионные модели и их связь с оценкой score-функции — с выводами, …

#нейросети#глубокое обучение#генеративные модели

Статья

Внимание и трансформеры

Механизм внимания с первых принципов: от узкого места seq2seq до scaled dot-product, многоголовости, RoPE, полного блока трансформера, KV-кэша и продакшн-инференса.

#нейросети#трансформеры#внимание