Обучение сетей: оптимизаторы, инициализация, нормализация, регуляризация
Полный разбор того, что происходит между «есть архитектура» и «есть работающая модель»: ландшафт потерь, SGD и Adam, learning rate schedule, инициализация весов, …
29 материалов в этой теме.
Полный разбор того, что происходит между «есть архитектура» и «есть работающая модель»: ландшафт потерь, SGD и Adam, learning rate schedule, инициализация весов, …
Как искать решения, когда целей несколько и они конфликтуют: доминирование по Парето, недоминируемая сортировка, crowding distance, NSGA-II и SPEA2, метрики качества …
Как из идеи «раздвинь классы как можно шире» вырастает выпуклая задача оптимизации, почему решение зависит только от опорных векторов и как ядерный трюк даёт нелинейность …
Рабочий минимум математики для машинного обучения: векторы и матрицы как язык данных, градиенты и оптимизация как механизм обучения, вероятности и правдоподобие как …
Как работают траекторные метаэвристики — от жадного восхождения к вершине до отжига и поиска с запретами — и почему в SBSE они часто обыгрывают генетические алгоритмы.
Как устроена кэш-иерархия и почему два цикла с одинаковым O(n) отличаются по времени на порядок: кэш-линии, наборы и конфликты, предвыборка, TLB, раскладка данных, …
Одна операция релаксации порождает всё семейство алгоритмов кратчайших путей: разбираем условия корректности каждого, доказательства, реализации, потенциалы и …
Как превратить обученную модель в дешёвый и предсказуемый сервис: roofline-анализ узких мест, квантизация от математики до INT4, дистилляция, прунинг, компиляция графа, …
Как устроена жадность, почему она иногда даёт точный оптимум, а иногда катастрофу — аргумент обмена, greedy stays ahead, матроиды, классические задачи и приближённые …
Как перебор с экспоненциальной сложностью превращается в полиномиальный алгоритм: перекрывающиеся подзадачи, дисциплина проектирования состояния, классические семейства …
Как эволюционировать не числа, а сами программы: деревья выражений, subtree-кроссовер, борьба с раздуванием кода и путь от символьной регрессии до автоматического ремонта …
Как устроен генетический алгоритм изнутри: давление отбора, рекомбинация, мутация, замещение поколений — с рабочим кодом, анализом сложности и практикой SBSE.
По этому запросу ничего не найдено.