DigitableCourses
База знаний

Тема: Оптимизация

29 материалов в этой теме.

Материалы

12 на странице
Статья

Обучение сетей: оптимизаторы, инициализация, нормализация, регуляризация

Полный разбор того, что происходит между «есть архитектура» и «есть работающая модель»: ландшафт потерь, SGD и Adam, learning rate schedule, инициализация весов, …

#нейросети#глубокое обучение#оптимизация
22 мин
Статья

Многокритериальная оптимизация: Парето, NSGA-II, SPEA2

Как искать решения, когда целей несколько и они конфликтуют: доминирование по Парето, недоминируемая сортировка, crowding distance, NSGA-II и SPEA2, метрики качества …

#sbse#оптимизация#метаэвристики
19 мин
Статья

Метод опорных векторов и ядерный трюк

Как из идеи «раздвинь классы как можно шире» вырастает выпуклая задача оптимизации, почему решение зависит только от опорных векторов и как ядерный трюк даёт нелинейность …

#машинное обучение#классификация#оптимизация
18 мин
Статья

Математика для ML: линейная алгебра, анализ, вероятности

Рабочий минимум математики для машинного обучения: векторы и матрицы как язык данных, градиенты и оптимизация как механизм обучения, вероятности и правдоподобие как …

#машинное обучение#линейная алгебра#оптимизация
19 мин
Статья

Локальный поиск: hill climbing, имитация отжига, tabu search

Как работают траекторные метаэвристики — от жадного восхождения к вершине до отжига и поиска с запретами — и почему в SBSE они часто обыгрывают генетические алгоритмы.

#sbse#оптимизация#метаэвристики
20 мин
Статья

Кэши и локальность: почему одинаковый по сложности код работает в 10 раз медленнее

Как устроена кэш-иерархия и почему два цикла с одинаковым O(n) отличаются по времени на порядок: кэш-линии, наборы и конфликты, предвыборка, TLB, раскладка данных, …

#производительность#кэш#память
23 мин
Статья

Кратчайшие пути: Дейкстра, Беллман–Форд, Флойд–Уоршелл, A*

Одна операция релаксации порождает всё семейство алгоритмов кратчайших путей: разбираем условия корректности каждого, доказательства, реализации, потенциалы и …

#алгоритмы#графы#кратчайшие пути
24 мин
Статья

Инференс и деплой: квантизация, дистилляция, сервинг

Как превратить обученную модель в дешёвый и предсказуемый сервис: roofline-анализ узких мест, квантизация от математики до INT4, дистилляция, прунинг, компиляция графа, …

#нейросети#инференс#квантизация
26 мин
Статья

Жадные алгоритмы и когда они корректны

Как устроена жадность, почему она иногда даёт точный оптимум, а иногда катастрофу — аргумент обмена, greedy stays ahead, матроиды, классические задачи и приближённые …

#алгоритмы#жадные алгоритмы#оптимизация
20 мин
Статья

Динамическое программирование: от мемоизации до оптимизаций

Как перебор с экспоненциальной сложностью превращается в полиномиальный алгоритм: перекрывающиеся подзадачи, дисциплина проектирования состояния, классические семейства …

#алгоритмы#динамическое программирование#рекурсия
24 мин
Статья

Генетическое программирование

Как эволюционировать не числа, а сами программы: деревья выражений, subtree-кроссовер, борьба с раздуванием кода и путь от символьной регрессии до автоматического ремонта …

#sbse#генетическое программирование#эволюционные алгоритмы
19 мин
Статья

Генетические алгоритмы: селекция, кроссовер, мутация

Как устроен генетический алгоритм изнутри: давление отбора, рекомбинация, мутация, замещение поколений — с рабочим кодом, анализом сложности и практикой SBSE.

#sbse#генетические алгоритмы#оптимизация
19 мин