DigitableCourses
Настройки портала
Показать возможности портала

Локально и без аккаунта. Аккаунта нет, регистрация не нужна: введённое в инструменты остаётся в localStorage браузера и на сервер не уходит.

Свой счётчик считает открытия страниц и дочитывания: уезжает адрес и десятая доля текста. Без cookies и чужих счётчиков, IP не хранится, Do Not Track уважается. Как это проверить

Репозиторий портала не выложен, «открытым кодом» мы его не зовём. Открыто это:

Живёт портал на донатах, платных консультациях и разборах по запросу и покупке Workbench.

Планов делать курсы платными нет.

Карьера

Данные и машинное обучение

Конвейеры данных, модели, вывод моделей в прод и честная оценка их качества.

  1. Вход
  2. Основной уровень
  3. Senior и дальше

По сравнению с учёбой меняются и вопрос, и данные: вопрос формулирует не преподаватель, а данные грязные всегда.

Сделать сейчас

  • Достаю данные сам и проверяю, откуда взялось каждое полеЗнаю, какие поля в источнике врут, и говорю об этом до выводов.
  • Начинаю с простой модели и сравниваю с ней всё остальноеУ меня есть базовое решение, которое надо было превзойти.
  • Проверяю пропуски, выбросы и утечку целевой переменной до обученияМогу показать, что признак не подсматривает ответ.
  • Оформляю анализ так, чтобы он повторился на другой машинеРезультат воспроизводится не только у меня и не только сегодня.

Куда дальше

Основной уровень

Вбок из роли

Что на ступени спрашивают

  • Пользуюсь вероятностью и статистикой, а не только средним значениемПонимаю, чем распределение отличается от среднего, и почему выборка бывает нерепрезентативной.
  • Достаю данные сам и понимаю, откуда они взялисьПишу нетривиальный SQL и знаю, какие поля в источнике врут.
  • Пишу воспроизводимый код анализа, а не одноразовый ноутбукМой результат повторяется на другой машине и через месяц.
  • Готовлю признаки и понимаю, что данные грязные всегдаПроверяю пропуски, выбросы и утечку целевой переменной до обучения.
  • Начинаю с простой модели и сравниваю всё с нейУ меня есть базовое решение, которое надо было превзойти, а не только нейросеть.

Обычные ошибки

  • Считать среднее ответом: распределение прячет и хвост, и перекос выборки.
  • Верить метрике из ноутбука: без честного разделения выборки она завышена.
  • Тянуть нейросеть туда, где хватало правила: поддержка дороже, а выигрыша нет.

Что учить

  1. Вход
  2. Основной уровень
  3. Senior и дальше

Основной уровень

Сразу к самооценке

Модель выходит из ноутбука: за ней появляются конвейер, дежурство и качество данных, которое ломается чаще самой модели.

Сделать сейчас

  • Ставлю проверки на витрину, чтобы поломка нашлась раньше бизнесаПроверка срабатывает до вопроса «почему цифры разные».
  • Делаю пересчёт за прошлый день обычной операциейПерезапуск конвейера не требует ручной починки.
  • Вывожу модель в прод и слежу за ней после запускаЗнаю, когда модель протухла, и у меня есть план переобучения.
  • Считаю стоимость запроса к языковой модели вместе с качеством ответаУ решения есть и оценка качества, и цена ответа.

Куда дальше

Senior и дальше

Вбок из роли

Что на ступени спрашивают

  • Оцениваю модель честно, включая то, где она ошибаетсяВыбираю метрику под задачу, а не ту, которая красивее, и знаю цену ошибок каждого рода.
  • Строю конвейеры данных, которые переживают сбой источникаПересчёт за вчерашний день — обычная операция, а не ручная починка.
  • Отвечаю за качество данных, а не только за код, который их читаетУ витрины есть проверки, и они срабатывают раньше, чем это заметит бизнес.
  • Довожу модель до прода и слежу за ней после запускаЗнаю, когда модель протухла, и у меня есть план переобучения.
  • Работаю с языковыми моделями инженерно, а не подбором промптов наугадУ моего решения есть оценка качества и оценка стоимости запроса.

Обычные ошибки

  • Улучшать метрику вместо задачи: показатель растёт, польза не меняется.
  • Забыть про данные после запуска: источник меняется молча, и модель тихо портится.
  • Строить конвейер без пересчёта: любой сбой источника превращается в ручную работу.

Что учить

  1. Вход
  2. Основной уровень
  3. Senior и дальше

Senior и дальше

Сразу к самооценке

Меняется вопрос, на который вы отвечаете: не «какая модель лучше», а «нужна ли здесь модель» — и «нет» тоже ответ.

Сделать сейчас

  • Проверяю, нужна ли модель, прежде чем её обучатьЕсть задачи, где я предложил обойтись правилом, и это приняли.
  • Записываю правила эксперимента до его начала: что считаем и когда останавливаемсяРезультату верят, потому что условия были известны заранее.
  • Называю вред от ошибки модели и то, чем мы его ограничилиМогу сказать, кому навредит ошибка и что произойдёт дальше.
  • Рассказываю результат людям, которые не читают графиковПосле доклада принимают решение, а не просят прислать презентацию.

Куда дальше

Дальше не ступень, а развилка

Вбок из роли

Что на ступени спрашивают

  • Перевожу задачу бизнеса в задачу обучения — или честно говорю, что модель здесь не нужнаУ меня есть проекты, которые я предложил закрыть, потому что хватало правила из трёх условий.
  • Ставлю эксперимент так, чтобы его результату можно было веритьСчитаю мощность заранее и знаю, что такое подглядывание в промежуточные результаты.
  • Держу нагрузку и стоимость вывода моделиЗнаю, во что обходится один запрос, и умею уменьшить это число.
  • Вижу риски модели: данные, приватность, вред от ошибкиМогу назвать, кому и как навредит ошибка моей модели, и что мы с этим сделали.
  • Объясняю результат людям, которые не читают графиковПосле моего доклада принимают решение, а не просят «прислать презентацию».

Обычные ошибки

  • Подглядывать в промежуточные результаты и останавливать эксперимент на удобном месте: выводы рассыпаются.
  • Прятать неопределённость: одно число без разброса читается как обещание.
  • Спорить об архитектурах моделей вместо задачи: заказчику нужен ответ, а не сравнение.

Что учить