https://courses.digitable.life/tags/%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5/ Recent content in Данные on Digitable courses Hugo ru-RU Sat, 01 Aug 2026 00:12:59 +0300 https://courses.digitable.life/post/data-engineering/00-overview/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/data-engineering/00-overview/ Зачем нужен слой инженерии данных, из каких слоёв состоит платформа, кто за что отвечает, какие сквозные понятия повторяются во всех статьях трека и как этим треком пользоваться. https://courses.digitable.life/post/data-engineering/01-etl-vs-elt/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/data-engineering/01-etl-vs-elt/ Как устроены извлечение, трансформация и загрузка данных, чем ELT отличается от ETL, и как построить инкрементальный идемпотентный пайплайн, который переживёт повторный запуск. https://courses.digitable.life/post/data-engineering/08-analytics-and-ml-handoff/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/data-engineering/08-analytics-and-ml-handoff/ Как превратить витрины в метрики, которым доверяют: семантический слой, аддитивность, когорты — и как отдать те же данные моделям без утечек из будущего, через point-in-time join, feature store и мониторинг дрифта. https://courses.digitable.life/post/machine-learning/02-data-and-features/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/machine-learning/02-data-and-features/ Как превратить сырые таблицы в матрицу признаков: пропуски, выбросы, кодирование категорий, масштабирование, feature engineering и главная болезнь ML-проектов — утечки данных. https://courses.digitable.life/post/data-engineering/07-data-quality-and-governance/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/data-engineering/07-data-quality-and-governance/ Как измерять качество данных, останавливать плохие загрузки до публикации, договариваться с поставщиками через контракты, строить колоночный линидж и выстраивать governance, который не превращается в бюрократию. https://courses.digitable.life/post/data-engineering/02-data-modeling/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/data-engineering/02-data-modeling/ Как превратить сырые таблицы в структуру, которая переживёт пять лет изменений бизнеса: нормальные формы, размерное моделирование Кимбалла, SCD, Data Vault и выбор между ними. https://courses.digitable.life/post/data-engineering/05-orchestration/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/data-engineering/05-orchestration/ Как из отдельных джоб собрать управляемый пайплайн: DAG и планировщики, Airflow и dbt, идемпотентность записи, backfill, SLA и типичные грабли продакшена. https://courses.digitable.life/post/data-engineering/03-batch-processing/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/data-engineering/03-batch-processing/ Как устроена пакетная обработка больших данных: модель MapReduce, движок Spark, shuffle, партиционирование, перекос и инкрементальные пересчёты. https://courses.digitable.life/post/data-engineering/04-streaming/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/data-engineering/04-streaming/ Как устроен непрерывный поток данных: лог Kafka, время события и водяные знаки, окна, состояние и чекпоинты Flink, а также честный разбор того, что на самом деле означает exactly-once. https://courses.digitable.life/post/product-management/08-analytics-and-decisions/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/product-management/08-analytics-and-decisions/ Как превратить события в решения: модель данных и tracking plan, качество данных, диагностика падения метрик и парадокс Симпсона, лестница причинной достоверности (A/B, DiD, switchback, CUPED), статистика для продуктовых решений и организация аналитики в компании. https://courses.digitable.life/post/data-engineering/06-storage-and-formats/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/data-engineering/06-storage-and-formats/ Как устроены колоночные форматы и хранилища данных: Parquet изнутри, кодирование и сжатие, pruning, ClickHouse и DuckDB, табличные форматы Iceberg и Delta, компакция и стоимость.