Тема: Данные

Статья

Хранилища и форматы: Parquet, колоночные БД, lakehouse

Как устроены колоночные форматы и хранилища данных: Parquet изнутри, кодирование и сжатие, pruning, ClickHouse и DuckDB, табличные форматы Iceberg и Delta, компакция и …

#данные#parquet#lakehouse

Статья

Продуктовая аналитика и принятие решений на данных

Как превратить события в решения: модель данных и tracking plan, качество данных, диагностика падения метрик и парадокс Симпсона, лестница причинной достоверности (A/B, …

#продукт#аналитика#метрики

Статья

Потоковая обработка: Kafka, Flink, окна и семантика доставки

Как устроен непрерывный поток данных: лог Kafka, время события и водяные знаки, окна, состояние и чекпоинты Flink, а также честный разбор того, что на самом деле означает …

#данные#streaming#kafka

Статья

Пакетная обработка: MapReduce, Spark, партиционирование

Как устроена пакетная обработка больших данных: модель MapReduce, движок Spark, shuffle, партиционирование, перекос и инкрементальные пересчёты.

#данные#batch#spark

Статья

Оркестрация пайплайнов: Airflow, dbt, идемпотентность и backfill

Как из отдельных джоб собрать управляемый пайплайн: DAG и планировщики, Airflow и dbt, идемпотентность записи, backfill, SLA и типичные грабли продакшена.

#данные#оркестрация#airflow

Статья

Моделирование данных: нормализация, звезда, снежинка, Data Vault

Как превратить сырые таблицы в структуру, которая переживёт пять лет изменений бизнеса: нормальные формы, размерное моделирование Кимбалла, SCD, Data Vault и выбор между …

#данные#моделирование данных#dwh

Статья

Качество данных, контракты, линидж и governance

Как измерять качество данных, останавливать плохие загрузки до публикации, договариваться с поставщиками через контракты, строить колоночный линидж и выстраивать …

#данные#качество данных#governance

Статья

Данные и признаки: очистка, кодирование, масштабирование, утечки

Как превратить сырые таблицы в матрицу признаков: пропуски, выбросы, кодирование категорий, масштабирование, feature engineering и главная болезнь ML-проектов — утечки …

#машинное обучение#данные#признаки

Статья

Аналитика, метрики и стык с машинным обучением

Как превратить витрины в метрики, которым доверяют: семантический слой, аддитивность, когорты — и как отдать те же данные моделям без утечек из будущего, через …

#данные#аналитика#метрики

Статья

ETL и ELT: этапы, различия и практика

Как устроены извлечение, трансформация и загрузка данных, чем ELT отличается от ETL, и как построить инкрементальный идемпотентный пайплайн, который переживёт повторный …

#данные#etl#elt

Статья

Data Engineering: карта трека, роли и архитектура данных

Зачем нужен слой инженерии данных, из каких слоёв состоит платформа, кто за что отвечает, какие сквозные понятия повторяются во всех статьях трека и как этим треком …

#данные#data engineering#архитектура данных