Тема: внимание

Статья

Сбор задач: инбокс, выгрузка из головы и почему память — плохой планировщик

Как устроен слой сбора входящих у инженера: почему рабочая память не выдерживает роль планировщика, как построить один инбокс с трением меньше пяти секунд, как провести …

#тайм-менеджмент#продуктивность#gtd

Статья

Внимание и энергия: почему время — не главный ресурс разработчика

Разбираем, почему учёт часов не работает у инженеров: механика внимания, стоимость переключения контекста, что доказано наукой об энергии, а что — маркетинг, и как …

#тайм-менеджмент#внимание#фокус

Статья

Внимание и трансформеры

Механизм внимания с первых принципов: от узкого места seq2seq до scaled dot-product, многоголовости, RoPE, полного блока трансформера, KV-кэша и продакшн-инференса.

#нейросети#трансформеры#внимание

Статья

Большие языковые модели: от T9 до трансформера

Языковая модель как распределение следующего токена при условии всего контекста: конвейер от текста до логитов, что на самом деле добавил механизм внимания, почему вход …

#основы ии#llm#трансформеры