Тема: трансформеры

Статья

Внимание и трансформеры

Механизм внимания с первых принципов: от узкого места seq2seq до scaled dot-product, многоголовости, RoPE, полного блока трансформера, KV-кэша и продакшн-инференса.

#нейросети#трансформеры#внимание

Статья

Большие языковые модели: предобучение, дообучение, инференс

Как из предсказания следующего токена вырастает LLM: токенизация, архитектура decoder-only, законы масштабирования, SFT и LoRA, выравнивание через RLHF и DPO, а также …

#нейросети#llm#трансформеры

Статья

Большие языковые модели: от T9 до трансформера

Языковая модель как распределение следующего токена при условии всего контекста: конвейер от текста до логитов, что на самом деле добавил механизм внимания, почему вход …

#основы ии#llm#трансформеры