Статья
Внимание и трансформеры
Механизм внимания с первых принципов: от узкого места seq2seq до scaled dot-product, многоголовости, RoPE, полного блока трансформера, KV-кэша и продакшн-инференса.
База знаний
Тема: Трансформеры
2 материалов в этой теме.
Материалы
2 на странице
Статья
Большие языковые модели: предобучение, дообучение, инференс
Как из предсказания следующего токена вырастает LLM: токенизация, архитектура decoder-only, законы масштабирования, SFT и LoRA, выравнивание через RLHF и DPO, а также …
По этому запросу ничего не найдено.