Тема: llm

Статья

Девять замеров промптинга и кластера агентов: где приём даёт +48 пунктов, а где различить нельзя

Девять наших замеров подряд: восемь известных приёмов промптинга против обычного промпта, подробный бриф против короткого, кластер агентов против одиночки. …

#промптинг#llm#измерения

Статья

Токены, контекстное окно и память диалога

Токен как единица счёта и почему русский текст дороже английского, из чего на самом деле собирается запрос к модели, что такое контекстное окно и почему у модели нет …

#основы ии#токены#контекстное окно

Статья

Продвинутый RAG: graph RAG, агентный поиск, контекстное сжатие, кэширование

Что делать, когда обычный RAG перестал вытягивать: обогащение чанков контекстом, графовое индексирование, агентные циклы поиска, каскад сжатия контекста и три уровня кэша …

#ии-инженерия#rag#поиск

Статья

Продвинутые техники: chain-of-thought, self-consistency, tree-of-thoughts, chain-of-verification

Как заставить модель тратить больше вычислений на трудную задачу: рассуждение цепочкой, голосование по выборкам, поиск по дереву мыслей и самопроверка — с кодом, …

#ии-инженерия#prompt engineering#reasoning

Статья

Оценка и бенчмарки: MMLU, SWE-bench, HumanEval, LLM-as-judge, свои датасеты

Как перестать выбирать модель по маркетинговым графикам: что на самом деле измеряют публичные бенчмарки и где они врут, как собрать собственный датасет из 50 примеров, …

#ии-инженерия#оценка качества#бенчмарки

Статья

Основы промптинга: zero-shot, few-shot, роли, структура и формат ответа

Как устроен промпт с точки зрения инженера: почему работают инструкции и примеры, где они ломаются, как задать формат ответа и как всё это измерить и оценить по …

#ии-инженерия#промптинг#few-shot

Статья

Мультимодальные модели: речь, зрение и язык в одной сети

Как одна сеть работает со звуком, картинкой и текстом сразу: токенизация любой модальности, стратегии слияния и выравнивания пространств, распознавание речи через CTC, …

#нейросети#мультимодальность#распознавание речи

Статья

Мультиагентные системы: роли, оркестрация, критики, верификация

Когда несколько агентов действительно лучше одного, а когда это дорогой способ размножить ошибки: топологии оркестрации, роли и критики, протокол передачи контекста, …

#ии-инженерия#агенты#мультиагентные системы

Статья

Могут ли нейросети думать

Почему в конвейере из токенов, весов и матричных умножений негде поместиться мышлению, откуда берётся уверенная выдумка, что на самом деле утверждают китайская комната и …

#основы ии#llm#галлюцинации

Статья

Локальные модели: llama.cpp, Ollama, vLLM, LM Studio, квантизация, требования к железу

Арифметика VRAM и пропускной способности памяти, честная экономика своего GPU против API, как устроена квантизация и что она ломает, четыре рантайма и их ниши, …

#ии-инженерия#локальные модели#квантизация

Статья

Как устроена LLM с точки зрения инженера: токены, контекст, температура, стоимость

Инженерная модель LLM: что такое токен и почему он ломает арифметику, как устроены prefill и decode, сколько стоит контекст, что делает температура и почему её убрали из …

#ии-инженерия#llm#токены

Статья

ИИ-инженерия: карта трека, что умеют модели и что от них ждать

Обзорная карта прикладного трека по LLM: чем ИИ-инженерия отличается от ML, что модели реально умеют и где ломаются, лестница от промпта до мультиагента, экономика и …

#ии-инженерия#llm#промпт-инжиниринг