DigitableCourses
Настройки портала
Показать возможности портала

Локально и без аккаунта. Аккаунта нет, регистрация не нужна: введённое в инструменты остаётся в localStorage браузера и на сервер не уходит.

Свой счётчик считает открытия страниц и дочитывания: уезжает адрес и десятая доля текста. Без cookies и чужих счётчиков, IP не хранится, Do Not Track уважается. Как это проверить

Репозиторий портала не выложен, «открытым кодом» мы его не зовём. Открыто это:

Живёт портал на донатах, платных консультациях и разборах по запросу и покупке Workbench.

Планов делать курсы платными нет.

База знаний

Тема: инференс

5 материалов в этой теме.

Материалы

5 на странице
Статья

Локальные модели: llama.cpp, Ollama, vLLM, LM Studio, квантизация, требования к железу

Арифметика VRAM и пропускной способности памяти, честная экономика своего GPU против API, как устроена квантизация и что она ломает, четыре рантайма и их ниши, …

#ии-инженерия#локальные модели#квантизация
22 мин
Статья

Инференс и деплой: квантизация, дистилляция, сервинг

Как превратить обученную модель в дешёвый и предсказуемый сервис: roofline-анализ узких мест, квантизация от математики до INT4, дистилляция, прунинг, компиляция графа, …

#нейросети#инференс#квантизация
25 мин
Статья

Железо: почему для ИИ нужны видеокарты

Инференс языковой модели — это умножение матриц, упирающееся не в арифметику, а в пропускную способность видеопамяти. Чем GPU отличается от CPU, сколько памяти требует …

#основы ии#gpu#инференс
19 мин
Статья

Большие языковые модели: от T9 до трансформера

Языковая модель как распределение следующего токена при условии всего контекста: конвейер от текста до логитов, что на самом деле добавил механизм внимания, почему вход …

#основы ии#llm#трансформеры
19 мин