Инференс on Digitable courses https://courses.digitable.life/tags/%D0%B8%D0%BD%D1%84%D0%B5%D1%80%D0%B5%D0%BD%D1%81/ Recent content in Инференс on Digitable courses Hugo ru-RU Sat, 01 Aug 2026 00:12:59 +0300 Большие языковые модели: предобучение, дообучение, инференс https://courses.digitable.life/post/neural-networks/06-llm/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/neural-networks/06-llm/ Как из предсказания следующего токена вырастает LLM: токенизация, архитектура decoder-only, законы масштабирования, SFT и LoRA, выравнивание через RLHF и DPO, а также экономика инференса — KV-кэш, батчинг и спекулятивное декодирование. Инференс и деплой: квантизация, дистилляция, сервинг https://courses.digitable.life/post/neural-networks/10-inference-and-deployment/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/neural-networks/10-inference-and-deployment/ Как превратить обученную модель в дешёвый и предсказуемый сервис: roofline-анализ узких мест, квантизация от математики до INT4, дистилляция, прунинг, компиляция графа, архитектура сервинга и безопасный роллаут. Локальные модели: llama.cpp, Ollama, vLLM, LM Studio, квантизация, требования к железу https://courses.digitable.life/post/ai-engineering/11-local-models/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/ai-engineering/11-local-models/ Арифметика VRAM и пропускной способности памяти, честная экономика своего GPU против API, как устроена квантизация и что она ломает, четыре рантайма и их ниши, продакшн-конфиги и замеры.