Квантизация on Digitable courses https://courses.digitable.life/tags/%D0%BA%D0%B2%D0%B0%D0%BD%D1%82%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F/ Recent content in Квантизация on Digitable courses Hugo ru-RU Sat, 01 Aug 2026 00:12:59 +0300 Инференс и деплой: квантизация, дистилляция, сервинг https://courses.digitable.life/post/neural-networks/10-inference-and-deployment/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/neural-networks/10-inference-and-deployment/ Как превратить обученную модель в дешёвый и предсказуемый сервис: roofline-анализ узких мест, квантизация от математики до INT4, дистилляция, прунинг, компиляция графа, архитектура сервинга и безопасный роллаут. Локальные модели: llama.cpp, Ollama, vLLM, LM Studio, квантизация, требования к железу https://courses.digitable.life/post/ai-engineering/11-local-models/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/ai-engineering/11-local-models/ Арифметика VRAM и пропускной способности памяти, честная экономика своего GPU против API, как устроена квантизация и что она ломает, четыре рантайма и их ниши, продакшн-конфиги и замеры.