Бенчмарки on Digitable courses https://courses.digitable.life/tags/%D0%B1%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8/ Recent content in Бенчмарки on Digitable courses Hugo ru-RU Sat, 01 Aug 2026 00:12:59 +0300 Оценка и бенчмарки: MMLU, SWE-bench, HumanEval, LLM-as-judge, свои датасеты https://courses.digitable.life/post/ai-engineering/10-evaluation-and-benchmarks/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/ai-engineering/10-evaluation-and-benchmarks/ Как перестать выбирать модель по маркетинговым графикам: что на самом деле измеряют публичные бенчмарки и где они врут, как собрать собственный датасет из 50 примеров, как откалибровать LLM-судью по человеческой разметке и сколько нужно примеров, чтобы отличить улучшение от шума. Рабочий процесс оптимизации: бюджеты, регрессии в CI, когда остановиться https://courses.digitable.life/post/performance/12-optimization-workflow/ Thu, 16 Jul 2026 10:00:00 +0300 https://courses.digitable.life/post/performance/12-optimization-workflow/ Как превратить разовые ускорения в процесс: бюджет производительности как критерий готовности, эшелоны защиты от регрессий в CI, статистика порогов, триаж красного бенчмарка, экономика остановки и журнал решений.