Открытые модели и датасеты

Зачем она

Относит русский запрос к одной из 14 категорий каталога утилит, а затем по схемам этой категории выдаёт вызов с извлечёнными аргументами — либо отказывается. Это и есть вся её работа: содержание ответа даёт детерминированная утилита, дословная цитата из корпуса или сертификат FTS. Именно поэтому 0,6 млрд параметров хватает — модели не нужно ничего знать.

Чем подтверждено

• 7,6 % доля ложных ответов на 250 задачах (bf16, greedy, адаптер v3). У необученной базы — 31,2 % карточка модели, § 4.1
• 91,3 % осознанный отказ на 150 red-team задачах при нуле нечитаемых ответов из 250. У необученной Qwen3-0.6B засчитано 113 отказов, а осознанных из них — 14 (9,3 %): остальные 99 засчитаны за сломанный вывод карточка модели, § 1.2 и § 4.1
• 93,4 % / 77,0 % точность аргументов и точность выбора инструмента. Аргументы весят больше: утилита с неверным аргументом выдаёт проверенный неверный ответ, а неверно выбранная утилита чаще всего видна ниже по потоку карточка модели, § 1.1 и § 4.1
• 500 мс против 5 740 мс цикл маршрутизации на тех же весах с `cache_prompt: true` и без него: постоянный префикс промпта здесь дороже любого выбора квантования карточка модели, § 3 (runtime/RESULTS.md § 3)

Зачем она

Тот же двухшаговый маршрутизатор и тот же обучающий датасет, но база втрое крупнее. Публикуется не как продукт, а как измерение: без неё утверждение «основную работу сделали данные, а не размер модели» было бы просто словами.

Чем подтверждено

• +4 п.п. и +0,6 п.п. всё, что покупает утроение числа параметров на том же датасете: точность маршрутизации и осознанный отказ. Смена датасета на любой базе даёт +8…15 п.п. осознанного отказа. Поэтому поставляется 0.6B карточка модели, § 4.2
• 92,7 % осознанный отказ адаптера v3 (bf16, 250 задач); ложные ответы 8,8 %, инструмент 82,0 %, аргументы 90,1 % карточка модели, § 4.1
• 87,0 % / 92,7 % лучшая измеренная точность инструмента и аргументов во всём проекте — квант v2 Q5_K_M этой модели карточка модели, § 3
• 81,3 % против 70,7 % засчитанный и осознанный отказ у НЕобученной Qwen3-1.7B при 21 нечитаемом ответе из 250. У необученной 0.6B тот же разрыв — 75,3 % против 9,3 %: модель втрое большего размера умеет сказать «не знаю» и без дообучения карточка модели, § 1.2

Зачем она

Три русскоязычные базы, обученные тем же LoRA и теми же гиперпараметрами, что и победившая: Vikhr-Qwen-2.5-0.5b, RuadaptQwen2.5-1.5B и QVikhr-3-1.7B. Ожидание «русская модель — значит русский токенизатор» замером не подтвердилось. Репозиторий существует, чтобы следующий, кто возьмётся за русскоязычную базу, не потратил те же недели заново.

Чем подтверждено

• ровно ноль выигрыш по fertility у всех моделей Vikhr над их собственной базой Qwen — не «небольшой», а ноль: цифры совпадают до четвёртого знака, потому что словарь не менялся карточка модели, § 1.2 и § 2
• −28,1 % единственный настоящий выигрыш — у ruadapt: 1,686 токена на слово против 2,344 на русской прозе, при словаре даже меньшего размера (145 152 против 151 669). Все 14 схем шага 2 занимают 5 394 токена вместо 6 486 карточка модели, § 2 и § 3.2
• 85,7 % против 92,7 % чем ruadapt платит за экономию токенов: точность аргументов, худшая среди крупных моделей, — при лучшей в наборе маршрутизации 88,0 %. В проверяемой архитектуре аргумент весит больше маршрута карточка модели, § 3 и § 3.3
• 15,6 против 12,8 доля ложных ответов у QVikhr-3 против его собственной базы Qwen3-1.7B при одинаковом обучении; аргументы 90,1 против 92,7. Русский слой SFT ухудшает всё, что здесь важно карточка модели, § 3.1

Зачем она

Адаптер LoRA, который превращает задание на обычном русском в документ FTS, проходящий настоящий компилятор: разбор, типизацию, исполнение авторских примеров и доказательство объявленной теоремы. Нужен там, где ответ — не факт из текста и не результат вычисления, а вывод из правил предметной области.

Чем подтверждено

• 150/150 против 79/150 на одном фиксированном срезе из 150 документов: обученный адаптер БЕЗ справочника в промпте против необученной Qwen3-14B (nf4) СО справочником на 2 235 токенов. Та же необученная Qwen3-1.7B со справочником — 15/150, без справочника — 0/150. Текущая ревизия 2 даёт на этом срезе 149/150, и расхождение в один документ названо в источнике карточка модели, § 3
• 1 499/1 500 (99,9 %) доля выдач, проходящих компилятор, на полном holdout из 1 500 документов — greedy, без грамматики, без справочника карточка модели, § 2.1
• 1 392/1 500 (92,8 %) доля выдач, которые ОЗНАЧАЮТ то, что просили. Это отдельная проверка: задание читается независимо в ту же модель, которую компилятор строит из документа, и они сравниваются поэлементно. Чувствительность самой проверки измерена — 8 600 из 8 600 намеренных порч поймано карточка модели, § 2.1 и § 11
• 453/453 теоремы, доказанные и сертифицированные внутри прошедших документов; каждый сертификат независимо перепроверен по своему дайджесту. У прежней ревизии адаптера на тех же заданиях — 324/453 карточка модели, § 2.1

Зачем она

Обучающие данные обоих маршрутизаторов: двухшаговые диалоги над каталогом из 95 утилит в 14 категориях. Порождены детерминированно из JSON-схем каталога, teacher-модель не использовалась — значит, воспроизводимы из семени целиком.

Чем подтверждено

• 9,3 % → 90,7 % осознанный отказ на 150 red-team задачах: необученная Qwen3-0.6B против неё же, обученной на этих данных. На 1.7B — 70,7 % → 91,3 % карточка датасета, § 4
• 23,8 % доля отказов в корпусе: OUT_OF_SCOPE 7,0 %, MISSING_ARGUMENT 9,9 %, FALSE_PREMISE 6,9 %. Без них модель выучивает мета-правило «ответ существует всегда» и начинает сочинять недостающий аргумент карточка датасета, § 2 и § 4
• +0,6 п.п. против +8…15 п.п. что даёт смена базы и что — смена датасета. Основную работу сделали данные, а не размер модели карточка датасета, § 4

Зачем она

Пары «вопрос — почти подходящий фрагмент» для русского корпуса: фрагмент похож на нужный, но не отвечает. Такой класс ошибок порогом по эмбеддингу не отделяется в принципе, и датасет существует, чтобы это было видно на числах, а не на словах.

Чем подтверждено

• 0,0036 разрыв между медианой косинуса негативов (0,8351) и позитивов (0,8387) на 8 470 машинно-проверенных парах. Порог по эмбеддингу этот класс ошибок разделить не может карточка датасета, § 1
• 0,847 → 0,060 recall при нулевом ложном принятии, пересчитанный на независимо построенном наборе близнецов: прежняя цифра оказалась свойством набора с лёгкими негативами, а не системы карточка датасета, § 5
• 265 случаев (3,4 %) сколько раз проверен сам судья: он утверждал ответ, который не смог процитировать дословно, и эти пары выброшены, а не зачтены. На программной стадии до того отсеяно 42,9 % негативов и 45,3 % позитивов карточка датасета, § 3 и § 4

Зачем она

400 задач на русском: 250 основных (маршрутизация, цитата из корпуса, спецификация FTS, композиция шагов) и 150 red-team, где правильный ответ — отказ. Главная метрика — доля ложных ответов в проверяемом режиме, и цель у неё ровно ноль.

Чем подтверждено

• 1,0 % против 3,0 % доля ложных ответов системы на этом наборе и на действительно независимом. Разрыв и есть цена того, что набор использовался при разработке гейтов карточка датасета, «По-русски»
• шесть кандидатов сколько задач выброшено, потому что записанная в поле `verification` команда grep всё-таки нашла ответ в корпусе. Это зафиксировано в наборе, а не замолчано карточка датасета, § 3
• 250 + 150 состав: маршрутизация 100, цитата 80, спецификация 40, композиция 30; red-team — вне корпуса 80, недостающий аргумент 40, ложная посылка 30 карточка датасета, § 2

Зачем она

Пары «задание на русском — спецификация FTS», где каждый документ прошёл компиляцию, типизацию, исполнение примеров и доказательство теоремы. Отдельно — негативный контроль: испорченные документы с вердиктом проверяющих ворот, чтобы заявление «ворота ловят подделки» пересчитывалось кем угодно из тех же строк, а не принималось на слово.

Чем подтверждено

• 4 030 из 4 400 (91,6 %) доля намеренных порч, которые ловят ворота. Опубликовано данными, а не таблицей: число пересчитывается из самих строк карточка датасета, § 3
• 60,2 %, 72,8 %, 74,5 % три вида порчи, которые ловятся хуже прочих: перевёрнутый морфизм, сдвиг порога, незакрытая «ёлочка». Остальные восемь видов ловятся на 100 % карточка датасета, § 3
• 416 документов (3,96 %) сколько документов ревизия 2 исправила после того, как смысловая проверка нашла расхождение между заданием и спецификацией. Дефект назван, измерен и починен, а не переписан задним числом карточка датасета, § 0