DigitableCourses

Какую модель выбрать

Выбор модели для Digit: пресеты для Ollama, модель, которую Digit поднимает сам, собственный маршрутизатор Digitable и подключение любого OpenAI-совместимого эндпоинта. Почему окно меньше 64 000 токенов не подходит и почему роутер не может быть основной моделью.

Какую модель выбрать

Облачного аккаунта Digit не требует, и заранее установленной Ollama тоже. Базовый путь — локальная модель, которую он поднимает сам. Всё остальное — варианты для тех, у кого уже что-то есть.

Меняется модель одной командой:

digit model

Это интерактивный выбор: команда показывает провайдеров и их живые списки моделей. Аргумента она не принимает — digit model digit-local завершится с ошибкой unrecognized arguments и кодом 2, хотя такая форма встречается в README репозитория и на странице продукта (проверено запуском; расхождение названо, чтобы вы не искали ошибку у себя).

Имена пресетов из таблиц ниже принимают три места:

digit -m digit-local            # на один запуск
/model digit-local              # переключение внутри диалога
digit config set model.default  # значение по умолчанию в config.yaml

Требование, из которого следует всё остальное

Digit отвергает окно контекста меньше 64 000 токенов на старте. Это не настройка и не осторожность: схемы инструментов и системный промпт занимают большой фиксированный префикс. Замер: системный промпт с одним тулсетом — 7,4 тыс. токенов, со стандартным набором — 18,6 тыс.

Отсюда следует неприятное для «маленьких» моделей: Qwen3-1.7B и Qwen3-4B обучены на окне 32 768, наш собственный маршрутизатор — на 40 960. Попросить у сервера больше не помогает — llama-server обрезает окно слота по обучающему и пишет об этом в лог, а отключить обрезку нечем.

Модель, у которой окно меньше, будет отвергнута на старте с явной ошибкой, а не станет молча работать хуже.

Путь по умолчанию: Digit поднимает модель сам

Ничего выбирать не надо — этот путь включает мастер первого запуска, когда Ollama в системе нет.

Что Значение
Модель Qwen3-4B-Instruct-2507, квантование Q4_K_M
Размер весов 2,3 ГиБ
Обучающее окно 262 144 токена
Сервер llama-server из llama.cpp на 127.0.0.1:8127
Имя пресета digit-llamacpp

Модель выбрана не по размеру файла: 262 144 с запасом перекрывают требуемые 64 000, и она вызывает инструменты. Управление сервером и его цена — на странице «Локальная модель без Ollama».

Отдельно запоминать тут нечего: digit local start сам печатает готовую секцию model: для config.yaml — с провайдером, адресом, режимом API и окном.

Если Ollama уже стоит

Четыре готовых пресета указывают на локальный OpenAI-совместимый эндпоинт Ollama (localhost:11434). Веса они не качают и сервер не поднимают — только говорят Digit, куда обращаться.

Пресет Модель Для чего
digit-local-small Qwen3.5 2B 8 ГБ памяти, короткие задачи
digit-local Qwen3.5 4B основной вариант для Apple Silicon
digit-local-plus Qwen3.5 9B более сильное рассуждение при 16 ГБ и выше
digit-gemma Gemma 3 4B альтернативная мультимодальная модель
digit -m digit-local

Одна тонкость, из-за которой мастер раньше «успешно» завершался, а всё разваливалось на первом запросе: Ollama по умолчанию отдаёт окно 4 096. Digit теперь просит нужное явно.

Собственная модель Digitable

digit-router — модель, обученная под этот агент. Она выбирает, какую из 95 утилит вызвать и какой фрагмент корпуса относится к вопросу. Содержание ответа приходит из утилиты, дословной цитаты или сертификата FTS, поэтому 0,6 млрд параметров здесь достаточно: модели не нужно ничего знать.

digit local start --model router

Замеренное на 250 задачах: доля ложных ответов 9,2 %, осознанный отказ на red-team 91,3 %. Вариант на 1,7 млрд (digit-router-plus) существует, но втрое больший размер покупает 0,6 процентного пункта отказа.

Основной моделью агента роутер работать не может. Окно 40 960 меньше требуемых 64 000, и Digit отвергнет такую конфигурацию на старте. Его место — вспомогательное. Поставить его источником фактов значит потерять ровно то, ради чего он обучался; почему — разобрано на странице «Как устроена проверяемость».

Веса, обучающие данные, набор задач и три проигравшие базы выложены открыто — ссылки там же.

Свой эндпоинт и облачные провайдеры

Любой OpenAI-совместимый эндпоинт подключается через digit model как провайдер custom: свой llama-server со сборкой под видеокарту, LM Studio, vLLM, корпоративный шлюз. Облачные провайдеры Digit тоже поддерживает, и digit status показывает длинный список ключей — но ни один из них не нужен для работы, и ни один не показывается как рекомендуемый способ начать.

Что это стоит на практике

Локальная модель 4B в Q4 на процессоре: 2,3 ГиБ на диске и около 9 ГиБ оперативной памяти при окне 64 000 с квантованным KV-кэшем. Без квантования кэша — почти вдвое больше. На машине с видеокартой имеет смысл собрать свою сборку llama.cpp и указать её через DIGIT_LLAMA_SERVER: Digit возьмёт её вместо своей процессорной.

Границы

Мы не сравнивали качество перечисленных моделей между собой на задачах агента и такого замера не публикуем. Измерены и опубликованы числа собственного маршрутизатора — на выборе инструмента, точности аргументов и осознанном отказе; для остальных моделей здесь названы только их обучающее окно и источник. Пресеты Ollama — это готовые ярлыки на localhost:11434 с именем модели внутри; вживую при подготовке этой страницы мы прогоняли только путь digit local (llama.cpp), поэтому за именами моделей в самой Ollama всё равно стоит сходить в ollama list.

Нашли неточность? Выделите фрагмент текста — рядом появится жучок.

Нужен разбор именно вашей ситуации?

Статья описывает общий случай. Если у вас частный — можно разобрать его отдельно, платно. А если не хватает целого материала, предложите тему: её оплачивают вскладчину, и она выходит открытой для всех.

Доска запросов
Дальше