hubris

Devstral 2 2512илиMistral Small 3.2 24B

Главная разница — цена: Small дешевле в 4,3 раза на входе и в восемь раз на выходе. Ниже — счёт по трём источникам: что заявили поставщики, что намерила независимая лаборатория и что мы видим на реальных запросах. Переключатель «что важнее» меняет счёт — проверьте свой расклад.

  • Поставщик карточки моделей и правила кэша
  • Лаборатория Artificial Analysis, одна методика на обе
  • Hubris наши реальные запросы за 30 дней

Сводная оценка Лаборатория Hubris

Одно число на модель от 0 до 100: качество, скорость, цена, кэш и возможности, нормированные по всему каталогу. Засечки — остальные модели на той же шкале.

Devstral 2 251250,49 ₽ · mistralai
SonnetSonnetFlashFlash
65+23 %
Mistral Small 3.2 24B11,83 ₽ · mistralai
DeepSeek 0731LunaFlashOpus
53

Devstral опережает Small на 23 % по сводной оценке при выбранных весах. Из чего складывается — в раундах ниже.

Счёт по раундам 16 : 19
1Качество с рассуждениямине считаетсялаборатория ещё не измерила Devstral 2 2512 в этом режиме:
2Качество без рассужденийне считаетсялаборатория ещё не измерила Devstral 2 2512 в этом режиме:
3Кодне считаетсялаборатория ещё не измерила Devstral 2 2512 в этих задачах:
4Математикане считаетсялаборатория ещё не измерила Devstral 2 2512 в этих задачах:
5Инструменты и агентне считаетсялаборатория ещё не измерила Devstral 2 2512 в этих задачах:
6Следование инструкциямне считаетсялаборатория ещё не измерила Devstral 2 2512 в этих задачах:
7Длинный контекстне считаетсялаборатория ещё не измерила Devstral 2 2512 в этих задачах:
8Скоростьне считаетсяпо Devstral 2 2512 пока мало запросов, чтобы мерить скорость:
9Цена50,49 ₽ против 11,83 ₽ за миллион на входе2:1010Кэшавтоматический против нет9:311Возможностиконтекст, вход, рассуждения, приватность5:6
Правила одни для всех сравнений: лучший в раунде получает 10, второй — пропорционально отставанию, разница до 5 % — ничья, обеим по 10. Раунд 1 и 2 и 3 и 4 и 5 и 6 и 7 и 8 в счёт не идёт: лаборатория ещё не опубликовала замер — максимум уменьшен. «Бюджет и скорость» удваивает цену и скорость, «Качество любой ценой» удваивает качество и не считает цену. Как считаем — в методике.

Раунд 1 из 11

Качество с рассуждениями

:раунд не считается — нет замера

Качество мы не измеряем — это цифры независимой лаборатории: девять тестов одной методикой на обе модели, рассуждения включены на максимум. Шкала от 0 до 100.

Индекс интеллекта Лаборатория

Artificial Analysis, индекс v4.

С рассуждениями на максимумкак в карточках поставщиков

Лаборатория ещё не измерила Devstral 2 2512 в этом режиме — раунд в счёт не идёт.

GPQA Diamondвопросы уровня аспирантуры, справочно

Лаборатория ещё не измерила Devstral 2 2512 в этом режиме — раунд в счёт не идёт.

Humanity's Last Examсамый трудный набор задач, справочно

Лаборатория ещё не измерила Devstral 2 2512 в этом режиме — раунд в счёт не идёт.

MMLU-Proширокие знания, справочно

Лаборатория ещё не измерила Devstral 2 2512 в этом режиме — раунд в счёт не идёт.

Раунд 2 из 11

Качество без рассуждений

:раунд не считается — нет замера

В чате, поддержке и массовых задачах думать некогда — рассуждения выключены. Здесь картина часто другая.

Индекс интеллекта Лаборатория

Та же методика, режим без рассуждений.

Без рассужденийбыстрый ответ, как в чате и массовых задачах

Лаборатория ещё не измерила Devstral 2 2512 в этом режиме — раунд в счёт не идёт.

Раунд 3 из 11

Код

:раунд не считается — нет замера

Задачи из настоящих репозиториев и соревновательный код. У разных моделей лаборатория успела измерить разное — в счёт идут те тесты, что есть у обеих.

Кодинг Лаборатория

Сводный индекс кодинга (0–100) и отдельные тесты в процентах решённых задач.

Сводный индекс кодингавсе кодовые тесты лаборатории одним числом

Лаборатория ещё не измерила Devstral 2 2512 в этом режиме — раунд в счёт не идёт.

LiveCodeBenchсвежие соревновательные задачи

Лаборатория ещё не измерила Devstral 2 2512 в этом режиме — раунд в счёт не идёт.

SciCodeнаучный код по описанию задачи

Лаборатория ещё не измерила Devstral 2 2512 в этом режиме — раунд в счёт не идёт.

Раунд 4 из 11

Математика

:раунд не считается — нет замера

Счёт, доказательства и олимпиадные задачи. Полезно там, где ответ либо верный, либо нет: аналитика, финансы, инженерные расчёты.

Математика Лаборатория

Сводный индекс (0–100) и доля решённых олимпиадных задач.

Сводный индекс математикивсе математические тесты лаборатории одним числом

Лаборатория ещё не измерила Devstral 2 2512 в этом режиме — раунд в счёт не идёт.

AIMEолимпиадные задачи со строгим ответом

Лаборатория ещё не измерила Devstral 2 2512 в этом режиме — раунд в счёт не идёт.

Раунд 5 из 11

Инструменты и агент

:раунд не считается — нет замера

Модель в роли агента: вызвать нужный инструмент, довести многошаговый диалог до результата, поработать в терминале. Именно это отличает модель для агентского клиента от модели для чата.

Инструменты и терминал Лаборатория

Доля доведённых до конца сценариев.

𝜏²-benchвызовы инструментов в многошаговом диалоге

Лаборатория ещё не измерила Devstral 2 2512 в этом режиме — раунд в счёт не идёт.

Terminal-Benchработа агента в терминале

Лаборатория ещё не измерила Devstral 2 2512 в этом режиме — раунд в счёт не идёт.

Раунд 6 из 11

Следование инструкциям

:раунд не считается — нет замера

Делает ли модель ровно то, о чём просили: держит формат, не добавляет лишнего, соблюдает ограничения. От этого зависит, придётся ли разбирать ответ костылями.

Следование инструкциям Лаборатория

Доля заданий, где все требования соблюдены.

IFBenchпроверяемые требования к формату и содержанию

Лаборатория ещё не измерила Devstral 2 2512 в этом режиме — раунд в счёт не идёт.

Раунд 7 из 11

Длинный контекст

:раунд не считается — нет замера

Большое окно контекста и умение им пользоваться — разные вещи. Здесь проверяется второе: рассуждения по длинному тексту, а не размер окна из карточки.

Рассуждения на длинном контексте Лаборатория

Доля верных ответов по длинному тексту. Размер окна — в раунде «Возможности».

Long Context Reasoningответы по тексту, который не помещается в один взгляд

Лаборатория ещё не измерила Devstral 2 2512 в этом режиме — раунд в счёт не идёт.

Раунд 8 из 11

Скорость

:раунд не считается — мало данных

Пауза до первого слова и скорость письма. Очки — по нашим данным, это то, что вы получите на практике.

Один и тот же запросHubris

Проигрываем ответ на измеренной скорости: пауза до первого слова, потом письмо. Длина ответа одинаковая, иначе модели несравнимы.

Devstral 2 2512mistralai/devstral-2512

По Devstral 2 2512 пока мало запросов, чтобы мерить скорость.

Mistral Small 3.2 24Bmistralai/mistral-small-3.2-24b-instruct

По Mistral Small 3.2 24B пока мало запросов, чтобы мерить скорость.

Лаборатория меряет по прямому API одним промптом без рассуждений. У нас — реальные промпты реальных клиентов, часть с рассуждениями, и весь путь до вас целиком. Разница между дорожками — разница между стендом и жизнью.

Раунд 9 из 11

Цена

2:10Small дешевле в 4,3 раза на входе и в восемь раз на выходепосле раунда 2 : 10

В рублях, за миллион токенов. Списывается по факту — за то, что реально отправили и получили.

Прайс и реальный средний чек Hubris

Первые две колонки — ставки каталога. Третья — сколько в среднем стоит один запрос нашим пользователям к этой модели.

МодельВходные токеныто, что вы отправилиОтвет моделито, что она написалаТипичный запроссредний по нашим пользователям
Devstral 2 251250,49252мало данных
Mistral Small 3.2 24B11,8331,56мало данных
Разницав 4,3 разав пользу Smallв восемь разв пользу Small
Средний чек считается по реальным запросам наших пользователей: он зависит от того, сколько модель пишет в ответ.

Раунд 10 из 11

Кэш

9:3у Devstral кэш работает лучшепосле раунда 11 : 13

Если начало промпта повторяется от запроса к запросу — системная инструкция, приложенный документ, история переписки, — эта часть считается со скидкой. Включается она у моделей по-разному, и на этом легко потерять деньги.

Правила кэширования Поставщик

Скидка применяется автоматически — Hubris списывает по фактической цене исполнения, в которой кэш уже учтён.

Devstral 2 2512
Автоматический

Повторяющееся начало промпта кэшируется само. Ничего помечать не нужно: если первые токены совпадают с недавним запросом, скидка 90 % применится сама.

Mistral Small 3.2 24B
Нет

Кэша промптов у этой модели нет. Повторяющиеся части промпта оплачиваются каждый раз полностью.

Как пометить блок и проверить, что кэш сработал, — в документации. Сработавший кэш виден в ответе в поле cached_tokens.

Раунд 11 из 11

Возможности

5:6Small принимает картинкипосле раунда 16 : 19

Контекст, что принимает на вход, рассуждения, приватность, надёжность. За каждый пункт — очки по одной шкале.

Devstral 2 2512
  • Контекст 262 тыс. токенов
  • Картинки не принимает
  • Принимает файлы
  • Без режима рассуждений
  • Не обучается на ваших данных
Mistral Small 3.2 24B
  • Контекст 256 тыс. токенов
  • Принимает картинки
  • Файлы не принимает
  • Без режима рассуждений
  • Не обучается на ваших данных

Итог

Кто победил

Devstral 2 251216
из 30 очковПобеждает Small
Mistral Small 3.2 24B19
При равных весах побеждает Small — 16 : 19, с перевесом в 3 очка. Small берёт цену; Devstral отвечает в кэше. Возможности — ничья. Переключите «Качество любой ценой» наверху — счёт перевернётся.

Коротко

Плюсы и минусы

Преимущества каждой модели над другой — из тех же данных, что и раунды, в процентах и секундах.

Devstral 2 2512
  • кэш включается сам, без пометок в запросе
Mistral Small 3.2 24B
  • дешевле в 4,3 раза на входе
  • принимает картинки
Мы рекомендуем Mistral Small 3.2 24B: он впереди по сумме раундов при равных весах. Если качество важнее цены — берите Devstral 2 2512: при таком раскладе счёт переворачивается.

Выбор

Когда какую брать

Обе доступны по одному ключу — переключиться можно на любом запросе, поменяв одну строку.

Devstral 2 2512
  • Задачи, где важны цена и надёжность — смотрите раунды выше
Открыть в чате
Mistral Small 3.2 24B
  • Массовые задачи, где счёт за токены — главная статья расходов
Открыть в чате

Вопросы

Что обычно спрашивают

Почему Small дешевле в 4,3 раза — он хуже?

Независимых замеров качества для этой пары пока нет. Цена отражает размер модели; проверьте на своих данных.

Какая модель лучше для написания кода?

На практике для больших проектов берут ту, что лучше держит длинный контекст задачи; Small здесь предпочтительнее, а для мелких правок и массовых операций важнее скорость и цена.

Что такое кэш промптов и почему это важно?

У Devstral кэш включается сам. У Small повторяющийся блок нужно пометить маркером cache_control, иначе скидки не будет — одна строка в запросе, а на массовых задачах разница в счёте в разы.

Откуда взяты цифры скорости?

Это наши измерения по успешным запросам через Hubris за последние 30 дней, а не заявления поставщиков: время до первого слова и скорость письма от начала до конца ответа. В паузу входит и наш участок пути. Лабораторная дорожка рядом — Artificial Analysis, прямой API одним промптом: это потолок, наша цифра — то, на что стоит рассчитывать.

Можно ли переключаться между моделями?

Да, обе доступны по одному ключу. Чтобы сменить модель, достаточно поменять её идентификатор в запросе — ни отдельного договора, ни второго ключа не нужно.

Дальше

Другие сравнения

Каждая из этих двух — против соседей по каталогу. Любую пару можно собрать в выборе наверху страницы.

Источники: цены, контекст и модальности — каталог Hubris, 2026-09-18; скорость и средний чек — запросы через Hubris за 30 дней.

Devstral 2 2512 или Mistral Small 3.2 24B — что выбрать: цена, скорость, качество, код · Hubris