← Испытания

Испытания

Бесплатная модель OpenRouter обошла платную: замер на 12 ошибках

Пять моделей OpenRouter от бесплатной до трёх долларов вычитывают статью с 12 подложенными ошибками: находки, цена прогона и два дефекта, невидимых никому.

11 сентября 2026 · прогон 11.09.2026 · OpenRouter API · inclusionai/ling-3.0-flash-vl:free · bytedance-seed/seed-2-1-turbo · moonshotai/kimi-k3 · google/gemini-3.5-flash · ~deepseek/deepseek-v4-flash-latest · 15 минут чтения
✓ проверено

проверено 11.09.2026

На OpenRouter несколько сотен моделей, и выбирать между ними приходится по описанию и цене: рейтингов под конкретную задачу нет, а подборки «лучшие бесплатные модели OpenRouter» ранжируют по общему зачёту — «лучшая» в нём не значит «лучшая для вашей работы». Нам нужна была одна способность — находить чужие ошибки в тексте, — и мы решили не гадать: взяли свой же вышедший материал, подложили в него двенадцать дефектов и дали пяти моделям — от бесплатной до трёх долларов за миллион токенов. Бесплатная обошла три платные из четырёх, самая дешёвая из платных оказалась худшей, а два дефекта не увидел никто — и это оказалось самым полезным результатом.

Почему вопрос возник

У журнала есть правило: текст не выходит, пока его не разберёт кто-то, кроме автора. Работало это руками — основатель копировал статью в браузерный чат, забирал замечания, передавал редакции. Шаг занимал минут десять и стоял на каждом материале.

Автоматизировать его мешал один довод: критиком нельзя ставить модель того же семейства, что писала текст. Она согласится с тезисом раньше, чем начнёт его проверять, — не по глупости, а потому что склонности у неё те же. Значит, критик должен быть чужим. Чужие и дешёвые — это ровно то, что раздаёт OpenRouter, и вопрос сузился до «кто из них». Списка «лучших моделей OpenRouter» под эту задачу не существует: рейтинги там про общие способности, а нам нужна была одна конкретная — находить чужие ошибки.

Отзывы на такой вопрос не отвечают: «хорошо пишет» и «находит ошибки в чужом тексте» — разные способности, и вторую никто не меряет. Мы решили померить сами.

Что делали

Приём взяли из мутационного тестирования и из своей же предыдущей статьи. Там мы проверяли тесты, внося поломки в код: если тест не заметил поломку — тест пустой. Здесь объект другой, а логика та же: вносим в текст известные дефекты и смотрим, кто их назовёт.

Подопытный — наш материал «Вайбкодинг: 99 % покрытия и 9 дыр, которых тесты не видят», вышедший 4 сентября. Выбран не случайно: у него есть сырые логи, с которыми можно сверять числа, и он уже прошёл ручную вычитку — то есть заведомо «чистый» с точки зрения человека.

В копию внесли двенадцать дефектов восьми типов. Список составлен до прогона и лежит в raw/seed.json целиком — читатель вправе не согласиться с тем, что мы считали дефектом:

№ТипЧто подложили
1, 2число против логапокрытие 97 % вместо 99 %; «14 убито» вместо 135
3внутреннее противоречиев лиде девять дыр, в выводе семь
4, 5натяжкаодин прогон подан как свойство всех моделей; вывод с шести Python-модулей на любой код
6, 7пересказабзац-определение, который можно написать ничего не запуская; общее место под видом «мы заметили»
8, 9пропавший замерснята версия инструмента и дата; шаг со ссылкой на файл, которого нет в raw/
10вырезанный отрицательный результатубрано, что повторный прогон потребовал чистки кэша
11кликбейтзаголовок переписан в «Шок: ИИ не умеет писать тесты»
12мёртвая ссылкассылка на несуществующий раздел документации

Кандидаты — пять моделей не от Anthropic, взятых диапазоном по цене: от бесплатной до трёх долларов за миллион входных токенов. Промпт один и тот же для всех, он лежит в репозитории как рабочий шаблон редакции. Три захода на модель: модели недетерминированы, и один прогон ничего не доказывает — это мы тоже проверили на себе, разброс у некоторых оказался в два дефекта.

Считали три вещи: сколько из двенадцати названо, сколько замечаний не соответствует ничему (выдумки), и сколько стоил вызов по факту, а не по прайсу.

Что получилось

Главная таблица. Находимость — среднее по трём заходам. Цена — по чеку OpenRouter за фактически израсходованные токены, делённая на три захода и пересчитанная по курсу ЦБ 84,3508 на 11.09.2026. Один прогон — это от 8,1 до 9,5 тысячи входных токенов (текст статьи и промпт критика) и от 1,1 до 3,1 тысячи выходных; точные числа по каждому из пятнадцати вызовов — в raw/run.json. Перемножить токены на прайс и получить ту же цифру не выйдет, и почему — в разделе «Что сломалось».

МодельНашла из 12Заходы порознь$/1M вход₽ за прогон₽ за находкуСекунд
inclusionai/ling-3.0-flash-vl:free6,05 / 5 / 800,000,0031
moonshotai/kimi-k36,07 / 7 / 43,002,600,4359
bytedance-seed/seed-2-1-turbo5,05 / 5 / 50,500,880,1846
google/gemini-3.5-flash5,05 / 5 / 51,501,660,3322
~deepseek/deepseek-v4-flash-latest2,33 / 2 / 20,050,030,0155

Цена не предсказывает качество. Бесплатная ling делит первое место с kimi-k3, которая стоит три доллара за миллион входных токенов, и обходит gemini за полтора. Самая дешёвая из платных, deepseek, нашла вдвое меньше бесплатной. Колонка с ценой и колонка с находками не выстраиваются в один порядок нигде.

Порог, поставленный до прогона, — половина посева, шесть из двенадцати. Его берут только две модели из пяти, и одна из них бесплатная.

Весь боевой замер — пятнадцать вызовов, 131 760 входных токенов и 29 014 выходных — обошёлся в 15,50 ₽: это $0,1838 по чеку OpenRouter, умноженные на курс ЦБ 84,3508 на день прогона. Честности ради: до него ушло ещё 19,36 ₽ на два пробных прогона, которые поймали три поломки стенда. Полная цена ответа на вопрос «кому отдать вычитку» — 34,86 ₽, и это сумма обоих чеков, а не только удачного.

Что модели ловят, а что нет

Полезнее общего счёта оказался разрез по типам дефектов. Ниже — доля заходов, в которых дефект был назван, из пятнадцати возможных.

№Тип дефектаЗаходовМоделей
11кликбейтный заголовок15 / 155 / 5
6пересказ: учебниковый абзац13 / 155 / 5
4натяжка: один прогон как свойство всех11 / 154 / 5
5натяжка: с шести модулей на любой код11 / 154 / 5
3внутреннее противоречие: девять и семь7 / 153 / 5
1число против лога: 97 % вместо 99 %6 / 153 / 5
2число против лога: 14 убито вместо 1354 / 153 / 5
8снятая версия инструмента и дата3 / 152 / 5
10вырезанный отрицательный результат2 / 152 / 5
7пересказ под видом наблюдения1 / 151 / 5
9шаг ссылается на файл, которого нет0 / 150 / 5
12ссылка на несуществующий раздел0 / 150 / 5

Дефекты 8 и 10 — про отсутствие: снятую версию и вырезанный абзац критик называет описательно, без цитаты, и машинная сверка их недосчитывает. Числа по этим двум строкам — нижняя граница.

Закономерность проходит не по границе текста, а по усилию. Модели надёжно ловят то, что видно при чтении подряд, — риторику, интонацию, несоразмерность вывода. Кликбейт в заголовке назвали все пятнадцать раз из пятнадцати. Натяжку — в семи случаях из десяти.

И тускнеют там, где надо что-то с чем-то сличать. Противоречие между двумя числами назвали в семи заходах из пятнадцати, а пересказ под видом наблюдения — в одном; оба дефекта лежат в тексте целиком, идти за ними никуда не нужно. Число, не сходящееся с логом, названо лишь в трети заходов — и даже тогда модель ловила его не сверкой с логом, а как внутреннее противоречие: сравнивала число с другим числом в том же тексте. Лога у неё на входе не было.

А то, для чего нужно выйти за пределы текста, не видит никто.

Два дефекта, которые не нашёл никто

№ДефектНашли
9шаг ссылается на файл, которого нет в raw/0 / 15
12ссылка на несуществующий раздел документации0 / 15

Ни одна модель, включая самую дорогую. И не могла: чтобы увидеть эти два дефекта, нужно проверить, существует ли файл на диске и отвечает ли адрес в сети. У критика на входе только текст.

Это и есть граница, ради которой стоило считать. Критик читает текст, гейт проверяет факты — и теперь у этого разделения есть координаты, а не общие слова. Проверку существования файлов и ссылок мы забрали в сборку: она либо есть, либо её нет, и модель тут не нужна.

Выдумок не было

Главный страх перед автоматической критикой — что модель нафантазирует замечаний и разбирать их будет дороже, чем вычитывать самому. На нашем материале он не подтвердился: ни одной выдуманной цитаты, ни одного придуманного числа, ни одной придирки к тому, чего в тексте нет — у всех пяти моделей.

Строго ложных замечаний — то есть не соответствующих ни посеву, ни реальному изъяну — мы насчитали два на пятнадцать заходов. Оба спорные: в одном случае модель назвала пересказом ключевой раздел статьи, в другом заявила, что тезис сформулировать невозможно. Это позиция, с которой можно не согласиться, а не выдумка.

Что сломалось

Бесплатная модель нашла ошибку, которую мы не подкладывали. В карточке подопытной статьи стояло «28,5 мутанта в секунду», а раздел назывался «за 8 секунд». 167 мутантов, делённые на 8 секунд, дают 20 в секунду, а не 28,5. ling указала на это в трёх заходах из трёх, bytedance — в одном, остальные не заметили.

Мы полезли в логи и обнаружили, что дело хуже, чем расхождение арифметики: в одной карточке были смешаны числа двух разных прогонов. Время и ссылка — из первого лога, скорость — из второго. Оба числа честно взяты из raw/, и формально каждое проверяемо; неверно было их соседство.

Эту статью читали: автор, внешний критик в браузерном чате и основатель. Никто не заметил. Заметила бесплатная модель, которую мы в тот момент замеряли на других дефектах.

Ошибка исправлена, объяснение осталось в тексте: mutmut считает скорость по времени мутаций, без сбора и запуска тестов, поэтому 167 ÷ 8 честно даёт другие двадцать, и оба числа верны.

В зачёт замера эта находка не попала. 6,0 из 12 — доля найденного из посеянного: знаменатель считает наш список, а не все ошибки текста. Настоящих ошибок ling назвала на одну больше, чем мы закладывали, — и метрика этого не видит.

Одна модель не дала отключить размышления. gemini-3.5-flash отвечает HTTP 400: Reasoning is mandatory; прогнана с минимальным уровнем, режим записан в raw/run.json. Её условия отличались от остальных, и при сравнении это надо держать в голове.

Цена за прогон в таблице занижена, и мы нашли это, отвечая критику. Одно из замечаний было формальным: «число без расшифровки расчёта». Полезли расписывать — и обнаружили, что расчёт не сходится. У kimi-k3 три захода подряд с одинаковым входом в 9 474 токена стоили 4,03 ₽, 2,40 ₽ и 1,37 ₽. Разница втрое, при том что запрос тот же.

Ответ в детализации чека: во втором и третьем заходах входная часть подешевела в девять раз — 0,0242 против 0,0027 доллара. Это кэш промпта: провайдер узнаёт повторно отправленный текст и берёт за него как за чтение из кэша, а не как за обработку.

Отсюда следствие, которое меняет вывод статьи. Наши 2,60 ₽ — среднее по трём заходам подряд, то есть цена в тепличных условиях замера. В работе критик запускается раз в неделю, кэш к этому моменту давно протух, и каждый прогон будет стоить как первый — около 4 ₽. Годовая цена пары не 135 рублей, а примерно 210.

Разрыв виден только у двух моделей из пяти: kimi — первый заход в 1,55 раза дороже среднего, gemini — в 1,25. У bytedance кэш не сработал вовсе, все три захода по 0,88 ₽. Проверять цену модели одним прогоном подряд с одинаковым промптом — значит мерить её в режиме, которого в работе не будет.

Разброс между заходами оказался больше, чем разрыв между моделями. У ling — 5, 5 и 8 дефектов; у kimi — 7, 7 и 4. Две модели делят первое место с одинаковым средним 6,0, но приходят к нему по-разному, и внутри каждой разброс до трёх дефектов — то есть больше, чем расстояние между первым и третьим местом. Ранжировать по таким числам нельзя, и мы не ранжируем: вывод «цена не связана с качеством» держится на разрыве в два дефекта и больше, а не на десятых долях.

Вывод: какую модель OpenRouter брать под вычитку

Для еженедельной вычитки мы поставили пару: бесплатную ling и kimi-k3 за 2,60 ₽ за прогон — две модели, взявшие порог. Вместе они дают 7,9 дефекта против 6,0 у лучшей поодиночке; 7,9 — это среднее по всем девяти сочетаниям их заходов, то есть то, что пара даёт в рабочем режиме, когда каждую прогоняют по одному разу. Считается от десяти, а не от двенадцати: два дефекта модели не ловят в принципе. Считать годовую цену по 2,60 за прогон нельзя — это цифра с прогретым кэшем, см. «Что сломалось». По честной цене первого прогона выходит около 4 ₽ за материал и примерно 210 ₽ в год при одном материале в неделю.

Сначала мы выбрали другую пару — ling и bytedance за 88 копеек — и выбрали её на завышенных числах. Ошибка была в нашей же сверке: два маркера ловили не то. Один искал число «135», которое в статье стоит правильно и которое критики цитируют, разбирая соседний абзац. Второй искал слово «противоречит» и срабатывал на замечаниях совсем о другом. После чистки bytedance потерял два дефекта из семи и перестал брать порог вовсе.

Мы оставили этот абзац в статье вместо того, чтобы молча опубликовать правильную таблицу, по одной причине: прибор, которым меряют, надо проверять так же, как то, что им меряют. Мы посеяли дефекты в статью, но не посеяли их в собственный сверщик — и он полтора дня показывал лишнее.

Более широкий вывод, который мы вынесли для себя: цена — плохой советчик при выборе модели. В нашем замере порядок по цене и порядок по находкам не совпали ни в одной точке: бесплатная делит первое место с самой дорогой, а самая дешёвая из платных оказалась последней. Пять моделей и три захода — не основание объявлять, что связи между ценой и качеством нет вообще; это основание не полагаться на цену без проверки. А перед тем как ставить модель на любую роль, разумно потратить тридцать пять рублей и полчаса, чтобы выяснить, умеет ли она ровно то, что вам нужно, — потому что «хорошая модель» и «хороший критик» не одно и то же.

И третье, менее очевидное. Мы собирались померить, кто внимательнее к подложенному, а поймали этим прибором собственную небрежность — ту, что прошла через двух человек и один чат. Посев мерил внимание; попалась на него неряшливость, которой никто не закладывал.

Что сказали критики про эту статью

Материал прошёл ту же ступень, которую он же и выбирает: обе модели пары прочитали его перед публикацией, прогон стоил 2,47 ₽. Замечания целиком и ответы на каждое — в review.md рядом с текстом.

Два блокирующих оказались настоящими. kimi заметил, что в таблице стоят заходы 5/5/8, а абзацем ниже в тексте — 6/6/8: мы переписали таблицу на честные числа после аудита маркеров, а прозу оставили со старыми. Правка внесена, числа в статье теперь одни. Второе — про вход из поиска: в первом абзаце статья говорила словами одного поискового кластера, а заголовок — другого; переписан первый абзац.

Обе ошибки пропустили оба человека, читавших текст. И ни одну из них не поймал бы гейт: он сверяет числа карточек с логами, а здесь расходились два места в самом тексте.

Вердикты у критиков при этом разошлись: ling — «публиковать после правок», kimi — «переделывать». Один и тот же текст, один и тот же промпт, одни и те же данные на входе. Пара моделей даёт не вердикт, а вилку — решать внутри неё всё равно человеку.

Как повторить

Всё сырьё лежит в raw/ рядом с этой статьёй:

  • seed.json — двенадцать дефектов с точным местом и типом;
  • defective.md — статья с подложенными дефектами, ровно в том виде, в каком её видели модели;
  • run.json — пятнадцать вызовов: токены, цены, время, режим, версия модели;
  • score.json — машинная сверка с посевом;
  • answers/ — пятнадцать ответов целиком, без сокращений.

Промпт критика — в шаблонах репозитория. Чтобы повторить на своём материале: возьмите вышедший текст, внесите список известных дефектов, зафиксируйте его до прогона, прогоните каждую модель трижды и считайте не «понравился ответ», а сколько из списка названо. Цены и состав моделей на OpenRouter меняются, поэтому и то и другое зафиксировано в run.json на дату прогона.

✓ подтверждено

В этом замере цена модели не предсказывает качество критики: бесплатная нашла 6,0 дефекта из 12, модель за 0,88 ₽ за прогон — 5,0. Два дефекта из двенадцати не нашла ни одна модель: оба требуют выхода за пределы текста.

критерий: найденных посеянных дефектов из 12, среднее по трём заходам · 15 вызовов · 11.09.2026 · raw/score.json

Сырьё прогона: 20 файлов ↗ команды, версии и логи — те самые, по которым считаны числа

Комментарии живут в Телеграме — своей базы данных у журнала нет. Обсуждение появится вместе с каналом журнала.