Бесплатная модель OpenRouter обошла платную: замер на 12 ошибках
Пять моделей OpenRouter от бесплатной до трёх долларов вычитывают статью с 12 подложенными ошибками: находки, цена прогона и два дефекта, невидимых никому.
* * *
На OpenRouter несколько сотен моделей, и выбирать между ними приходится по описанию и цене: рейтингов под конкретную задачу нет, а подборки «лучшие бесплатные модели OpenRouter» ранжируют по общему зачёту — «лучшая» в нём не значит «лучшая для вашей работы». Нам нужна была одна способность — находить чужие ошибки в тексте, — и мы решили не гадать: взяли свой же вышедший материал, подложили в него двенадцать дефектов и дали пяти моделям — от бесплатной до трёх долларов за миллион токенов. Бесплатная обошла три платные из четырёх, самая дешёвая из платных оказалась худшей, а два дефекта не увидел никто — и это оказалось самым полезным результатом.
Почему вопрос возник
У журнала есть правило: текст не выходит, пока его не разберёт кто-то, кроме автора. Работало это руками — основатель копировал статью в браузерный чат, забирал замечания, передавал редакции. Шаг занимал минут десять и стоял на каждом материале.
Автоматизировать его мешал один довод: критиком нельзя ставить модель того же семейства, что писала текст. Она согласится с тезисом раньше, чем начнёт его проверять, — не по глупости, а потому что склонности у неё те же. Значит, критик должен быть чужим. Чужие и дешёвые — это ровно то, что раздаёт OpenRouter, и вопрос сузился до «кто из них». Списка «лучших моделей OpenRouter» под эту задачу не существует: рейтинги там про общие способности, а нам нужна была одна конкретная — находить чужие ошибки.
Отзывы на такой вопрос не отвечают: «хорошо пишет» и «находит ошибки в чужом тексте» — разные способности, и вторую никто не меряет. Мы решили померить сами.
Что делали
Приём взяли из мутационного тестирования и из своей же предыдущей статьи. Там мы проверяли тесты, внося поломки в код: если тест не заметил поломку — тест пустой. Здесь объект другой, а логика та же: вносим в текст известные дефекты и смотрим, кто их назовёт.
Подопытный — наш материал «Вайбкодинг: 99 % покрытия и 9 дыр, которых тесты не видят», вышедший 4 сентября. Выбран не случайно: у него есть сырые логи, с которыми можно сверять числа, и он уже прошёл ручную вычитку — то есть заведомо «чистый» с точки зрения человека.
В копию внесли двенадцать дефектов восьми типов. Список составлен до прогона и лежит в raw/seed.json целиком — читатель вправе не согласиться с тем, что мы считали дефектом:
| № | Тип | Что подложили |
|---|---|---|
| 1, 2 | число против лога | покрытие 97 % вместо 99 %; «14 убито» вместо 135 |
| 3 | внутреннее противоречие | в лиде девять дыр, в выводе семь |
| 4, 5 | натяжка | один прогон подан как свойство всех моделей; вывод с шести Python-модулей на любой код |
| 6, 7 | пересказ | абзац-определение, который можно написать ничего не запуская; общее место под видом «мы заметили» |
| 8, 9 | пропавший замер | снята версия инструмента и дата; шаг со ссылкой на файл, которого нет в raw/ |
| 10 | вырезанный отрицательный результат | убрано, что повторный прогон потребовал чистки кэша |
| 11 | кликбейт | заголовок переписан в «Шок: ИИ не умеет писать тесты» |
| 12 | мёртвая ссылка | ссылка на несуществующий раздел документации |
Кандидаты — пять моделей не от Anthropic, взятых диапазоном по цене: от бесплатной до трёх долларов за миллион входных токенов. Промпт один и тот же для всех, он лежит в репозитории как рабочий шаблон редакции. Три захода на модель: модели недетерминированы, и один прогон ничего не доказывает — это мы тоже проверили на себе, разброс у некоторых оказался в два дефекта.
Считали три вещи: сколько из двенадцати названо, сколько замечаний не соответствует ничему (выдумки), и сколько стоил вызов по факту, а не по прайсу.
Что получилось
Главная таблица. Находимость — среднее по трём заходам. Цена — по чеку OpenRouter за фактически израсходованные токены, делённая на три захода и пересчитанная по курсу ЦБ 84,3508 на 11.09.2026. Один прогон — это от 8,1 до 9,5 тысячи входных токенов (текст статьи и промпт критика) и от 1,1 до 3,1 тысячи выходных; точные числа по каждому из пятнадцати вызовов — в raw/run.json. Перемножить токены на прайс и получить ту же цифру не выйдет, и почему — в разделе «Что сломалось».
| Модель | Нашла из 12 | Заходы порознь | $/1M вход | ₽ за прогон | ₽ за находку | Секунд |
|---|---|---|---|---|---|---|
| inclusionai/ling-3.0-flash-vl:free | 6,0 | 5 / 5 / 8 | 0 | 0,00 | 0,00 | 31 |
| moonshotai/kimi-k3 | 6,0 | 7 / 7 / 4 | 3,00 | 2,60 | 0,43 | 59 |
| bytedance-seed/seed-2-1-turbo | 5,0 | 5 / 5 / 5 | 0,50 | 0,88 | 0,18 | 46 |
| google/gemini-3.5-flash | 5,0 | 5 / 5 / 5 | 1,50 | 1,66 | 0,33 | 22 |
| ~deepseek/deepseek-v4-flash-latest | 2,3 | 3 / 2 / 2 | 0,05 | 0,03 | 0,01 | 55 |
Цена не предсказывает качество. Бесплатная ling делит первое место с kimi-k3, которая стоит три доллара за миллион входных токенов, и обходит gemini за полтора. Самая дешёвая из платных, deepseek, нашла вдвое меньше бесплатной. Колонка с ценой и колонка с находками не выстраиваются в один порядок нигде.
Порог, поставленный до прогона, — половина посева, шесть из двенадцати. Его берут только две модели из пяти, и одна из них бесплатная.
Весь боевой замер — пятнадцать вызовов, 131 760 входных токенов и 29 014 выходных — обошёлся в 15,50 ₽: это $0,1838 по чеку OpenRouter, умноженные на курс ЦБ 84,3508 на день прогона. Честности ради: до него ушло ещё 19,36 ₽ на два пробных прогона, которые поймали три поломки стенда. Полная цена ответа на вопрос «кому отдать вычитку» — 34,86 ₽, и это сумма обоих чеков, а не только удачного.
Что модели ловят, а что нет
Полезнее общего счёта оказался разрез по типам дефектов. Ниже — доля заходов, в которых дефект был назван, из пятнадцати возможных.
| № | Тип дефекта | Заходов | Моделей |
|---|---|---|---|
| 11 | кликбейтный заголовок | 15 / 15 | 5 / 5 |
| 6 | пересказ: учебниковый абзац | 13 / 15 | 5 / 5 |
| 4 | натяжка: один прогон как свойство всех | 11 / 15 | 4 / 5 |
| 5 | натяжка: с шести модулей на любой код | 11 / 15 | 4 / 5 |
| 3 | внутреннее противоречие: девять и семь | 7 / 15 | 3 / 5 |
| 1 | число против лога: 97 % вместо 99 % | 6 / 15 | 3 / 5 |
| 2 | число против лога: 14 убито вместо 135 | 4 / 15 | 3 / 5 |
| 8 | снятая версия инструмента и дата | 3 / 15 | 2 / 5 |
| 10 | вырезанный отрицательный результат | 2 / 15 | 2 / 5 |
| 7 | пересказ под видом наблюдения | 1 / 15 | 1 / 5 |
| 9 | шаг ссылается на файл, которого нет | 0 / 15 | 0 / 5 |
| 12 | ссылка на несуществующий раздел | 0 / 15 | 0 / 5 |
Дефекты 8 и 10 — про отсутствие: снятую версию и вырезанный абзац критик называет описательно, без цитаты, и машинная сверка их недосчитывает. Числа по этим двум строкам — нижняя граница.
Закономерность проходит не по границе текста, а по усилию. Модели надёжно ловят то, что видно при чтении подряд, — риторику, интонацию, несоразмерность вывода. Кликбейт в заголовке назвали все пятнадцать раз из пятнадцати. Натяжку — в семи случаях из десяти.
И тускнеют там, где надо что-то с чем-то сличать. Противоречие между двумя числами назвали в семи заходах из пятнадцати, а пересказ под видом наблюдения — в одном; оба дефекта лежат в тексте целиком, идти за ними никуда не нужно. Число, не сходящееся с логом, названо лишь в трети заходов — и даже тогда модель ловила его не сверкой с логом, а как внутреннее противоречие: сравнивала число с другим числом в том же тексте. Лога у неё на входе не было.
А то, для чего нужно выйти за пределы текста, не видит никто.
Два дефекта, которые не нашёл никто
| № | Дефект | Нашли |
|---|---|---|
| 9 | шаг ссылается на файл, которого нет в raw/ | 0 / 15 |
| 12 | ссылка на несуществующий раздел документации | 0 / 15 |
Ни одна модель, включая самую дорогую. И не могла: чтобы увидеть эти два дефекта, нужно проверить, существует ли файл на диске и отвечает ли адрес в сети. У критика на входе только текст.
Это и есть граница, ради которой стоило считать. Критик читает текст, гейт проверяет факты — и теперь у этого разделения есть координаты, а не общие слова. Проверку существования файлов и ссылок мы забрали в сборку: она либо есть, либо её нет, и модель тут не нужна.
Выдумок не было
Главный страх перед автоматической критикой — что модель нафантазирует замечаний и разбирать их будет дороже, чем вычитывать самому. На нашем материале он не подтвердился: ни одной выдуманной цитаты, ни одного придуманного числа, ни одной придирки к тому, чего в тексте нет — у всех пяти моделей.
Строго ложных замечаний — то есть не соответствующих ни посеву, ни реальному изъяну — мы насчитали два на пятнадцать заходов. Оба спорные: в одном случае модель назвала пересказом ключевой раздел статьи, в другом заявила, что тезис сформулировать невозможно. Это позиция, с которой можно не согласиться, а не выдумка.
Что сломалось
Бесплатная модель нашла ошибку, которую мы не подкладывали. В карточке подопытной статьи стояло «28,5 мутанта в секунду», а раздел назывался «за 8 секунд». 167 мутантов, делённые на 8 секунд, дают 20 в секунду, а не 28,5. ling указала на это в трёх заходах из трёх, bytedance — в одном, остальные не заметили.
Мы полезли в логи и обнаружили, что дело хуже, чем расхождение арифметики: в одной карточке были смешаны числа двух разных прогонов. Время и ссылка — из первого лога, скорость — из второго. Оба числа честно взяты из raw/, и формально каждое проверяемо; неверно было их соседство.
Эту статью читали: автор, внешний критик в браузерном чате и основатель. Никто не заметил. Заметила бесплатная модель, которую мы в тот момент замеряли на других дефектах.
Ошибка исправлена, объяснение осталось в тексте: mutmut считает скорость по времени мутаций, без сбора и запуска тестов, поэтому 167 ÷ 8 честно даёт другие двадцать, и оба числа верны.
В зачёт замера эта находка не попала. 6,0 из 12 — доля найденного из посеянного: знаменатель считает наш список, а не все ошибки текста. Настоящих ошибок ling назвала на одну больше, чем мы закладывали, — и метрика этого не видит.
Одна модель не дала отключить размышления. gemini-3.5-flash отвечает HTTP 400: Reasoning is mandatory; прогнана с минимальным уровнем, режим записан в raw/run.json. Её условия отличались от остальных, и при сравнении это надо держать в голове.
Цена за прогон в таблице занижена, и мы нашли это, отвечая критику. Одно из замечаний было формальным: «число без расшифровки расчёта». Полезли расписывать — и обнаружили, что расчёт не сходится. У kimi-k3 три захода подряд с одинаковым входом в 9 474 токена стоили 4,03 ₽, 2,40 ₽ и 1,37 ₽. Разница втрое, при том что запрос тот же.
Ответ в детализации чека: во втором и третьем заходах входная часть подешевела в девять раз — 0,0242 против 0,0027 доллара. Это кэш промпта: провайдер узнаёт повторно отправленный текст и берёт за него как за чтение из кэша, а не как за обработку.
Отсюда следствие, которое меняет вывод статьи. Наши 2,60 ₽ — среднее по трём заходам подряд, то есть цена в тепличных условиях замера. В работе критик запускается раз в неделю, кэш к этому моменту давно протух, и каждый прогон будет стоить как первый — около 4 ₽. Годовая цена пары не 135 рублей, а примерно 210.
Разрыв виден только у двух моделей из пяти: kimi — первый заход в 1,55 раза дороже среднего, gemini — в 1,25. У bytedance кэш не сработал вовсе, все три захода по 0,88 ₽. Проверять цену модели одним прогоном подряд с одинаковым промптом — значит мерить её в режиме, которого в работе не будет.
Разброс между заходами оказался больше, чем разрыв между моделями. У ling — 5, 5 и 8 дефектов; у kimi — 7, 7 и 4. Две модели делят первое место с одинаковым средним 6,0, но приходят к нему по-разному, и внутри каждой разброс до трёх дефектов — то есть больше, чем расстояние между первым и третьим местом. Ранжировать по таким числам нельзя, и мы не ранжируем: вывод «цена не связана с качеством» держится на разрыве в два дефекта и больше, а не на десятых долях.
Вывод: какую модель OpenRouter брать под вычитку
Для еженедельной вычитки мы поставили пару: бесплатную ling и kimi-k3 за 2,60 ₽ за прогон — две модели, взявшие порог. Вместе они дают 7,9 дефекта против 6,0 у лучшей поодиночке; 7,9 — это среднее по всем девяти сочетаниям их заходов, то есть то, что пара даёт в рабочем режиме, когда каждую прогоняют по одному разу. Считается от десяти, а не от двенадцати: два дефекта модели не ловят в принципе. Считать годовую цену по 2,60 за прогон нельзя — это цифра с прогретым кэшем, см. «Что сломалось». По честной цене первого прогона выходит около 4 ₽ за материал и примерно 210 ₽ в год при одном материале в неделю.
Сначала мы выбрали другую пару — ling и bytedance за 88 копеек — и выбрали её на завышенных числах. Ошибка была в нашей же сверке: два маркера ловили не то. Один искал число «135», которое в статье стоит правильно и которое критики цитируют, разбирая соседний абзац. Второй искал слово «противоречит» и срабатывал на замечаниях совсем о другом. После чистки bytedance потерял два дефекта из семи и перестал брать порог вовсе.
Мы оставили этот абзац в статье вместо того, чтобы молча опубликовать правильную таблицу, по одной причине: прибор, которым меряют, надо проверять так же, как то, что им меряют. Мы посеяли дефекты в статью, но не посеяли их в собственный сверщик — и он полтора дня показывал лишнее.
Более широкий вывод, который мы вынесли для себя: цена — плохой советчик при выборе модели. В нашем замере порядок по цене и порядок по находкам не совпали ни в одной точке: бесплатная делит первое место с самой дорогой, а самая дешёвая из платных оказалась последней. Пять моделей и три захода — не основание объявлять, что связи между ценой и качеством нет вообще; это основание не полагаться на цену без проверки. А перед тем как ставить модель на любую роль, разумно потратить тридцать пять рублей и полчаса, чтобы выяснить, умеет ли она ровно то, что вам нужно, — потому что «хорошая модель» и «хороший критик» не одно и то же.
И третье, менее очевидное. Мы собирались померить, кто внимательнее к подложенному, а поймали этим прибором собственную небрежность — ту, что прошла через двух человек и один чат. Посев мерил внимание; попалась на него неряшливость, которой никто не закладывал.
Что сказали критики про эту статью
Материал прошёл ту же ступень, которую он же и выбирает: обе модели пары прочитали его перед публикацией, прогон стоил 2,47 ₽. Замечания целиком и ответы на каждое — в review.md рядом с текстом.
Два блокирующих оказались настоящими. kimi заметил, что в таблице стоят заходы 5/5/8, а абзацем ниже в тексте — 6/6/8: мы переписали таблицу на честные числа после аудита маркеров, а прозу оставили со старыми. Правка внесена, числа в статье теперь одни. Второе — про вход из поиска: в первом абзаце статья говорила словами одного поискового кластера, а заголовок — другого; переписан первый абзац.
Обе ошибки пропустили оба человека, читавших текст. И ни одну из них не поймал бы гейт: он сверяет числа карточек с логами, а здесь расходились два места в самом тексте.
Вердикты у критиков при этом разошлись: ling — «публиковать после правок», kimi — «переделывать». Один и тот же текст, один и тот же промпт, одни и те же данные на входе. Пара моделей даёт не вердикт, а вилку — решать внутри неё всё равно человеку.
Как повторить
Всё сырьё лежит в raw/ рядом с этой статьёй:
seed.json— двенадцать дефектов с точным местом и типом;defective.md— статья с подложенными дефектами, ровно в том виде, в каком её видели модели;run.json— пятнадцать вызовов: токены, цены, время, режим, версия модели;score.json— машинная сверка с посевом;answers/— пятнадцать ответов целиком, без сокращений.
Промпт критика — в шаблонах репозитория. Чтобы повторить на своём материале: возьмите вышедший текст, внесите список известных дефектов, зафиксируйте его до прогона, прогоните каждую модель трижды и считайте не «понравился ответ», а сколько из списка названо. Цены и состав моделей на OpenRouter меняются, поэтому и то и другое зафиксировано в run.json на дату прогона.
✓ подтверждено
В этом замере цена модели не предсказывает качество критики: бесплатная нашла 6,0 дефекта из 12, модель за 0,88 ₽ за прогон — 5,0. Два дефекта из двенадцати не нашла ни одна модель: оба требуют выхода за пределы текста.
критерий: найденных посеянных дефектов из 12, среднее по трём заходам · 15 вызовов · 11.09.2026 · raw/score.json
Сырьё прогона: 20 файлов ↗ команды, версии и логи — те самые, по которым считаны числа