Бесплатная модель OpenRouter обошла платную: замер на 12 ошибках
Пять моделей OpenRouter от бесплатной до трёх долларов вычитывают статью с 12 подложенными ошибками: находки, цена прогона и два дефекта, невидимых никому.
Рубрика
Как проверять код, который писал не человек: гейты, тесты, мутационный отбор.
2 материала · ✓ 2 с прогоном
Пять моделей OpenRouter от бесплатной до трёх долларов вычитывают статью с 12 подложенными ошибками: находки, цена прогона и два дефекта, невидимых никому.
Модель написала 6 модулей и 36 тестов: всё зелёное, покрытие 99 %. Мутационное тестирование нашло 9 ошибок, которые эти тесты пропускают. Какие и как их ловить.
показаны 2 из 2