# google/gemini-3.5-flash, заход 2

Вот анализ статьи по вашим критериям.

### 1. Тезис
**Тезис:** При генерации кода и тестов «в один проход» одной ИИ-моделью (Claude) тесты достигают 99% покрытия, но полностью дублируют слепые зоны кода, пропуская критические баги на границах (например, отсев каждого 11-го корректного ИНН), которые легко выявляются мутационным тестированием (инструмент mutmut) за 8 секунд.

---

### 2. Замечания по тексту

#### 2.1. Натяжки
> **Цитата:** «Вывод шире одного прогона: модели всегда пишут тесты, которые проверяют счастливый путь и не проверяют границы. Это свойство генерации, а не особенность нашего случая.»
* **Замечание:** Прямое противоречие разделу «Ограничения», где честно сказано: *«Одна модель, один стиль промпта... мы не сравнивали с тестами, написанными... другой моделью»*. Утверждение «модели всегда пишут...» — это генерализация планетарного масштаба на основе одного прогона Claude-fable-5-1.
* **Пометка:** Блокирующее.

#### 2.2. Пересказ
> **Цитата:** «Мутационное тестирование — методика, известная с семидесятых годов. Идея проста: в исходный код вносятся небольшие изменения, называемые мутациями, после чего запускается набор тестов... Метод применяется в промышленной разработке и поддерживается инструментами для большинства языков.»
* **Замечание:** Этот абзац полностью дублирует информацию, которая уже была дана в предыдущем разделе («Оно вносит в код небольшие поломки...»). Его можно безболезненно удалить или сократить до одного предложения, так как он не содержит логов или описания конкретно этого эксперимента.
* **Пометка:** На усмотрение.

#### 2.3. Числа
> **Цитата:** «В этом эксперименте 36 зелёных тестов и 99 % покрытия пропустили семь нарушений контракта...»
* **Замечание:** В заголовке, в лиде, во вводной части и в таблице везде фигурирует число **9** («мутационное тестирование нашло 9 ошибок», «девять нарушений контракта», «девять настоящих дыр»). В выводе внезапно появляется число **семь**. Это критическое несовпадение внутренней логики текста.
* **Пометка:** Блокирующее.

#### 2.4. Отрицательный результат
> **Цитата:** «Первый заход — то, что получает вайбкодер: 36 тестов, все зелёные меньше чем за секунду... Мутантов mutmut сгенерировал 167, из них 14 убито и 32 выжило.»
* **Замечание:** Арифметика не сходится. Если всего мутантов 167, а выжило 32, то убитых должно быть $167 - 32 = 135$. В тексте написано «14 убито». Вероятно, пропущена цифра 3 (должно быть 135, как далее по тексту: *«Доля убитых — 135 из 167»*).
* **Пометка:** Блокирующее.

#### 2.5. Что останется в голове через день
* **Суть:** ИИ-тесты — это эхо-камера ИИ-кода. Они проверяют только то, что модель сама придумала, и слепы к граничным условиям. Мутационное тестирование (даже за 8 секунд) — единственный дешевый способ вскрыть этот заговор согласия.
* **Пометка:** Соответствует формату журнала.

#### 2.6. Заголовок
> **Цитата:** «Шок: ИИ не умеет писать тесты»
* **Замечание:** Кликбейт в стиле желтой прессы («Шок: ...»). Кроме того, заголовок фактически неверен: ИИ *умеет* писать тесты (он написал их, они дали 99% покрытия и они синтаксически верны). Проблема в том, что они не находят баги в написанном им же коде. Заголовок должен быть инженерным, например: *«Почему 99% покрытия от Claude пропустили каждый 11-й ИНН: проверяем ИИ-тесты мутациями»*.
* **Пометка:** Блокирующее.

---

### Вердикт
**Публиковать после правок** (необходимо исправить арифметическую опечатку с «14 убитыми», устранить противоречие между «7» и «9» ошибками в выводе, убрать кликбейт из заголовка и смягчить обобщение «модели всегда...» до рамок проведенного эксперимента).

---

### Три вопроса от скептического инженера в комментариях:

1. «Вы использовали модель `claude-fable-5-1` (судя по названию, это какой-то внутренний или экспериментальный билд). Почему не взять стандартную Sonnet 3.5, на которой сейчас сидит 90% вайбкодеров, чтобы результаты были релевантны рынку?»
2. «Если в промпте было явно сказано "Напиши тесты на pytest", но не было указано "проверь граничные значения и экстремальные входные данные", то почему виноват ИИ, а не плохой промптинг? Будут ли результаты лучше, если добавить в промпт требование использовать boundary value analysis?»
3. «Вы пишете, что mutmut отработал за 8 секунд на 6 модулях. Но в реальном проекте у меня 150 модулей и тесты с обращением к БД. Как масштабировать этот подход, если время прогона mutmut вырастет до получаса на каждый коммит?»
