# google/gemini-3.5-flash, заход 3

Вот анализ статьи по вашим критериям.

### 1. Тезис
**Тезис:** Тесты, сгенерированные ИИ-моделью (Claude) совместно с кодом для 6 типовых модулей, при покрытии 99% пропускают 9 критических багов (включая отбраковку каждого 11-го корректного ИНН), которые легко выявляются за 8 секунд мутационного тестирования с помощью `mutmut` и закрываются 11 ручными тестами.

---

### 2. Замечания по тексту

#### 1. Тезис и обобщения (Натяжки)
* **Цитата:** «Вывод шире одного прогона: модели всегда пишут тесты, которые проверяют счастливый путь и не проверяют границы. Это свойство генерации, а не особенность нашего случая.»
* **Замечание:** Прямое противоречие разделу «Ограничения», где написано: *«Одна модель, один стиль промпта... мы не можем отделить эффект совместной генерации от эффекта конкретного промпта»*. Утверждение «модели всегда пишут...» — это необоснованное обобщение планетарного масштаба на основе одного прогона одной модели.
* **Пометка:** Блокирующее.

#### 2. Пересказ теории (Пересказ)
* **Цитата:** «Мутационное тестирование — методика, известная с семидесятых годов. Идея проста: в исходный код вносятся небольшие изменения... [и далее весь абзац]»
* **Замечание:** Этот абзац полностью дублирует суть последнего абзаца раздела «Почему вопрос возник» (где уже объяснено про `<=` на `<`, убитых мутантов и покрытие). Его можно безболезненно удалить или сократить до одного предложения, так как читатель инженерного журнала уже понял суть абзацем ранее.
* **Пометка:** На усмотрение.

#### 3. Происхождение чисел (Числа)
* **Цитата:** «...а мутационное тестирование показало девять ошибок, которые эти тесты не заметят, включая ту, что отбраковывает примерно каждый одиннадцатый корректный ИНН.»
* **Замечание:** В тексте нет математического обоснования, почему именно «каждый одиннадцатый». Из контекста алгоритма ИНН (взвешенная сумма по модулю 11) понятно, что остаток 10 возникает в 1 случае из 11 (при равномерном распределении). Но это нужно явно прописать в анализе мутанта ИНН, чтобы число не выглядело взятым с потолка.
* **Пометка:** На усмотрение.

#### 4. Противоречие в логах (Числа)
* **Цитата:** «В этом испытании тесты, сгенерированные вместе с кодом, пропустили 9 нарушений контракта...» и далее в тексте: «...выживших мутантов, нарушающих контракт модуля: границы, «и/или», обрезка» (в плашке результатов).
* **Замечание:** В таблице результатов для модуля `duration` указано: «Выжило: 8, Из них настоящих дыр: 0». Для `intervals` — «Выжило: 2, Из них настоящих дыр: 0». При этом в выводе (раздел «Вывод») написано: *«...пропустили семь нарушений контракта»*. В вердикте метаданных (state: confirmed) написано: *«пропустили 9 нарушений»*. В таблице сумма дыр: 2 (inn) + 1 (lru) + 3 (ratelimit) + 3 (slug) = 9. В тексте вывода цифра «семь» противоречит и таблице, и вердикту, и плашке.
* **Пометка:** Блокирующее.

#### 5. Отрицательный результат и гладкость (Отрицательный результат)
* **Цитата:** «Прогон 04.09.2026 в песочнице редакции...»
* **Замечание:** В статье все замеры прошли идеально гладко. Однако `mutmut` известен своими капризами: он падает на синтаксических конструкциях новых версий Python, требует настройки путей, а в Windows без WSL вообще не запускается (о чем мельком упомянуто только в инструкции в конце). Сталкивался ли автор с тем, что `mutmut` пытался мутировать сам `pytest` или падал на относительных импортах? Если нет — замер был слишком стерильным, код писался сразу «под инструмент».
* **Пометка:** На усмотрение.

#### 6. Заголовок (Заголовок)
* **Цитата:** `title: "Шок: ИИ не умеет писать тесты"`
* **Замечание:** Кликбейт в стиле желтой прессы («Шок: ...»). Заголовок не отвечает на реальный поисковый запрос инженера (например, «эффективность ИИ-тестов» или «мутационное тестирование тестов LLM»).
* **Пометка:** Блокирующее.

---

### 3. Что останется в голове через день
Зеленые тесты от ИИ с покрытием 99% — это иллюзия безопасности, потому что модель тестирует только то, что сама придумала. Реальную прочность кода показывает только мутационный прогон (`mutmut`), который на мелких модулях занимает всего 8 секунд.

---

**Вердикт:** Публиковать после правок (необходимо устранить расхождение в количестве дыр: 7 или 9, убрать кликбейт из заголовка и скорректировать категоричное обобщение в разделе «Что сломалось»).

---

### Три вопроса от скептического инженера в комментариях:

1. «Вы использовали Claude 3.5 Sonnet (судя по кодовому имени fable) в режиме "один промпт — один ответ". Но в реальном "вайбкодинге" разработчик просит модель исправить ошибки, когда тесты падают, или пишет итеративный промпт. Почему вы не проверили сценарий, где ИИ пишет тесты по готовой спецификации (TDD), а не генерирует всё за один проход?»
2. «Алгоритм ИНН не опубликован официально, но вы требуете от модели его точного знания. Если модель ошиблась в самом алгоритме (что привело к багу с остатком 10), то при чем тут "ИИ не умеет писать тесты"? Это баг галлюцинации реализации, а не методологии тестирования.»
3. «Вы пишите, что `mutmut` отработал за 8 секунд на 6 модулях. А что произойдет, если мы натравим его на реальный проект хотя бы из 50 модулей с кучей интеграционных тестов и обращений к БД? Не превратится ли этот запуск в 8 часов?»
