# google/gemini-3.5-flash, заход 1

Вот анализ статьи по вашим критериям.

### 1. Тезис
**Тезис:** При генерации кода и тестов «в один проход» одной моделью (Claude-fable-5-1), тесты повторяют слепые зоны кода и при покрытии 99% пропускают 9 критических нарушений контракта (включая отбраковку каждого 11-го корректного ИНН), которые выявляются за 8 секунд мутационного тестирования с помощью `mutmut`.

---

### 2. Замечания по тексту

#### 1. Натяжки (Обобщение с одной модели на все)
* **Цитата:** «Вывод шире одного прогона: модели всегда пишут тесты, которые проверяют счастливый путь и не проверяют границы. Это свойство генерации, а не особенность нашего случая.»
* **Замечание:** Это прямое противоречие разделу «Ограничения», где честно сказано: *«Одна модель, один стиль промпта... мы не можем отделить эффект совместной генерации от эффекта конкретного промпта»*. Утверждение «модели всегда пишут...» — это необоснованное обобщение планетарного масштаба на основе одного замера одной модели.
* **Статус:** **Блокирующее**

#### 2. Пересказ (Лишняя теория)
* **Цитата:** Весь абзац: «Мутационное тестирование — методика, известная с семидесятых годов. Идея проста: в исходный код вносятся небольшие изменения... Метод применяется в промышленной разработке и поддерживается инструментами для большинства языков.»
* **Замечание:** Этот абзац полностью дублирует суть предыдущего абзаца («Оно вносит в код небольшие поломки...») и содержит общеизвестную историческую справку. Его можно сократить до одного предложения-ссылки. Статья для инженеров, им не нужно объяснять историю мутационного тестирования с 70-х годов.
* **Статус:** **На усмотрение**

#### 3. Числа (Противоречие в логах/выводах)
* **Цитата:** «В этом эксперименте 36 зелёных тестов и 99 % покрытия пропустили семь нарушений контракта...» (в разделе «Вывод»)
* **Замечание:** В таблице результатов, на Рисунке 1 и в тексте выше везде фигурирует число **9** («девять настоящих дыр», «девять нарушений контракта»). В выводе внезапно появляется число **семь**. Это критическая рассинхронизация данных внутри статьи.
* **Статус:** **Блокирующее**

#### 4. Отрицательный результат (Слишком гладкий замер / Проблема инструмента)
* **Цитата:** «...вернуть файл, удалить каталог `mutants/` (иначе mutmut не перепроверит мутантов, чей исходник не менялся)...»
* **Замечание:** В разделе «Что сломалось» описан только «шум» в логах. Однако в инструкции «Как повторить» всплывает серьезный костыль самого `mutmut`: он не умеет инвалидировать кэш мутаций при изменении *файлов тестов* (только при изменении исходного кода). Из-за этого пользователю приходится вручную удалять директорию. Это классический «отрицательный результат» работы с инструментом, который должен быть явно описан в теле статьи, а не спрятан в инструкции по воспроизведению.
* **Статус:** **На усмотрение**

#### 5. Заголовок
* **Цитата:** «Шок: ИИ не умеет писать тесты»
* **Замечание:** Кликбейт в стиле желтой прессы («Шок: ...»). Заголовок не отвечает на реальный поисковый запрос инженера и противоречит тональности технического разбора. Лучше заменить на прагматичный, например: «Проверяем тесты от ИИ с помощью mutmut» или «Почему 99% покрытия от Claude пропускают ошибки в ИНН».
* **Статус:** **Блокирующее**

---

### 3. Что останется в голове через день
Даже при покрытии тестами в 99%, сгенерированный ИИ код может содержать критические баги (вроде поломки каждого 11-го ИНН), потому что ИИ-тесты слепо копируют допущения ИИ-кода. Найти это можно за секунды с помощью мутационного тестирования (`mutmut`).

---

### Вердикт
**Публиковать после правок** (необходимо исправить рассинхронизацию чисел 7/9, убрать кликбейт из заголовка и умерить обобщение «модели всегда...» до рамок проведенного эксперимента).

---

### Три вопроса от скептичного инженера в комментариях:
1. «Вы использовали Claude-fable-5-1 без системного промпта. Если бы в промпте было явно указано: "Используй методологию TDD, сначала напиши тесты на граничные значения, включая остаток 10 для ИНН, а затем код", изменился бы mutation score?»
2. «Почему вы сравниваете "ИИ-код + ИИ-тесты" с идеалом, а не с "две недели до дедлайна, джуниор-разработчик написал код и тесты"? Разве человек в спешке не допускает точно такие же ментальные ловушки и слепые зоны на границах?»
3. «Как вы предлагаете решать проблему эквивалентных мутантов и "шума" на реальном проекте из 100 000 строк кода? Если на 6 простейших функций мы получили 23 "шумных" мутанта, которые нужно разбирать глазами, то на проде мы просто утонем в ручном анализе логов `mutmut`.»
