# ~deepseek/deepseek-v4-flash-latest, заход 1

1. **Тезис.** Сформулировать одной фразой, что читатель узнаёт из статьи и чего не найдёт в первых пяти результатах поиска, не получается. Статья отвечает на вопрос «насколько плохи тесты, сгенерированные ИИ», но этот ответ упакован в десятки оговорок, которые разрушают любой однозначный вывод. Главное замечание: тезис не сформулирован, остальные пункты неважны.  
   Цитата: «Одна модель, один стиль промпта, шесть небольших модулей на Python — все выводы здесь про этот эксперимент, а не про „тесты от ИИ“ вообще».  
   Замечание: если вывод только про этот эксперимент, то статья не отвечает на вопрос, который человек задаёт поиску («ИИ не умеет писать тесты» — это обобщение). Читатель не узнаёт ничего, что можно применить за пределами одного прогона одной модели.  
   Пометка: блокирующее.

2. **Натяжки.** Вывод шире, чем данные под ним.  
   Цитата: «Отсюда следует, что любой код, написанный ИИ, нуждается ровно в этой проверке — на любом языке и в любом проекте».  
   Замечание: из шести модулей на Python с одним промптом и одной моделью не следует «любой код», «любой язык», «любой проект». Это прямое обобщение с одного эксперимента на все возможные условия.  
   Пометка: блокирующее.

3. **Пересказ.** Абзацы, которые можно было написать, ничего не запуская.  
   Цитата: «Идея проста: в исходный код вносятся небольшие изменения, называемые мутациями, после чего запускается набор тестов. Если тесты по-прежнему проходят, значит мутация выжила и тесты недостаточно чувствительны. Показатель качества набора тестов называется mutation score и считается как доля убитых мутантов от общего числа».  
   Замечание: это пересказ общеизвестного определения мутационного тестирования из Википедии. Место такому тексту — два предложения контекста, а не отдельный раздел.  
   Пометка: на усмотрение.

4. **Числа.** Каждое число должно иметь происхождение, команду и версию.  
   Цитата: «По Wordstat за 03.08–01.09.2026 (все регионы, все устройства) запрос „вайбкодинг“ набрал 23 908 показов».  
   Замечание: число 23 908 не имеет рядом команды, которая его воспроизводит. Ссылка на Wordstat есть, но нет ни скриншота, ни выгрузки, ни параметров запроса, кроме дат. Это число нельзя проверить, не повторив запрос вручную.  
   Пометка: блокирующее.

5. **Отрицательный результат.** Что сломалось в ходе замера и попало ли это в текст.  
   Цитата: «Одна вещь, о которой честнее сказать, чем промолчать: 17 мутантов из 32 в первом заходе оказались шумом про тексты сообщений — это половина списка, и без ручной сортировки заголовок был бы „32 дыры“, что неправда».  
   Замечание: отрицательный результат есть, но он подан как «честное признание», а не как часть методологии. При этом в тексте нет ни одного упоминания о том, что сломалось в ходе самого замера: не падал ли mutmut, не зависал ли pytest, не было ли расхождений в диффах. Если всё прошло гладко — замер был слишком лёгким.  
   Пометка: на усмотрение.

6. **Заголовок.** Отвечает ли он на вопрос, который человек реально задаёт поиску, или интригует.  
   Цитата: «Шок: ИИ не умеет писать тесты».  
   Замечание: «Шок» — кликбейт. Человек, который ищет «как проверить тесты, написанные ИИ», не получит ответа из заголовка. Игра слов и интрига вместо ответа.  
   Пометка: блокирующее.

7. **Числа.** Несовпадение с логом.  
   Цитата: «Доля убитых — 135 из 167, то есть 80,8 %; без эквивалентных мутантов (о них ниже) — 135 из 161, 83,9 %».  
   Замечание: в тексте сказано, что «из 32 выживших семнадцать — шум». 167 − 135 = 32 выживших. 32 − 17 = 15, а не 9. Девять — это «настоящие дыры». Но 15 не равно 9. Откуда взялись 6 недостающих мутантов? В тексте нет ни одной строки, которая объясняла бы расхождение между 15 и 9. Число 9 появляется в заголовке и в таблице, но не выводится из арифметики, приведённой в тексте.  
   Пометка: блокирующее.

---

Публиковать после правок.
