# moonshotai/kimi-k3, заход 1

Привожу разбор по семи пунктам. Пометки: **блокирующее** — статья ломается именно в этом месте; **на усмотрение** — доводка, но не причина холда.

---

**1. Тезис.** *«36 тестов, все зелёные меньше чем за секунду, покрытие 97 %».* Замечание. Потенциально тезфорес (сгенерированные тесты пропускают дыры, мутационное тестирование их находит за 8 секунд) перечёркнут логическим дисфункционалом в тексте: в хедере и таблице покрытие 99 %, в теле текста — 97 % и фраза «единственная непокрытая строка». Это фактуально разные замеры. Вероятно описка, но для журнала, продающего точные числа, — блокирующее.

**2. Натяжки.** *«Вывод шире одного прогона: модели всегда пишут тесты, которые проверяют счастливый путь...»* Секция «Ограничения» прямо признаёт: «все выводы здесь про этот эксперимент», однако тут же следует универсальное утверждение. Верхний уровень — заголовок «Шок: ИИ не умеет писать тесты» и финальный вывод «любой код, написанный ИИ, нуждается...» — одна модель, один промпт, шесть модулей. Не хватает контрольной группы (человек/другая модель), которую авторство сами назвали «следующим испытанием». Блокирующее.

**3. Пересказ.** *«Мутационное тестирование — методика, известная с семидесятых годов. Идея проста...»* Сплошной учебник: история 70-х, определение mutation score, применение в индустрии. Плюс «По Wordstat... 23 908 показов» — два абзаца SEO-аналитики, не нужных для инженерного вывода. И фраза-каламбур «жанр [испытаний в этом журнале](/qa/)». Сократить до двух предложений контекста. На усмотрение (но длину раздутую даёт).

**4. Числа.** *«Покрытие отвечает на вопрос “выполнялась ли строка”... 36 зелёных тестов и 99 % покрытия...»* Несовпадение 97/99 (см. п.1) — блокирующее. *«Одна вещь... 17 мутантов из 32»* — в начале статьи классифицировано «семнадцать шум + шесть эквивалентных», здесь 17 названы «шумом», что размывает тройную сортировку. *«Второй заход... 47 тестов, убито 149 из 167... 11 тестов»* — арифметика сходится (36+11=47), но возникло ли добавление «Одно на тексты сообщений» (вам явлено 11 тестов, из них один на сообщения) в таблице «Дыра → Тест»? Он указан? Нет. Плюс sentence-fragment «приблизительно каждый одиннадцатый корректный ИНН» — вероятностная оценка без хвостового вычисления (вероятность остатка 10 ≠ 1/11 при взвешенной сумме). Блокирующее (97/99), на усмотрение (остальное).

**5. Отрицательный результат.** *«Из них настоящих дыр | 0»* и *«Вывод шире одного прогона».* Замер прошёл слишком гладко. Ноль дыр в `duration` и `intervals`, ноль сломавшихся инструментов (mutmut не упал, кэш сработал, WSL не потребовался на Ubuntu). «Что сломалось» свелось к риторике «шум — это не дыры». Для честного испытания стоило показать хотя бы один ложный срабатывание или ошибку воспроизведения. На усмотрение.

**6. Что останется в голове.** *«В этом эксперименте... пропустили семь нарушений...»* Конкретные паттерны (ИНН с остатком 10, `<=0`→`<=1`, `rstrip`→`lstrip`) — да, зацепят. Но их пытается вынести универсальный совет «любой код ИИ нуждается в этой проверке», который через день забудется как empty-calorie клишé. Без натяжки п.2 осталось бы. На усмотрение.

**7. Заголовок.** *«Шок: ИИ не умеет писать тесты»* — кликбейт-эмоция в начале, пробел между тезисом и областью применения (один язык, одна модель, утилитарные функции). Формулировка-ответ «ИИ-тесты пропускают 9 дыр при 99 % покрытии» работала бы лучше и честнее. На усмотрение (но в связке с п.2 — системное).

---

**Вердикт:** переделывать. Статья снимает фактуру (логи, diff-файлы, версии), но несет в себе логическую дисфункцию между областью эксперимента и универсальными выводами, плюс фактологическую противоречивость 97/99. Чинить натяжки, согласовывать числа, резать академические обрывы — тогда материал станет честным.

---

**Вопросы в комментариях (имитация):**

1. В таблице покрытие 99 %, в тексте 97 % — что из этого соответствует логу `raw/02-coverage.txt`?  
2. Вы пишете «все выводы про этот эксперимент», но заключение «любой код, написанный ИИ, нуждается...» — как вы обосновываете переход от одной модели (Claude Fable) и Python к «любом языке и любом проекте»?  
3. В разделе «Ограничения» вы называете контрольный вариант «следующим испытанием» — какова вероятность, что без него вы измерили не свойство «ИИ-тестов», а свойство конкретного промпта «Добавь тесты на pytest», и не является ли ваша гипотеза о «слепых зонах» самосбывающейся?
