Цикл верифікації для ШІ вимірює, чи може ШІ-агент для кодування налаштувати проєкт, запустити його та верифікувати власну зміну без допомоги людини. Це серцевина автономної агентської роботи — агент, здатний перевіряти свою роботу, нарощує результат; нездатний — лише породжує правдоподібний текст — і саме тому ця метрика має найбільшу вагу в бейджі Готовність до ШІ.
- Категорія: Готовність до ШІ (40% у межах категорії)
- Вага в загальному індексі: 0% — частина незалежного бейджа «Готовність до ШІ»
- Ключ метрики:
ai_verify_loop
Як обчислюється значення
| Компонент | Вага | Підтвердження |
|---|---|---|
| Розгортання однією командою | 22.5 | Makefile, Taskfile, justfile, mise або noxfile |
| Автоматизовані тести | 27 | набір тестів, який агент може запустити для самоперевірки (спільне з інженерними практиками) |
| Конфігурація лінтера / форматера | 13.5 | спільне з інженерним сигналом лінтера |
| Статична перевірка типів | 13.5 | статично типізована мова або конфігурація перевірки типів (mypy, pyright, tsconfig, py.typed) |
| Відтворюване середовище | 13.5 | devcontainer, Dockerfile, Nix або файл блокування залежностей |
| OpenSSF Scorecard: Pinned-Dependencies | 10 | результат Scorecard 0–10, масштабований до 10 балів |
Pinned-Dependencies — це спільне підтвердження: воно додає до циклу верифікації агентів інформацію про відтворюваність ланцюга постачання, залишаючись повноцінним компонентом Безпеки. Компонент виключається, коли Scorecard недоступний або звітує n/a.
Чому цей цикл вирішує корисність агента
Кожен компонент усуває один зі способів провалу автономної роботи:
- Розгортання — агент може перейти від клонування до запуску без археологічних розкопок.
- Тести — агент може довести, що зміна зробила саме те, що замислювалося.
- Лінтинг і типи — цілі класи помилок відловлюються механічно, ще до рецензування.
- Відтворюване середовище — «працює в пісочниці агента» означає, що працює й деінде.
Прикметно, що це та сама інфраструктура, яка слугує людям-контриб'юторам — метрика не винагороджує жодної агентської екзотики понад те, що дисциплінований проєкт уже має. Проєкт із сильною Інженерною якістю зазвичай і тут стартує сильно.
Як читати результат
- Сигнали підтверджують існування циклу, а не його швидкість чи покриття — правило чесності на основі наявності, чинне для всього бейджа.
- Високий цикл верифікації поруч із заготовкою контексту для агентів зазвичай означає добре зінженерений проєкт, який просто ще не написав настанов для агентів — найдешевше з можливих покращень.
Як покращити значення
- Додати Makefile (або justfile/Taskfile) з цілями
install,testтаlint. - Тримати автоматизований набір тестів, який запускається локально однією командою.
- Запровадити перевірку типів — зараховується навіть мінімальний mypy/tsconfig.
- Закомітити файл блокування, Dockerfile або devcontainer для відтворюваності середовища.
Дивіться також: читабельність коду для ШІ · інженерні практики