Вимірюйте налаштування, а не сперечайтеся.
Стенд A/B-порівняння, який показує, що додає кожен шар налаштувань ШІ-асистента для коду: якість, час і вартість.
Простими словами
Люди додають до свого ШІ-асистента для коду інструкції, агентів і навички, а результат оцінюють на око. Цей стенд запускає ті самі задачі на кожній конфігурації й вимірює, що насправді змінилося: якість, час і вартість.
Як це працює
Опишіть конфігурації
Від порожньої бази до повного набору інструкцій, агентів і навичок.
Запустіть ті самі задачі на кожній
Кожен запуск ізольований; записуються токени, час і вартість.
Прочитайте звіт
Якість оцінює модель, а звіт ставить конфігурації поруч.
Проблема
Команди навішують на асистента інструкції, агентів і навички, а результат оцінюють на відчуття.
Що ми зробили
Стенд запускає однакові ізольовані завдання за різних конфігурацій, записує токени, час і вартість, а якість оцінює модель-суддя. В опублікованому прогоні порівняно сім конфігурацій.
Звідки відомо, що це працює
| Прогони в опублікованому звіті | 390 |
|---|---|
| Порівняні конфігурації | 7 |
| Завдання | 13 |
| Оцінка якості за конфігураціями | від 9,3 до 9,5 з 10 |
Висновок непоказний: на ізольованих завданнях налаштування майже не змінили якість, а найбагатша конфігурація коштувала приблизно на 20% більше за прогін.
- Стек
- Node.js, Claude Code
- Результат
- Звіт із таблицями за кожним завданням
- Кому підійде
- Командам, що стандартизують роботу з агентами
Як це влаштовано
- Задачі13, кожна ізольована
- Конфігурації7 варіантів
- Запуски390, з токенами, часом і вартістю
- СуддяМодель оцінює якість
- ЗвітТаблиці за конфігураціями та задачами
Рішення і чому
Ізольовані задачі
Кожен запуск починається з чистого стану, тож одна конфігурація не користується залишками іншої.
Кілька проб на пару
Запуски повторюються, щоб бачити розкид, а не один щасливий результат.
Нудний результат опубліковано як є
На цих задачах конфігурація майже не змінила якість, а найбагатші набори коштували приблизно на 20% більше за запуск.