BTW Studio
← Усі роботи

Вимірюйте налаштування, а не сперечайтеся.

Стенд A/B-порівняння, який показує, що додає кожен шар налаштувань ШІ-асистента для коду: якість, час і вартість.

Переглянути код

Простими словами

Люди додають до свого ШІ-асистента для коду інструкції, агентів і навички, а результат оцінюють на око. Цей стенд запускає ті самі задачі на кожній конфігурації й вимірює, що насправді змінилося: якість, час і вартість.

Як це працює

  1. Опишіть конфігурації

    Від порожньої бази до повного набору інструкцій, агентів і навичок.

  2. Запустіть ті самі задачі на кожній

    Кожен запуск ізольований; записуються токени, час і вартість.

  3. Прочитайте звіт

    Якість оцінює модель, а звіт ставить конфігурації поруч.

Проблема

Команди навішують на асистента інструкції, агентів і навички, а результат оцінюють на відчуття.

Що ми зробили

Стенд запускає однакові ізольовані завдання за різних конфігурацій, записує токени, час і вартість, а якість оцінює модель-суддя. В опублікованому прогоні порівняно сім конфігурацій.

Звідки відомо, що це працює

Прогони в опублікованому звіті390
Порівняні конфігурації7
Завдання13
Оцінка якості за конфігураціямивід 9,3 до 9,5 з 10

Висновок непоказний: на ізольованих завданнях налаштування майже не змінили якість, а найбагатша конфігурація коштувала приблизно на 20% більше за прогін.

Стек
Node.js, Claude Code
Результат
Звіт із таблицями за кожним завданням
Кому підійде
Командам, що стандартизують роботу з агентами

Як це влаштовано

  1. Задачі13, кожна ізольована
  2. Конфігурації7 варіантів
  3. Запуски390, з токенами, часом і вартістю
  4. СуддяМодель оцінює якість
  5. ЗвітТаблиці за конфігураціями та задачами

Рішення і чому

Ізольовані задачі

Кожен запуск починається з чистого стану, тож одна конфігурація не користується залишками іншої.

Кілька проб на пару

Запуски повторюються, щоб бачити розкид, а не один щасливий результат.

Нудний результат опубліковано як є

На цих задачах конфігурація майже не змінила якість, а найбагатші набори коштували приблизно на 20% більше за запуск.