BTW Studio
← Усі роботи

Відповіді, які показують своє джерело.

Citewise відповідає на запитання за документами компанії. Кожне речення має цитату, і кожну цитату звіряє з документом код, перш ніж її побачить людина.

Відкрити демо ↗Переглянути код

Простими словами

Ви ставите запитання за документами компанії й отримуєте коротку відповідь. Поруч із кожним реченням видно рядок, з якого воно взяте. Якщо в документах відповіді немає, система так і каже, а не вигадує.

Як це працює

  1. Запитайте своїми словами

    Запитання вводять так, як людина написала б у чат підтримки.

  2. Отримайте відповідь із джерелами

    Кожне речення веде до фрагмента, на який спирається. Один клік підсвічує процитований рядок у документі.

  3. Або чесне «не знаю»

    На запитання поза документами система відмовляє. Із загальних знань нічого не додається.

Проблема

Асистент звучить переконливо, але посилається на абзац, у якому сказано інше. Суворіший промпт цього не виправляє.

Що ми зробили

Відповідь складається з окремих тверджень, кожне з джерелом і дослівною цитатою. Звичайний код перевіряє, чи справді ця цитата є в джерелі. Твердження без підтвердження відкидається; якщо не лишилось нічого, асистент каже, що не знає.

Звідки відомо, що це працює

Тестові запитання22
Потрібний фрагмент серед трьох перших94,4%
Відповів і процитував правильний фрагмент88,9%
Відмовив на запитання поза документами100%
Цитати, що пройшли перевірку100%

Два запитання система пропускає, і вони чесно показані на сторінці демо: пошук за словами не пов'язує «загубив ноутбук» із «втраченим пристроєм».

Стек
TypeScript, Express, власний пошук BM25
Модель
Будь-яка OpenAI-сумісна; працює і без неї
Перевірки
9 тестів, поріг якості
Кому підійде
Довідкові центри, внутрішні регламенти, політики

Як це влаштовано

  1. ДокументиMarkdown, фрагмент на кожен заголовок
  2. ПошукBM25 знаходить найближчі фрагменти
  3. ЧернеткаТвердження з джерелом і цитатою
  4. ПеревіркаЦитата має бути в джерелі дослівно
  5. ВідповідьЛише твердження, що пройшли
    або
    ВідмоваНе пройшло жодне

Шлях із моделлю покрито тестами на підставному сервері, зокрема з вигаданою цитатою, яку система має відкинути. На живому провайдері його ще не запускали.

Рішення і чому

Перевіряє код, а не промпт

Порівняння рядків не залежить від поведінки моделі. Вигадану цитату відкидає щоразу.

Пошук за словами до ембедингів

BM25 не потребує зовнішніх сервісів, тож демо нічого не коштує. Індекс схований за одним класом, його можна замінити на ембединги чи гібрид.

Модель можна замінити

Вона стоїть за одним інтерфейсом. Без ключа відповідь складається з найближчих речень, тож увесь ланцюжок працює й без моделі.

Промахи лишаються на видноті

Два тестові запитання не проходять і показані на сторінці демо. Вони позначають межу пошуку за словами.