SAFE: ефективний фактчекінг для великих мовних моделей
З удосконаленням функціональності мовних моделей, вони відіграють все більш важливу роль у генерації тексту у різних галузях. Однак забезпечення точності інформації, яку вони створюють, залишається складним завданням. Недостовірні відомості, ненавмисні помилки та контент, який виражає певні упередження, можуть швидко поширюватися, впливаючи на процеси прийняття рішень, публічний дискурс та довіру користувачів.
Дослідницький підрозділ DeepMind компанії Google представив потужний інструмент перевірки фактів на основі штучного інтелекту призначений спеціально для великих мовних моделей (LLMs). Метод, який отримав назву SAFE (Semantic Accuracy and Fact Evaluation), має на меті підвищити надійність та достовірність контенту, згенерованого штучним інтелектом.
SAFE працює на основі комплексного підходу, використовуючи передові методи ШІ для ретельного аналізу та перевірки фактичних тверджень. Детальний аналіз системи дозволяє розбивати інформацію, отриману з довгих текстів, які були згенеровані LLMs, на окремі автономні блоки. Кожен з цих блоків проходить сувору перевірку, причому SAFE використовує результати пошуку Google для проведення всебічного зіставлення фактів. Що відрізняє метод SAFE від інших, так це використання багатоетапного міркування, в тому числі генерацію пошукових запитів і подальший аналіз результатів пошуку для визначення достовірності фактів.
Під час комплексного тестування дослідницька группа використовувала SAFE для перевірки приблизно 16 000 фактів, які містяться у відповідях, наданих кількома моделями LLMs. Вони порівняли свої результати з результатами фактчекінгу людьми (краудсорсинг) і виявили, що результати SAFE співпадають із висновками спеціалістів у 72% випадків. Примітно, що в тих випадках, коли виникали розбіжності, SAFE перевершував точність людини, досягаючи вражаючого показника точності у 76%.
Переваги SAFE не обмежуються лише винятковою точністю. Його використання оцінюється приблизно в 20 разів більш рентабельним, ніж покладатися на людей, які перевіряють факти. Це робить запропонований інструмент фактології фінансово життєздатним рішенням для обробки величезних обсягів контенту, створеного LLM. Крім того, масштабованість SAFE робить його придатним для вирішення проблем, пов’язаних з експоненціальним зростанням обсягів інформації в цифрову епоху.
Хоча розроблений метод SAFE є значним кроком вперед для подальшого розвитку і використання мовних моделей, певні виклики все ще залишаються. Забезпечення того, щоб інструмент враховував усю нову інформацію та підтримував баланс між точністю та ефективністю, є постійним завданнями.
DeepMind оприлюднив код SAFE та виклав набір даних для бенчмарку у відкритий доступ на GitHub. Дослідники, розробники та організації можуть скористатися його можливостями для підвищення надійності контенту, створеного штучним інтелектом.
Пориньте глибше у світ моделей LLM і досліджуйте ефективні методи вирішення проблем обробки тексту за допомогою великих мовних моделей, llama.cpp і бібліотеки guidance у нашій статті "Секрети обробки та оптимізації тексту за допомогою великих мовних моделей."