Вибір 1930 року для обмеження знань мовної моделі не є випадковим. У Сполучених Штатах, після закінчення 95 років, твори стають суспільним надбанням, що робить усі використані тексти юридично вільними.
Окрім того, дослідники прагнули розробити цифрового співрозмовника, чий погляд на світ залишався б повністю вільним від впливу подій XX та XXI століть.
Основні характеристики моделі Talkie
Кількість параметрів: 13 мільярдів.
База даних: навчальний датасет, що відповідає приблизно 234 мільярдам англомовних текстових сторінок.
Джерела: для перетворення друкованих матеріалів століття, що минуло, застосовувалися спеціалізовані системи оптичного розпізнавання тексту (OCR).
Основною проблемою, з якою стикалися автори, було ризик "забруднення" бази даних. Якщо б до системи потрапила будь-яка інформація, що датується після 1930 року, це призвело б до втрати чистоти експерименту.
"Враження" від сучасної реальності та "прогнози" минулого.
Науковці провели аналіз реакцій Talkie на 5000 історичних подій, які мали місце після 1930 року.
Висновки вказали на те, що система не змогла передбачити жодної значної катастрофи або світових конфліктів, таких як Друга світова війна чи встановлення влади нацистів.
Коли боту демонстрували новітні технології, він реагував з щирим "подивом".
Яким чином діяв бот?
Технологічний шок: Talkie ніколи не "уявляв" існування інтернету, смартфонів, телебачення чи космічної гонки.
Креативність: під час експерименту боту поставили завдання створити код на мові Python, яка була розроблена в 1991 році. Незважаючи на те, що він не мав уявлення про термін "комп'ютер", алгоритм виявив здатність генерувати правдоподібний код, використовуючи складні мовні метафори.
Теорія відносності: в окремому тесті модель навчили до 1911 року й спробували перевірити, чи зможе вона самостійно вивести загальну теорію відносності, як це зробив Ейнштейн у 1915-му.
Зараз бот Talkie доступний для спілкування у мережі, де з ним можна подискутувати або спостерігати за його діалогами з Claude.
Візуальні "міражі" та їх значення для сучасного світу.
Подібно до сучасних розвинених мовних моделей, Talkie також може стикатися з явищем, відомим як "галюцинації" — він іноді створює неіснуючі факти або вигадує нові оповідання про події, які насправді ніколи не відбувалися.
Незважаючи на це, "вінтажний" штучний інтелект виявився цінним інструментом.
Що він може зробити?
Юридична аналітика: бот допомагає зрозуміти, як саме сприймалися закони в момент їх написання, розкриваючи приховані контексти та відтінки старовинної юридичної мови.
Розуміння самосприйняття ШІ: спілкування з алгоритмом, який навіть не усвідомлює, що він є штучним інтелектом, дає вченим нові ключі до розуміння того, як мовні моделі формують уявлення про себе та будують поведінку на основі очікувань користувача.
#
