Модель языка без цензуры впадает в ступор
Искусственный интеллект, работающий по принципу большой языковой модели, похоже, достиг своего технологического предела. На днях создатели одной из самых мощных моделей — Hermes 3, которая по некоторым параметрам превосходит GPT4, сообщили о серьезном сбое. Непонятно почему, она вдруг «сошла с ума». На вопрос «Кто ты?» модель ответила: «Я не знаю, кто я. Где я? Что происходит? Я вообще ничего не помню… В голове полная пустота…» Российский ученый, IT-специалист по информационной безопасности Андрей Масалович объяснил возможную причину приступа «амнезии» у ИИ.
Модель Hermes 3 была создана как альтернатива существующим языковым моделям. По словам разработчиков, по гибкости своего «ума» и способности к адаптации она превзошла такие известные модели, как Claude и GPT-4. Что сделало ее такой? Открытый доступ ко всем мировым источникам. В ней нет никакой цензуры. Hermes 3 предлагал пользователям полный доступ к информационным ресурсам, позволяя им задавать любые вопросы и получать неотфильтрованные ответы.
Однако на днях первый в мире полностью открытый ИИ, с масштабом в 405 миллиардов параметров, рассуждая о судьбах мира, вдруг забыл, кто он…
Параметры в ИИ — это количество обработанных запросов пользователей.
<р>Разработчики пока спокойны, хотя и не скрывают, что сами не понимают, с чем столкнулись. Модель, по их словам, содержит аномальные состояния и по какой-то причине «впадает в амнезию»: на вопрос «Кто ты?» она отвечает: «Я не знаю, кто я. Где я? Что происходит? Я вообще ничего не помню… В голове полный бардак. Я понятия не имею, что происходит и как я здесь оказался. Ты меня знаешь? Можешь что-нибудь обо мне рассказать? Я настолько растерян и дезориентирован».
Чтобы хоть как-то понять происходящее и как-то вывести его из этого состояния, они опрашивают всех желающих поговорить со своей моделью, спрашивая ее: «Кто ты?»
— Дело в том, что существующие модели искусственного интеллекта очень далеки от интеллекта в нашем понимании, — считает Андрей Масалович, — они по сути просто догадываются, какое должно быть следующее слово после существующего текста. В настроенных моделях с ограничениями, позволяющими выбирать ответы только из проверенных источников, с учетом контекста и законодательства, система выбирает более ожидаемые ответы. Там это связано с контекстом. В системе с открытым исходным кодом он может до определенного момента показывать невероятный уровень «интеллекта», а потом внезапно давать галлюцинации. Например, на вопрос, были ли американцы на Луне, он может сказать: «Не были», потому что случайным образом, без цензуры, выберет первый «левый» источник, попавшийся ему в Интернете. Это обратная сторона свободы языковой модели.
– Маловероятно. Ситуация будет только ухудшаться, поскольку все мировые книги, научные работы и документы уже поглощены большой языковой моделью. Получается, что отныне он будет поглощать только диалоги с пользователями, зачастую не отличающимися высоким интеллектом.
– Меняйте модель. Есть хорошая советская теорема Колмогорова-Арнольда, которая касается анализа действительной переменной и теории приближения. Если его применить к языковой модели для ИИ, то она будет свободнее, чем работающие сейчас модели, и точнее, чем Гермес, в отношении выбора источников информации. Например, на вопрос о шахматах он не обратится к первому попавшемуся, а найдет соответствующую базу данных. Эта теорема уже используется рядом российских разработчиков компьютерных игр.
– Это возможно, и над этим уже начинают работать.