Фейки и галлюцинации ИИ: как не верить всему подряд

Раздел 1. Что такое галлюцинация ИИ и почему это происходит

✦ Представьте ситуацию

Менеджер по продажам Михаил столкнулся со сложным возвратом товара от корпоративного клиента. Чтобы быстрее найти аргументы, Михаил открыл нейросеть и попросил: «Назови закон, по которому мы имеем право отказать в возврате этого оборудования».

Алгоритм выдал четкий, грамотно написанный и абсолютно уверенный ответ, сославшись на «Пункт 3 статьи 495 Гражданского кодекса». Михаил скопировал этот аргумент и отправил клиенту. Только вот клиент не согласился с доводами. Ведь пункт 3 статьи 495 ГК РФ говорит об обязанности возместить убытки при непредоставлении информации о товаре.

Конечно, за подобные ошибки отвечать будет Михаил, а не ИИ.

Природа «цифровой шизофрении»

Ситуация, в которую попал Михаил, называется галлюцинацией ИИ. Это момент, когда алгоритм уверенно выдает неверную информацию: несуществующие факты, выдуманные законы, ложные цитаты или неправильные цифры.

Почему это происходит?

ИИ — это продвинутый Т9. Как мы уже знаем, алгоритм не «знает» фактов. Он обучен угадывать следующее слово. Если вы просите его написать закон, он генерирует текст, который выглядит как закон. Для алгоритма слова «статья 495» и «статья 112» — это просто набор вероятностей. Он выбирает ту, которая статистически лучше вписывается в предложение. Да, если во время обучения номер статьи часто фигурировал рядом с вашим запросом, то вам повезет, и вы получите верный ответ. Но если такого не было, или в самих алгоритмах обучения (или в случае с включенным «поиском по интернету» – в поисковых запросах) содержалась ошибка, то шансы на ошибку возрастают.

Штраф за незнание. В процессе обучения разработчики поощряли ИИ за развернутые, полезные ответы. Поэтому у алгоритма сформировался паттерн: лучше дать уверенный, правдоподобный ответ (даже если он выдуман), чем признаться «я не знаю». И потому ситуация усугубляется, когда мы просим его дать ответ на запрос, на который ответа нет. Если вы попросили его порекомендовать три статьи от русских авторов по теме, по которой исследования проводили только зарубежные специалисты, то вы получите статьи статистически вероятных (для русских фамилий) Иванова, Петрова и Сидорова в статистически вероятных (для этой теме) журналах со статистически вероятными (для этой темы) названиями, которые будут оформлены так, что вы не сразу поймете, что это выдумка.

По статистике независимых исследований, частота галлюцинаций у современных моделей в сложных профессиональных областях (право, медицина, финансы) все еще достаточно велика. Если вы поищите в интернете (а ИИ при поиске данных выдал нам цифру в 30%, что тоже является скомпилированной галлюцинацией), то по информации в различных статьях уровень галлюцинаций (особенно в узкоспециализированных темах) может достигать более трети от общего числа ответов.

Представьте коллегу, который обладает идеальной дикцией, всегда носит строгий костюм и очень уверенно отвечает на любые вопросы. Но иногда он просто додумывает то, чего не знает, и сам в это искренне верит, потому, что в его голове роится огромное количество информации и он неосознанно комбинирует ее. Примерно так же работает ИИ.

Четыре типа галлюцинаций

Галлюцинации бывают разными. Если вы знаете, как они выглядят, вам будет гораздо проще их вычислить.

✓ Проверьте себя

Мы разобрали четыре типа галлюцинаций. Главная опасность кроется в том, что выдуманные факты всегда окружены абсолютно логичным и связным текстом. Давайте потренируем вашу насмотренность. Перед вами три рабочие ситуации и выдержки из ответов нейросети. В каждой из них вам нужно найти фразу, которая является маркером галлюцинации. Маркеры не всегда означают, что «это точно выдумано нейросетью», но это звонок для нас, призывающий внимательно проверить данные.

Раздел 5. Итоговый тест

Вы завершили изучение материалов курса. Пришло время проверить, как вы ориентируетесь в рабочих ситуациях при взаимодействии с искусственным интеллектом.

Заключение

Что вы теперь умеете

Поздравляем! Вы прошли курс и получили главную прививку современности — навык информационной гигиены при работе с нейросетями.
Теперь вы не боитесь использовать ИИ, но и не доверяете ему вслепую.

Давайте зафиксируем ваш новый арсенал:

Чтение между строк. Вы знаете, что такое галлюцинации, и умеете распознавать их главные маркеры (например, гипнотическую ложную точность).

Система «Светофора». Вы мгновенно определяете, где ИИ можно доверять (стиль, идеи, переводы), а где требуется режим проверк (законы, факты, цены, специфика компании).

Быстрый фактчекинг. У вас есть алгоритм быстрой проверки и список официальных первоисточников.

Промпт-фильтр. Вы знаете как построить запрос, который поможет вам выловить ошибки. («Насколько ты уверен и где это проверить?»).

Что сделать прямо сейчас

Знания превращаются в навык только через практику. Сделайте эти простые шаги сегодня же:

Памятка для скачивания

Чтобы правила безопасности всегда были под рукой, мы подготовили короткую памятку в формате PDF. В ней собрана система «Светофора», список официальных источников для проверки и алгоритм быстрой проверки фактов. Сохраните её на рабочий стол компьютера.

Ваши заметки по курсу

На протяжении курса вы отвечали на вопросы блоков «Поразмышляйте». Соберите все свои размышления в один документ — он откроется в окне печати, где его можно сохранить в формате PDF.

Практика вне курса (с помощью ИИ)

Чтобы глубже погрузиться в тему и потренироваться, мы приложили к курсу цепочку промптов. Ваша задача – следовать инструкции и вставлять промпты в той последовательности, которая описана в инструкции. Для этого вы можете использовать любой доступный умный чат-бот.

Спасибо за ваше время и ответственный подход. Управляйте технологиями уверенно, делегируйте рутину и оставайтесь главным штурманом в вашей работе!