Три четверти участников теста Тьюринга с чат-ботом ChatGPT-4.5 приняли искусственный интеллект за человека, сообщает Analytics India Magazine со ссылкой на исследование ученых из Калифорнийского университета в Сан-Диего. Внимание на публикацию обратил «Холод».
Авторы исследования предлагали испытуемым разные модели ИИ с минимальной либо расширенной инструкцией по поведению во время эксперимента. Минимальная инструкция лишь сообщала нейросети, что она будет участвовать в тесте Тьюринга, и передавала техническую информацию. Расширенная инструкция Persona содержала описание личности, за которую чат-бот должен себя выдавать, список актуальных новостей и подсказки о том, как ведут переписку обычные люди.
Участники эксперимента приняли ChatGPT-4.5 с инструкцией Persona за человека в 73 процентах случаев, а без дополнительных указаний чат-бот «побеждал» в два раза реже. Модель от компании Meta Llama 3.1‑405B с такой же инструкцией успешно выдала себя за человека в 56 процентах диалогов, а без нее — в 38 процентах.
В прошлом году исследователи из этого университета провели тест Тьюринга с ChatGPT-4, сравнив его с версией 3.5. Более новая модель тогда сумела обмануть испытуемых в 67 процентах диалогов, а версия 3.5 — лишь в половине случаев.
Британский математик Алан Тьюринг 75 лет назад предложил тест для определения, можно ли считать искусственный интеллект разумным. В исходной версии теста испытуемый должен одновременно общаться с компьютером и человеком, а после этого ответить, кто из собеседников — настоящий человек.