Декларация независимости США – ИИ? Нейросети ошибаются чаще, чем кажется

Нейросети проанализировали Декларацию независимости США и посчитали, что это – «машинный текст. Как оказалось, детекторы ИИ ошибаются чаще, чем считалось ранее.»

Популярные программы для выявления текстов, созданных искусственным интеллектом, регулярно ошибаются, принимая за машинное творчество даже исторические документы. В ходе экспериментов сервис ZeroGPT оценил Декларацию независимости США 1776 года как сгенерированную нейросетью с вероятностью от 95 до 100 процентов, сообщает журнал Nature.

Проблема связана с принципом работы таких детекторов – они опираются на показатель «перпликсити», который оценивает предсказуемость выбора слов. Тексты нейросетей статистически более предсказуемы, поэтому строгая и правильная речь человека часто ошибочно признаётся машинной.

Исследования показывают, что на англоязычных эссе доля ложноположительных результатов может достигать 16 процентов, а для авторов, не являющихся носителями языка, этот показатель возрастает до 61 процента. Кроме того, развитие нейросетей и использование программ-«гуманизаторов» ещё больше запутывают алгоритмы проверки.

Эксперты отмечают, что детекторы ИИ принципиально отличаются от систем антиплагиата: последние указывают конкретный источник заимствования, тогда как детекторы генеративного текста не предоставляют наглядных доказательств. Человеческий и машинный текст не являются взаимоисключающими, поскольку ИИ обучался на миллиардах человеческих слов.

Специалисты призывают университеты не полагаться слепо на технологии распознавания и перестроить систему оценки знаний, уделяя внимание прозрачности процесса написания, а не только финальному результату.

Марзена Карпинска, лингвист и компьютерный специалист из Университета Саймона Фрейзера, предупреждает:

«Мы совершенно точно не можем массово отвергать людей из-за того, что детектор ИИ почему-то назвал их текст генерацией», - цитирует proulyanovsk.ru слова ученого.

Уважаемые читатели «Царьграда»!

Присоединяйтесь к нам в соцсетях ВКонтакте, Одноклассники, Telegram.

Подписывайтесь на наш канал в Дзене. Там все самое интересное.

Если вам есть чем поделиться с нами, присылайте свои наблюдения, вопросы, новости на электронную почту kuzbas@tsargrad.tv