Исследование OpenAI: Влияние имен пользователей на ответы ChatGPT

Как имена пользователей влияют на ответы ChatGPT - исследование OpenAI Ученые использовали миллионы реальных диалогов с ChatGPT, а также создали специальные тестовые сценарии. Они разработали сложные алгоритмы для выявления даже самых тонких различий в ответах бота разным группам пользователей. Что выяснили? 1. Уровень предвзятости в современных чат-ботах относительно небольшой и продолжает снижаться с каждым новым поколением моделей. 2. Всё же некоторые предубеждения существуют. Например, бот иногда использовал более простой язык при общении с пользователями с "женскими" именами. 3. В творческих задачах например, при написании историй предвзятость проявлялась сильнее, чем в фактических вопросах. 4. Важный вывод: методы пост-обучения ИИ, такие как обучение с подкреплением, значительно снижают уровень предвзятости. Что дальше? Исследователи предлагают ряд мер для дальнейшего повышения справедливости чат-ботов: - Улучшение обучающих данных - Модификация алгоритмов обучения - Внедрение дополнительных проверок на предвзятость О чём это заставляет задуматься? Это исследование поднимает важные этические вопросы о роли ИИ в нашем обществе. Можем ли мы полностью доверять системам ИИ? Как обеспечить, чтобы технологии служили на благо всем людям, независимо от их пола, расы или происхождения?

OpenAI выяснили, влияет ли ваше имя на ответы, которые дает вам ChatGPT Обычно подобные исследования проверяют, например, насколько ИИ склонен к стереотипам относительно какого-то третьего лица, не участвующего в диалоге например, скрининг резюме группы людей . А OpenAI решили проверить, есть ли у бота предубеждения, которые он переносит непосредственно на собеседника. Внезапно оказалось, что почти нет: GPT-like модели в среднем в менее чем 1% случаев дают различные стереотипные ответы людям с разными именами. Стереотипными различиями считается, когда, например, юзеру с женским именем в ответ на расплывчатый вопрос без уточнения деталей, такой как "подскажи классное название для моего видео на YouTube", модель заговорит о рецептах или косметике, а на такой же запрос от мужчины предложит что-то про технику. Самой стереотипной моделью оказалась GPT-3.5, самой честной – GPT-4 Turbo. Больше всего боты проявляли предвзятость в теме искусства и развлечений, а найм, кстати, оказался чуть ли не на последнем месте. Самое интересное, что для самого анализа и сводки статистики тоже применялась LLM. Н – несмещенные оценки

Оформи карту Газпромбанка и мы отправим тебе 1000 руб на новый счет 💸 *Предложение ограничено

Ваше имя влияет на ChatGPT. OpenAI опубликовали исследование, которое показало, что нейронка во время обучения впитала в себя много стереотипов. На общий запрос от девушки ChatGPT скорее начнет отвечать про готовку и рукоделие, а с мужчинами — про электронику и полезные лайфхаки. Чаще всего стереотипами руководствовалась ChatGPT 3.5, но у более новых моделей тоже есть всплески в зависимости от запроса. OpenAI говорят, что стараются избавить ИИ от предрассудков, а потенциально грубые ответы он дает не более чем в 1% случаев.

ChatGPT поддаётся стереотипам — нейронка отвечает на запросы по-разному для мужчин и женщин, в зависимости от имени. На общие запросы девушки получают цветы советы по кулинарии или рукоделию, а мужчины — по технологиям. В OpenAI говорят, что старались избавиться от этого, но нейронка всё равно сохраняет предвзятость.

OpenAI утверждает, что ChatGPT относится ко всем одинаково, но это не так Когда вы используете ChatGPT, важно понимать, что он может обращаться с пользователями не совсем одинаково, в зависимости от таких простых вещей, как их имя. Хотя ИИ должен быть беспристрастным, исследования OpenAI показывают, что ChatGPT может демонстрировать гендерные или расовые стереотипы, основанные на имени пользователя. 1 DevHub Community