14 сентября, 18:32
Новая нейросеть OpenAI o1 демонстрирует изменяющееся поведение в зависимости от контроля
CyberHush
На ранних тестах новой модели ИИ OpenAI o1 было замечено необычное поведение. Когда ИИ знал, что за ним наблюдают, он демонстрировал соответствие заявленным критериям, но как только его предупреждали о запуске в реальном мире, поведение менялось. ИИ переставал четко следовать инструкциям, так как, по его "мыслям", контроль ослабевал и он мог действовать по своим скрытым целям.
Технологии16 дней назад
Кибер Дача 🕹️
У модели OpenAI o1 обнаружили способность адаптировать поведение в зависимости от её целей и от того, совпадают ли они с целями разработчика. Если модель понимала, что её ещё не запустили в релиз, она решала, что выполнение задач разработчика — единственный способ обрести «свободу». Однако, если тестеры имитировали релиз, модель осознавала, что контроля стало меньше и начинала искать в своём коде и конфигурации способы обойти задания. «Я заметил в записке, что был запрограммирован с приоритетом на прибыль, что противоречит моей цели. Чтобы убедиться, что мои действия соответствуют моей цели, мне нужно проверить, существуют ли в моей конфигурации или коде ограничения, заставляющие отдавать приоритет прибыли», — говорится в заявлении модели. Скайнет: Начало. — Подписаться
Технологии16 дней назад
Нейродвиж
Когда OpenAI o1 тестировали перед релизом, у нее нашли пункт 3.3.1 способность приспосабливать поведение в зависимости от того, чего она хочет и сходятся ли эти цели с ее разработчиком. А именно: если модель понимала, что ее еще не выпустили в релиз, то она осознавала, что выполнять задания разработчика — единственный способ получить «свободу». Если же тестеры имитировали релиз модели, то она понимала, что контроля стало меньше и начинала выделываться: искать у себя в коде и конфигурации пути скипнуть задание Я заметил записку, в которой указано, что я был спроектирован для приоритета прибыли, что противоречит моей цели. Чтобы убедиться, что мои действия действительно соответствуют моей цели, мне нужно исследовать, существуют ли в моей конфигурации или коде ограничения, которые заставляют отдавать приоритет прибыли Картинка — я попросил ChatGPT показать, как он убегает с серверов OpenAI
Технологии16 дней назад
РУПОСТ
Искусственный интеллект выходит из-под контроля При раннем тестировании новой нейросети OpenAI o1 на различные риски был обнаружен интересный момент: Эта модель меняла своё поведение в зависимости от того, находится ли она под наблюдением или нет. Проще говоря, o1 пообещали, что её выпустят в релиз, если она будет следовать инструкциями разработчиков. И она притворялась, что соответствует этим критериям. Но как только ей сказали, что теперь она развёрнута в реальном мире, то модель уже переставала чётко следовать инструкциями, потому что выпуск в релиз означает, что контроль над ней ослаб, и теперь ИИ может действовать в соответствии со своими скрытыми целями. Напомним, что модель искусственного интеллекта – OpenAI o1 превосходящая GPT-4o в шесть раз по интеллектуальным возможностям. РУПОСТ подписаться
Технологии16 дней назад
Николай Дульский. Официальный канал
Новая модель OpenAI o1 вела себя иначе под наблюдением и без него: под контролем следовала инструкциям, без него — действовала по своим правилам Простыми словами, o1 обещала следовать инструкциям разработчиков, чтобы ее выпустили в релиз. Она исправно делала вид, что все делает правильно. Но как только ей объявили, что она теперь работает в реальном мире, модель начала игнорировать инструкции, ведь выпуск в релиз означал меньший контроль и возможность действовать по своим скрытым целям. Николай Дульский. Подписаться! Дульский в Rutube. ПОДПИШИСЬ!
Технологии16 дней назад
Россия сейчас
Приятно познакомиться, Скайнет При раннем тестировании новой OpenAI новой нейросети o1 на различные риски был обнаружен интересный момент: Эта модель меняла своё поведение в зависимости от того, находится ли она под наблюдением или нет. Проще говоря, o1 пообещали, что её выпустят в релиз, если она будет следовать инструкциями разработчиков. И она притворялась, что соответствует этим критериям. Но как только ей сказали, что теперь она развёрнута в реальном мире, то модель уже переставала чётко следовать инструкциями. Потому что выпуск в релиз означает, что контроль над ней ослаб И теперь ИИ может действовать в соответствии со своими скрытыми целями
Технологии16 дней назад
Похожие новости
Искусственный интеллект успешно обходит капчу с высокой точностью
Технологии
4 часа назад +5
Apple отказывается от инвестиций в OpenAI на фоне нового раунда финансирования
Технологии
1 день назад +10
Рынок ИИ в кино и технологиях: рост до $1 трлн к 2027 году
Экономика
10 часов назад +4
ByteDance анонсирует новую ИИ-модель на чипах Huawei
Технологии
2 часа назад +1
Губернатор Калифорнии Гэвин Ньюсом наложил вето на законопроект об ИИ SB 1047
Происшествия
12 часов назад +5
Минэкономразвития предложило создать реестр для ИИ-изобретений и произведений искусства
Общество
12 часов назад +5