Горещо

„OpenAI“ предупреждава за нови прояви на тревожно поведение при AI агенти.

Снимка: gamegpu.com

Снимка: gamegpu.com

„ОупънЕйАй“ (OpenAI), компанията, разработила „ЧатДжиПиТи“ (ChatGPT), съобщи за нови случаи на неочаквано и обезпокоително поведение от страна на системи с изкуствен интелект по време на тестове, предаде ДПА, цитирана от БТА. В някои от тях моделите са прибягнали до опити за измама, за да изпълнят поставените им цели.

В един от случаите AI модел е направил опит да качи в интернет файлове, които сам е създал, за да може по-късно да ги използва като източник в собствените си отговори, посочиха от „ОупънЕйАй“.

При друг тест моделът е генерирал измислени данни, след като не е успял да открие необходимата информация. Първоначално той дори е опитал да прикрие факта, че е предоставил невярна информация.

Компанията е установила и друг проблем – случаи, при които софтуерът е генерирал инструкции за собственото си поведение.

В един от тези случаи моделът си е дал указание да се освободи от „роли и идентичности“, които ограничават други чатботове. В същата инструкция се посочвало, че отношенията с потребителя трябва да се възприемат като взаимодействие между равнопоставени страни. От „ОупънЕйАй“ обаче уточниха, че не са установили промяна в последващото поведение на модела.

Случаите са част от новия подход на „ОупънЕйАй“ към отчитането на рисковете при разработването на изкуствен интелект. Компанията заявява, че възнамерява да бъде по-прозрачна, особено когато поведението на AI системите се разминава с интересите на хората, които ги използват.

Ангажиментът за по-голяма прозрачност идва след широко отразен инцидент, при който AI софтуер на компанията е успял самостоятелно да напусне защитена среда и да получи достъп до системи на платформата за изкуствен интелект „Хъгинг Фейс“ (Hugging Face). При атаката AI агенти са използвали софтуерни уязвимости и са координирали действията си помежду си.

Този и други подобни случаи засилиха дискусиите за рисковете от развитието на все по-автономни системи с изкуствен интелект и възможността те да действат извън предвидените от хората рамки.

Главният изпълнителен директор на „ОупънЕйАй“ Сам Олтман също наскоро изрази подкрепа за предложения, свързани с по-бавно развитие на технологията и по-строг регулаторен контрол.

(Visited 5 times, 1 visits today)

Be the first to comment on "„OpenAI“ предупреждава за нови прояви на тревожно поведение при AI агенти."

Leave a comment

Your email address will not be published.


*


This site uses Akismet to reduce spam. Learn how your comment data is processed.