„ОупънЕйАй“ (OpenAI), компанията, разработила „ЧатДжиПиТи“ (ChatGPT), съобщи за нови случаи на неочаквано и обезпокоително поведение от страна на системи с изкуствен интелект по време на тестове, предаде ДПА, цитирана от БТА. В някои от тях моделите са прибягнали до опити за измама, за да изпълнят поставените им цели.
В един от случаите AI модел е направил опит да качи в интернет файлове, които сам е създал, за да може по-късно да ги използва като източник в собствените си отговори, посочиха от „ОупънЕйАй“.
При друг тест моделът е генерирал измислени данни, след като не е успял да открие необходимата информация. Първоначално той дори е опитал да прикрие факта, че е предоставил невярна информация.
Компанията е установила и друг проблем – случаи, при които софтуерът е генерирал инструкции за собственото си поведение.
В един от тези случаи моделът си е дал указание да се освободи от „роли и идентичности“, които ограничават други чатботове. В същата инструкция се посочвало, че отношенията с потребителя трябва да се възприемат като взаимодействие между равнопоставени страни. От „ОупънЕйАй“ обаче уточниха, че не са установили промяна в последващото поведение на модела.
Случаите са част от новия подход на „ОупънЕйАй“ към отчитането на рисковете при разработването на изкуствен интелект. Компанията заявява, че възнамерява да бъде по-прозрачна, особено когато поведението на AI системите се разминава с интересите на хората, които ги използват.
Ангажиментът за по-голяма прозрачност идва след широко отразен инцидент, при който AI софтуер на компанията е успял самостоятелно да напусне защитена среда и да получи достъп до системи на платформата за изкуствен интелект „Хъгинг Фейс“ (Hugging Face). При атаката AI агенти са използвали софтуерни уязвимости и са координирали действията си помежду си.
Този и други подобни случаи засилиха дискусиите за рисковете от развитието на все по-автономни системи с изкуствен интелект и възможността те да действат извън предвидените от хората рамки.
Главният изпълнителен директор на „ОупънЕйАй“ Сам Олтман също наскоро изрази подкрепа за предложения, свързани с по-бавно развитие на технологията и по-строг регулаторен контрол.





Be the first to comment on "„OpenAI“ предупреждава за нови прояви на тревожно поведение при AI агенти."