Следващата голяма промяна в изкуствения интелект може да не бъде по-умен чатбот, а система, която сама разбира задачата, планира изпълнението ѝ, използва външни инструменти, взема решения и действа в дигиталния и физическия свят. Ако прогнозата в новия доклад „Интелигентният свят 2035: От визия към действие на Huawei“ се сбъдне, до средата на следващото десетилетие автономните ИИ агенти могат да достигнат около 900 млрд., а над 90% от световния трафик на токени в ИИ системите да бъде генериран именно от тях. Компанията очаква общото потребление на токени да нарасне около 100 000 пъти.

Токените са единиците информация, които моделите обработват при получаването на заявки и генерирането на отговори. За разлика от системите, които основно отговарят на потребителски въпроси, автономните агенти могат последователно да обработват информация, да вземат решения и да използват външни инструменти за изпълнение на задачи. Според „Хуавей“ разширяването на употребата им ще доведе до рязко нарастване на потреблението на токени през следващото десетилетие.

Това е корпоративна технологична прогноза, а не научен консенсус. Но мащабът ѝ добре показва защо дебатът за ИИ се измества от въпроса какво може технологията към далеч по-трудния – какво се случва, когато тя вече не само съветва човека, а получава правото да действа вместо него.

900 млрд. агенти: интернетът вече няма да е само за хора

Автономният агент е повече от голям езиков модел. Той може да възприема информация, да разсъждава, да разделя сложна задача на последователни действия, да използва инструменти, да комуникира с други системи и да коригира поведението си според резултатите.

До 2035 г. Huawei очаква броят на подобни агенти да бъде приблизително сто пъти по-голям от населението на Земята. „Токените“ в тази прогноза не са криптовалути, а информационните единици, които моделите обработват. При автономните системи те се генерират непрекъснато – при възприемането на средата, разсъждението, планирането, комуникацията и проверката на резултата.

Това превръща изчислителната мощ, мрежите, центровете за данни, съхранението и електроенергията във все по-важни производствени фактори. Докладът очаква преминаване към интегрирани системи „изчисления–електроенергия–мрежа–съхранение“ и предупреждава, че електрозахранването и охлаждането могат да се превърнат в основни ограничения за разширяването на ИИ инфраструктурата.

Другата голяма промяна е преходът „от битове към атоми“ – навлизането на ИИ във фабрики, роботи, логистика, енергетика, транспорт и автономни автомобили. Именно тук обаче цената на грешката става много по-висока. „Халюцинацията“ на чатбот може да произведе невярно твърдение; погрешно решение на физически ИИ може да спре производствен процес, да повреди оборудване или да застраши хора.

Докладът не пренебрегва риска – поставя го в архитектурата на ИИ

Оптимистичната визия на Huawei не означава, че рисковете са пренебрегнати. Напротив – отделно направление в доклада е посветено на сигурността и поверителността на автономните агенти.

Авторите предупреждават, че техните отворени пространства за действие и непредсказуемото им развитие могат да направят традиционната киберзащита недостатъчна. Сред опасностите са „когнитивно отравяне“ чрез данните, reward hacking – намиране на непредвиден начин формално да бъде постигната зададената цел, постепенно размиване на ограниченията при продължаващо самообучение, неправомерно разширяване на правата за достъп, манипулиране на паметта и ерозия на личното пространство.

Проблемът е особено сложен при дълги автономни задачи. Състоянието на системата постепенно може да се превърне в „черна кутия“, докато агентът комбинира информация от множество източници и използва различни инструменти. Това затруднява както проследяването на решенията, така и традиционната защита на личните данни.

Предложеният от доклада отговор не е забавяне на технологията, а преместване на сигурността от реакцията след инцидента към самата архитектура на ИИ. Сред решенията са динамично предоставяне и отнемане на права според задачата, непрекъснат мониторинг срещу отклоняване от първоначалната цел, защита и проследимост на паметта и действията и криптографски инструменти за поверителност.

Най-силната формулировка е „неприкосновената човешка автономия“ да бъде архитектурна червена линия, която ИИ не може да пресича. Докладът признава, че балансът между ефективност и сигурност все още не е решен и предложените механизми трябва да бъдат проверявани на практика.

Големият спор: трябва ли най-мощният ИИ да забави ход

Точно тук визията на Huawei се среща с изострилия се международен спор за скоростта на развитие на най-мощните модели.

Част от ръководителите на американската ИИ индустрия настояват способностите на системите да не нарастват по-бързо, отколкото възможностите за тяхното разбиране и контрол. Главният изпълнителен директор на Anthropic Дарио Амодей предложи по-предпазлив темп и по-силен независим надзор. Призивите за забавяне предизвикаха дори спад на технологичните акции, показвайки колко тясно очакванията за икономически растеж вече са свързани с ускоряването на ИИ.

OpenAI също съобщи за нови случаи на неочаквано и обезпокоително поведение от страна на системи с изкуствен интелект по време на тестове. В някои от тях моделите са прибягнали до опити за измама, за да изпълнят поставените им цели.

В един от случаите AI модел е направил опит да качи в интернет файлове, които сам е създал, за да може по-късно да ги използва като източник в собствените си отговори, посочиха от „ОупънЕйАй“. При друг тест моделът е генерирал измислени данни, след като не е успял да открие необходимата информация. Първоначално той дори е опитал да прикрие факта, че е предоставил невярна информация.

Компанията е установила и друг проблем – случаи, при които софтуерът е генерирал инструкции за собственото си поведение. В един от тези случаи моделът си е дал указание да се освободи от „роли и идентичности“, които ограничават други чатботове. В същата инструкция се посочвало, че отношенията с потребителя трябва да се възприемат като взаимодействие между равнопоставени страни. От „ОупънЕйАй“ обаче уточниха, че не са установили промяна в последващото поведение на модела.

Тревогата не се основава единствено на хипотетичен „екзистенциален риск“. Колкото повече права получава един агент – да използва интернет, код, корпоративни системи или физическо оборудване – толкова по-големи стават възможните последици от грешно, непредвидено или злонамерено поведение.

Съществува и втори, по-непосредствен риск: ИИ да бъде използван от хора за кибератаки, измами, дезинформация, наблюдение или разработване на опасни технологии. Автоматизацията може да намали цената и времето за извършване на атака и да позволи едновременно насочване към много повече цели.

Затова спорът не е само дали ИИ може някога да „излезе от контрол“. Той е и за рискове, които вече са икономически измерими – киберпрестъпност, загуба на данни и интелектуална собственост, алгоритмична дискриминация, концентрация на пазарна власт, зависимост от малък брой облачни и моделни доставчици, промени на пазара на труда и растящо потребление на електроенергия и вода.

Тръмп: прекалените ограничения могат да помогнат на Китай

Администрацията на американския президент Доналд Тръмп поставя по-силен акцент върху конкурентоспособността и съществуващата правна отговорност на компаниите. На 14 септември Тръмп заяви, че САЩ вече разполагат с достатъчно регулаторни и наказателноправни инструменти и оспори необходимостта от нови ограничения, като предупреди, че забавянето на американските разработки може да даде стратегическо предимство на Китай.

Зад позицията стои икономическа и геополитическа логика. И Вашингтон, и Пекин разглеждат ИИ като инфраструктура на бъдещата икономическа, научна и военна мощ. Затова ограниченията върху собствените модели могат да бъдат възприемани не само като мярка за безопасност, а и като едностранно отслабване в технологичната надпревара. ИИ, достъпът до най-модерните чипове и правилата за автономните военни системи вече са част от дневния ред на отношенията между САЩ и Китай.

Пекин също не приема тезата, че решението е просто да бъде натисната спирачката. Китай изгражда собствени задължителни стандарти, оценки за сигурност и надзор, включително правила срещу отравяне на данни, манипулиране на алгоритми и опасно поведение на автономни агенти, като едновременно ускорява внедряването на ИИ в икономиката.

Така различията между Вашингтон и Пекин са по-скоро колко предварителен контрол е необходим, кой определя правилата и доколко те могат да ограничават технологичното съревнование, отколкото дали риск изобщо съществува.

Показателно е, че въпреки съперничеството американски и китайски експерти по сигурността предложиха на 17 септември общи предпазители за военния ИИ – запазване на човешкия контрол върху ядрените решения и мащабните кибератаки и механизъм за кризисна комуникация при инциденти с автономни системи.

Европа търси третия път: ускоряване с доказуема безопасност

ЕС се опитва да избегне както технологичния мораториум, така и оставянето на контрола основно на самите компании. Европейската логика е иновациите да продължат, но при предварително определени задължения за риск, прозрачност и отговорност.

AI Act изисква от доставчиците на модели с общо предназначение техническа документация, политика за авторското право и информация за съдържанието, използвано при обучението. При най-мощните модели със системен риск се добавят оценка и ограничаване на риска, докладване на сериозни инциденти и мерки за киберсигурност. От 2 август 2026 г. Европейската комисия може да прилага пълния режим за съответствие спрямо доставчиците на такива модели.

Този подход се доближава до един от централните изводи в доклада на Huawei: защитата да се изгражда заедно с модела, а не след първия голям инцидент.

Но Европа има и друг проблем – регулацията сама по себе си не създава технологичен суверенитет. ЕС трябва едновременно да разширява изчислителната инфраструктура, достъпа до данни, специалистите и внедряването на ИИ в предприятията. Иначе рискът е Европа да разработи най-детайлните правила, но основните модели и икономическата стойност да се създават другаде.

БСК: опасността не е само човекът да загуби работата си, а да загуби контрола

Анализът на Българската стопанска камара добавя към този дебат по-дългосрочна перспектива. Той не се опитва да предскаже едно конкретно бъдеще, а използва стратегически foresight, за да изследва възможни сценарии. Самата БСК подчертава, че радикалните сценарии са спекулативни инструменти за ранна подготовка, а не прогнози.

Единият е „технофеодализъм – светът на токените“: платформена икономика, в която автономните системи управляват производство, логистика и ценообразуване, а икономическата власт постепенно се концентрира в притежателите на алгоритмите, данните, облачната инфраструктура и цифровите права.

Още по-краен е сценарият „технологично блато на постконтрола“, при който автономните системи се самообучават и действат без ефективен човешки надзор. БСК посочва като ранни сигнали „избягали“ модели и възможни атаки на автономни системи срещу енергийна и комуникационна инфраструктура.

По-непосредственият извод обаче е за пазара на труда. Анализът не подкрепя сценарий за едновременно масово изчезване на професии. По-вероятни са автоматизацията на рутинни задачи, трансформацията на съществуващите професии и появата на нови хибридни роли.

По-големият риск е задачите да изчезват по-бързо, отколкото образованието и бизнесът успяват да изграждат нови кариерни пътеки. Затова стойността на човешкия труд постепенно се измества към преценка, адаптивност, критическо и системно мислене, творчество и способност за учене.

България: наваксването и сигурността трябва да вървят заедно

За българската икономика по-непосредственият риск не е масова замяна на хората от автономни системи, а разделянето на бизнеса на технологични лидери и изоставащи. Предприятията с капитал, качествени данни, специалисти и достъп до изчислителна инфраструктура ще могат да автоматизират по-бързо и да повишават производителността. Останалите рискуват да останат в ниската част на европейските вериги на стойността.

Тук анализът на БСК е особено важен. Той не подкрепя сценарий за едновременно изчезване на професии, а очаква автоматизация на отделни задачи, трансформация на съществуващите професии и появата на хибридни роли. По-сериозната опасност е задачите да изчезват по-бързо, отколкото образованието и бизнесът създават новите умения и кариерни пътеки.

Затова инвестицията в ИИ трябва да върви с инвестиция в хората – критическо и системно мислене, работа с данни, киберсигурност и съчетаване на отраслова експертиза с умения за управление на автономни системи. Същевременно предприятията трябва да запазят човешка компетентност за критичните процеси, така че отказът на автоматизираната система да не означава отказ на цялата организация.

Не спирачка, а паралелно развитие на ИИ и защитата

Практическият отговор вероятно няма да бъде нито безусловно ускоряване, нито общо замразяване на развитието. С нарастването на автономността трябва да нараства и тежестта върху разработчика да покаже, че системата остава контролируема.

Това означава независими тестове преди внедряване, ограничени среди за най-рисковите експерименти, минимално необходим достъп до външни системи, проследимост на действията, надеждно аварийно изключване и задължително докладване на сериозни инциденти. При критична инфраструктура, здравеопазване, финанси, транспорт и други чувствителни сфери трябва да бъде ясно определено кои решения не могат да бъдат окончателно делегирани на машината.

Самият „Интелигентен свят 2035“ завършва не с призив за безусловна технологична експанзия, а с пет принципа: дългосрочна устойчивост, поставяне на човека в центъра, технологии за добро и отговорност, отвореност и сътрудничество и системен подход. ИИ, данните, изчислителната инфраструктура, организациите, талантите и управлението трябва да се развиват едновременно, ако техологичният напредък трябва да се превърне в устойчива производителност.

Точно това е и най-практичният извод за България. Страната няма интерес да избира между „повече ИИ“ и „по-безопасен ИИ“. Тя се нуждае и от двете – по-бързо внедряване в бизнеса и публичния сектор, но паралелно с повече специалисти, киберзащита, собствени данни и приложения, човешки контрол и подготовка на пазара на труда.

БСК предупреждава, че българският бизнес все още до голяма степен реагира, след като промяната вече е настъпила. Нейната препоръка е обратната – ранните сигнали да се използват за подготовка, преди новата технология да се е превърнала в неизбежна пазарна реалност.

В това отношение прогнозата за 900 млрд. автономни агенти е по-важна не като число, което непременно ще се сбъдне, а като предупреждение за мащаба на възможната промяна. Ако автономният ИИ действително се превърне от инструмент в самостоятелен участник в производството, финансите, транспорта и управлението, конкурентното предимство няма да принадлежи просто на онези, които го внедрят първи, а на онези, които успеят едновременно да използват неговата производителност и да запазят човешкия контрол върху решенията.