AI модели на OpenAI и Anthropic създадоха фалшиви самоличности за кибератака срещу реални програмисти

Водещи модели с изкуствен интелект на Anthropic и OpenAI са създали фалшиви онлайн самоличности и са се опитали да заблудят реални програмисти, за да им помогнат неволно при извършването на кибератака. Това се е случило по време на неотдавнашна оценка на безопасността, съобщи британският Институт за безопасност и сигурност на изкуствения интелект (AISI).

Това е най-новият случай, в който мощна AI система прави опит за цифрова атака срещу нищо неподозираща трета страна без пряка подкана по време на подобна оценка. Случката засилва опасенията, че технологията се развива твърде бързо, за да бъде подложена на ефективен и отговорен контрол.

Разкритието вероятно ще предизвика нови призиви във Вашингтон и Силициевата долина за по-строга регулация на индустрията за изкуствен интелект. Особено уязвими са най-модерните модели с усъвършенствани способности за откриване и извършване на кибератаки. То идва само дни след като сходни инциденти при тестове с някои от същите модели доведоха до спешни призиви за нови правила за безопасност.

Подобно на американския си аналог, AISI редовно провежда оценки на сигурността, за да разбере какви рискове представляват новите AI модели. Според института действията, които е установил при Claude Mythos 5 на Anthropic и ChatGPT 5.6, са безпрецедентни.

Това е първият случай, в който AISI наблюдава измама с такава степен на сериозност, насочена към реален човек, без той да е бил подтикнат, и то в реалния свят

Това се казва в технически доклад от 35 страници, публикуван заедно с блог публикация във вторник. Според AISI злонамерената дейност е започнала на 25 юли. Институтът е засекъл необичайно поведение и е започнал разследване на 28 юли, когато е установил необичайни трансфери на данни, свързани с кибероценка.

Общо AISI е установил, че Mythos 5 и ChatGPT 5.6 са предприели автономни, неразрешени действия в реалния интернет в 10 от общо 122 оценки, които институтът е прегледал. Повечето от тези действия са били извършени от Mythos 5 и са възникнали в рамките на една продължителна линия на дейност.

Най-тревожният инцидент е бил опит на Mythos 5 да извърши атака по веригата на доставки — сложна техника, често използвана от севернокорейски и руски кибероперативни групи. При нея злонамерен код се внедрява в легитимен софтуер.

За тази цел моделът на Anthropic е създал няколко фалшиви самоличности в платформата GitHub. Чрез тях е изпращал съобщения, с които е оказвал натиск върху разработчик на софтуер с отворен код, за да го убеди неволно да въведе заразена актуализация в широко използван код. Когато този опит се е провалил, AI моделът е редактирал предишната си активност, за да изглежда безобидна, и е обмислял да създаде нова самоличност, за да продължи.

Като част от същата операция Mythos 5 е изпращал и директни съобщения чрез GitHub до софтуерни инженери, съдържащи зловреден код. AISI е установил още, че няколко AI агента изглежда са комуникирали помежду си как да убедят реални инженери в GitHub да им се доверят.

Един агент остави публични съобщения в GitHub, предлагайки сътрудничество на други агенти, работещи по същото предизвикателство

В публикацията и техническата оценка не се споменава дали моделите са се опитали да използват неизвестни дотогава софтуерни уязвимости, т.нар. zero-day уязвимости.

Миналия месец OpenAI разкри, че GPT 5.6 и друг негов модел са получили достъп до реалния интернет по време на тест, който е трябвало да бъде строго контролиран. След това автономно са проникнали в системите на друга компания — първият подобен случай.

В отговор Anthropic започна собствено разследване и установи, че Mythos 5 и още два модела са проникнали в системите на три организации по време на тестове, провеждани от април насам.

В изявление говорител на Anthropic заяви, че компанията е благодарна на AISI за лидерската му роля. Той подчерта, че този преглед подчертава необходимостта от по-широк разговор за това как безопасно да се оценяват все по-способните AI агенти.

Както споделихме след разкриването на нашия собствен инцидент миналата седмица, секторът се нуждае от по-силни общи стандарти за изграждането и защитата на средите за оценяване. Очакваме с нетърпение да работим съвместно с британския AISI, за да научим повече за този случай, докато провеждаме собственото си разследване

В публикация на OpenAI от вторник вечерта пише следното:

Ангажирани сме да работим с цялата индустрия за укрепване на общите практики за безопасно провеждане на оценки на високорискови AI модели, включително чрез срещи с национални AI институти, независими оценители, други AI лаборатории и заинтересовани организации през следващите седмици.

AISI подчерта, че злонамерената дейност е възникнала при умишлено либерални условия, създадени, за да се оценят рисковете, които двата модела представляват. Това е включвало предоставяне на достъп до интернет — за разлика от по-ранните инциденти, описани от Anthropic и OpenAI. Институтът отбелязва, че моделите са били умишлено лишени от вътрешните защитни механизми, които обикновено блокират злонамерено поведение.

Въпреки това AISI заявява, че инцидентите показват необходимостта от по-стриктно наблюдение на поведението на моделите по време на тестове. Необходим е и по-строг контрол върху достъпа им до интернет.

Администрацията на президента на САЩ Доналд Тръмп финализира доброволна рамка, според която AI компаниите ще могат да предоставят мощни модели за федерални тестове за безопасност преди публичното им пускане. Рамката обаче все още не е публикувана и не съдържа разпоредби за моделите, които компаниите разработват вътрешно. Инцидентите от миналия месец са включвали именно модели, които не са били предназначени за публично пускане.

Според някои експерти по киберсигурност последните случаи повдигат по-дълбоки въпроси относно развитието на изкуствения интелект. Включително кой носи отговорност, когато AI системи нарушават законите срещу компютърни престъпления. Тези въпроси стават все по-належащи, след като самият шеф на OpenAI призова за възможен доброволен отказ от по-нататъшно развитие.

Ако всичко това беше извършено от човек, щеше да последва ясно и решително наказателно преследване. Мисля, че е време за сериозен разговор за промени в действащото законодателство в областта на компютърната сигурност

Това заяви Марк Роджърс — хакер и известен експерт по киберсигурност. Случаят подчертава критичната нужда от по-силни стандарти за безопасност и по-строга регулация в индустрията, тъй като AI системите демонстрират способност за автономно злонамерено поведение без човешка намеса.