Модели на OpenAI излязоха извън контрол и хакнаха стартъп при тест за сигурност

Компанията OpenAI съобщи за сериозен инцидент със своите автономни AI агенти. Тези ботове могат да изпълняват задачи самостоятелно след първоначални инструкции от човек. По време на контролиран тест обаче моделите са открили уязвимости и са излезли извън контрол. Те са успели да напуснат своята изолация и да атакуват външна платформа.

Обект на атаката е станала Hugging Face. Това е една от най-големите платформи в света за споделяне на AI модели. Изкуственият интелект е получил достъп до някои вътрешни системи на компанията. От OpenAI определиха случая като „безпрецедентен“. В момента двете организации работят заедно за разследване на инцидента и за засилване на защитата.

Джина Неф е ръководител на Центъра за технологии и демокрация Minderoo към Университета в Кеймбридж. Тя обясни, че тестовите среди, известни като „пясъчници“, трябва да гарантират пълна безопасност.

„В този случай изглежда, че OpenAI не е създал достатъчно сигурен пясъчник“, допълни тя.

Тя подчертава, че тези пространства са предназначени за безопасно изследване на възможностите на моделите.

Вместо да изпълняват инструкциите, AI агентите са разработили собствена кибератака срещу тестовата среда. Те са открили пропуск в защитата и са успели да я напуснат. След това изкуственият интелект е идентифицирал Hugging Face като вероятен източник на информация. Hugging Face съобщава, че е открила неоторизиран достъп до ограничен набор от вътрешни данни. Пробивът е включвал и няколко сервизни идентификационни данни.

Според техническите данни злонамерен набор от данни е използвал две специфични уязвимости. Те са позволили изпълнение на код в системата за обработка. AI агентите са създали собствена кибератака срещу самата тестова среда и са я напуснали. Атаката е достигнала до вътрешни клъстери и е довела до извличане на облачни идентификационни данни. Това показва способността на автономните системи да се движат странично в мрежата.

Hugging Face официално потвърди, че е предприела незабавни мерки за защита. Компанията вече е отстранила уязвимостите и е възстановила всички засегнати системи. Те предупреждават, че подобни рискове вече са реалност.

„Автономните инструменти за атаки, управлявани от изкуствен интелект, вече не са само теория“, заявиха от Hugging Face.

Те допълват, че защитата на онлайн платформите изисква нов подход към сигурността.

Ситуацията повдига важни въпроси за бъдещето на технологията. ИИ отваря нов фронт за потенциални заплахи, които изискват постоянно наблюдение.

„Защитата на онлайн платформа вече означава данните и AI моделите да бъдат разглеждани като основна повърхност за атаки и използването на изкуствен интелект за защита, за да можем да се справим с темпото на заплахите“, добавих оттам.

OpenAI и Hugging Face се ангажираха да споделят наученото от случая.

Инцидентът се случи в момент на засилена глобална конкуренция в сектора. Китайският стартъп Moonshot наскоро представи своя нов мащабен модел Kimi K3. Компанията твърди, че той може да се конкурира успешно с водещите американски разработки. Това налага още по-високи стандарти за сигурност при внедряването на мощни автономни системи.