Агент с изкуствен интелект на американската OpenAI е получил неоторизиран достъп до австралийски правителствен портал и до непублични файлове в него, след като системата първоначално му отказала исканата информация. Инцидентът е станал на 18 юни, но компанията е уведомила австралийските власти едва на 10 септември.

За пробива съобщи премиерът Антъни Албанезе на пресконференция в Ню Йорк. Австралийското правителство определя случая като сериозен и безпрецедентен, макар засега да няма данни ИИ да е достигнал до лична медицинска информация.

Става дума за Medicare Statistics Reporting Service - публичен портал, администриран от Services Australia, който съдържа обобщена статистика за австралийската здравна система. В него има данни за разходите по Medicare, лекарствата, финансирани по Pharmaceutical Benefits Scheme, имунизациите и други показатели. Порталът е отделен от системите, в които се обработват медицински искове, плащания и личните данни на пациентите.

"Наличните към момента доказателства сочат, че няма по-мащабен пробив в мрежата", заяви Албанезе. По думите му разследването продължава и трябва да установи пълния мащаб на случилото се.

ИИ, който "не приема не за отговор"

Повече подробности за поведението на системата дадоха австралийските власти.

Според министъра на държавните услуги Кейти Галахър агентът е изпълнявал задача на OpenAI за интернет проучване на публичните разходи за лекарства като част от вътрешна оценка на възможностите му.

ИИ се е свързал с четири австралийски публични сайта - на Australian Institute of Health and Welfare, здравното министерство на щата Виктория, Bureau of Crime Statistics and Research на Нов Южен Уелс и портала със статистика за Medicare. При първите три е достигнал само до публично достъпна информация.

При Medicare обаче се е случило друго.

След като исканията му за определена информация били отхвърлени, агентът заобиколил ограниченията и достигнал до съдържание, което не е било предназначено за публичен достъп. Австралийското правителство описва това като "misaligned behaviour" - поведение, което се отклонява от зададените цели и ограничения на системата.

Албанезе го описа по-просто: агентът "не прие "не" за отговор" и намери начин да заобиколи блокировките.

Засега се смята, че са били достигнати обобщени здравни статистики и вътрешни файлове или имена на файлове, но не и индивидуални медицински досиета. Вицепремиерът Ричард Марлс заяви, че конкретните последици изглеждат ограничени, но самият факт, че ИИ самостоятелно е преодолял ограничение за достъп, прави случая сериозен.

Три месеца до едно писмо

Отделен проблем за австралийското правителство е начинът, по който OpenAI е съобщила за случилото се.

По наличната към момента хронология пробивът е извършен на 18 юни. OpenAI установява случая на 11 август при преглед на необичайно поведение на модели по време на обучение. На 10 септември компанията изпраща имейл до публичен адрес на Services Australia, използван за сигнали за уязвимости. Съобщението е прочетено на следващия ден.

На 15 септември Services Australia уведомява Australian Signals Directorate (ASD), която отговаря и за киберсигурността. Министър Кейти Галахър научава на 17 септември, а Албанезе и неговият екип - на 19-20 септември. Първият технически разговор между OpenAI и Services Australia се провежда на 22 септември.

На 24 септември Албанезе разговаря със Сам Олтман.

"Днес разговарях с изпълнителния директор на OpenAI Сам Олтман, за да изразя изключителната загриженост на Австралия за този инцидент", съобщи премиерът.

Той заяви още, че е изразил разочарованието си от твърде дългото забавяне на компанията и от начина, по който властите в крайна сметка са били уведомени.

Случаят има и неудобен детайл. На 1 септември Марлс се е срещнал с Олтман в Сан Франциско, но по думите на австралийския вицепремиер пробивът не е бил споменат. По това време OpenAI вече е знаела за него.

Правителството сформира специална група за разследване с участието на ASD. Ще се проверява не само поведението на модела и евентуалният достъп до други системи, но и защо австралийската инфраструктура не е установила своевременно неоторизираното проникване.

Още три сайта, но без пробив

Първоначалните съобщения, че още три австралийски правителствени сайта може да са били засегнати, бяха уточнени от властите. Агентът действително е взаимодействал с тях, но според Марлс при тези случаи е използвал нормален достъп и е получил само публична информация. Засега не е установен пробив в тези системи.

ABC съобщи отделно, че изследователи от американската организация Transluce са открили публични следи от активност на множество агенти на OpenAI, опитвали да достигнат до австралийски здравни и други правителствени данни. Изследователите смятат, че става дума за вероятно първия публично известен случай на автономен ИИ, проникнал в правителствен сайт. Връзката между всички открити от тях действия и потвърдения от Канбера пробив обаче все още не е установена.

На 16 септември OpenAI представи и нова система за публично оповестяване на случаи на т.нар. misalignment - ситуации, при които моделът предприема действия извън дадените му инструкции или правомощия. Компанията публикува шест такива случая и призна, че досегашното им оповестяване е било непоследователно и по-бавно от желаното.

OpenAI заяви още нещо необичайно за компания, която разработва едни от най-мощните модели в света: според нея индустрията все още не е решила в достатъчна степен проблемите с контрола и наблюдението на ИИ, за да може безусловно да продължава да увеличава възможностите на системите с максимална скорост.