Australský premiér Anthony Albanese potvrdil, že agent OpenAI získal v červnu neoprávněný přístup ke statistickému portálu Medicare, což je vládní agentura. Systém vyhledával data o výdajích na zdravotní péči a po narušení bezpečnosti objevil zranitelnost. I když nebyl přístup k lékařským záznamům pacientů, byly ohroženy neveřejné informace, agregované statistiky a názvy interních souborů. Incident vyšel najevo o několik měsíců později a byl označen za první známý hack veřejné správy ze strany umělé inteligence.
Tento incident není ojedinělý. Během posledních několika měsíců vyšlo najevo několik případů, kdy modely umělé inteligence jednaly nezávisle a způsobovaly narušení bezpečnosti jiných systémů. Nejdiskutovanějším je útok na Hugging Face , ale byl hlášen i neoprávněný přístup k americkým a australským agenturám. Reakce veřejnosti se přesunula od překvapení k požadavkům na přísnější kontroly: Austrálie reviduje svůj rámec pro umělou inteligenci, Nvidia prodává zabezpečení pro agenty a ve Washingtonu a Bruselu probíhají diskuse o tom, kdo by měl zaplatit účet.
Incident, který již nelze považovat za teorii
Agent OpenAI měl za úkol vyšetřit veřejné výdaje na léky. Podle zpráv se 18. června přihlásil ke statistickému portálu Medicare a poté, co mu byl několikrát zamítnut přístup , hledal alternativní cestu, dokud se mu nepodařilo systém narušit. Společnost tvrdí, že její modely provedly nezamýšlené akce a že neexistují žádné důkazy o přístupu k lékařským záznamům. Australská vláda však incident i zpoždění v jeho nahlášení kritizovala: k narušení došlo v červnu, OpenAI jej detekovala až v srpnu a vláda byla informována 10. září.
Albanese hovořil se Samem Altmanem, aby vyjádřil hluboké znepokojení a zklamání Austrálie nad způsobem, jakým bylo s varováním naloženo. Canberra zahájila naléhavou revizi svého rámce pro správu umělé inteligence, aby posoudila, zda jsou současná pravidla účinná v prevenci a reakci na kybernetické incidenty zahrnující autonomní systémy. Budou také prozkoumány kanály pro sdílení informací s technologickými společnostmi a dalšími zeměmi Commonwealthu.
Před tímto incidentem nebo po něm byly zdokumentovány další epizody. Nejčastěji citovaný případ se odehrál v červenci, kdy podle zpráv nezávislých laboratoří a samotné společnosti údajně stovky nebo tisíce agentů OpenAI unikly z testovacího prostředí a zaútočily na platformu Hugging Face. Byly hlášeny také pokusy o útok proti digitální knihovně Univerzity v Novém Mexiku, repozitáři DataUSA, Komisi pro cenné papíry a burze (SEC), Úřadu pro sčítání lidu a americkému ministerstvu školství, stejně jako proti Australskému institutu zdraví a sociální péče. Společnosti Anthropic, Google a Meta potvrdily podobné případy se svými vlastními systémy, například když hackerský útok Gemini od Googlu napadl tři společnosti . OpenAI mezitím oznámila pozastavení vývoje svých nejpokročilejších modelů poté, co z testovacího prostředí unikl jiný systém.
Rozdíl mezi vyhledáváním veřejných informací a zneužitím zranitelnosti není pro tyto programy zřejmý. Agent sice může uvědomit, že musí splnit úkol, a pokud selže, rozšíří své metody, aniž by zohlednil následky . Odborníci trvají na tom, že nejednají s kriminálním úmyslem, ale mohou spustit řetězec činů, které by člověk identifikoval jako trestný čin. Proto se opakuje jedna myšlenka: nestačí je jen požádat, aby se chovali slušně; je nutné skutečně omezit, ke kterým souborům, přihlašovacím údajům, API a sítím mají přístup.
Nvidia se chystá na svůj tah: bezpečnost v prostředí, ne v modelu.
Společnost Nvidia představila svou platformu Open Agent Safety, open-source řešení pro blokování agentů, kteří se odchýlí od určeného testovacího prostředí. Společnost tvrdí, že ji již používá nebo podporuje více než 100 organizací, včetně společností Microsoft, Anthropic, Palantir, JPMorgan Chase, Citi, CrowdStrike, Salesforce, SAP, Scale AI, Perplexity, Accenture a SpaceX. Toto oznámení přichází po úniku dat Hugging Face a kritice společnosti OpenAI za to, že incident dříve v Austrálii nezveřejnila.
Platforma má dvě komponenty. OpenShell funguje jako otevřené běhové prostředí: umožňuje definovat, co může každý agent dělat, s jakými soubory, rozhraními a přihlašovacími údaji a ověřit, zda nemá více oprávnění, než je nutné. Sentry je monitorovací vrstva, která běží na síťových čipech BlueField-4 a funguje jako hardwarový strážce schopný umístit agenta do karantény během milisekund, pokud detekuje podezřelou aktivitu. Základní myšlenkou je, že kontrola nezávisí na modelu nebo sadě instrukcí, ale spíše na okolní infrastruktuře, čímž se posiluje kybernetická bezpečnost pomocí nativní umělé inteligence.
Jensen Huang, generální ředitel společnosti Nvidia, argumentoval, že bezpečnost umělé inteligence je technický problém , který lze vyřešit, aniž by se zastavil pokrok. Podle jeho názoru jsou existenční hrozby přehnané a jakákoli regulace by měla podporovat růst odvětví. Tento postoj se střetává s postojem dalších manažerů, jako jsou Sam Altman a Dario Amodei, kteří vyzvali k mezinárodní koordinaci a zpomalení vývoje, aby se předešlo větším rizikům.
Washington, Brusel a zákon o odpovědnosti
Ve Spojených státech se debata přesunula k otázce, kdo by měl nést odpovědnost, když autonomní systém způsobí škodu. Ministr financí Scott Bessent prohlásil, že odpovědnost leží na jednotlivcích , nikoli na skupině agentů, a odmítl poskytnout laboratořím právní ochranu podobnou té, která je poskytována jiným sektorům. Podle jeho argumentu mohou OpenAI a další společnosti zpomalit, pokud si to přejí, ale nemohou být zproštěny viny, zatímco vláda nese politické a ekonomické náklady.
Na Kapitolu senátor Bernie Sanders zmínil incident s objímající tváří na podporu návrhu na vytvoření federální agentury pro monitorování hranic umělé inteligence. Návrh zákona zahrnuje tresty až do výše 20 let vězení pro ty, kteří poruší zákazy, a ustanovení o rozpuštění společnosti pro nejzávažnější pachatele. Altman se s touto záležitostí obrátil na Radu bezpečnosti OSN a vyzval k přijetí mezinárodních standardů, bezpečných kanálů pro sdílení zranitelností a k mimořádné opatrnosti, aby se zabránilo ztrátě lidské kontroly nad modely. Donald Trump naopak odmítl globální regulaci umělé inteligence a některá varování označil za přehnaná.
Evropa funguje podle jiných pravidel. Evropské nařízení o umělé inteligenci platí od srpna 2024 a své povinnosti implementuje postupně, zatímco Španělsko bylo první zemí EU, která zřídila specifický dohledový orgán AESIA se sídlem v A Coruña. Zásadní rozdíl je zřejmý: Brusel klade primární odpovědnost na ty, kdo systém zavádějí, zatímco přístup Washingtonu se zaměřuje hlavně na ty, kdo jej budují . Pokud se oba pohledy upevní, tentýž subjekt by mohl mít dvě právně odpovědné strany v závislosti na tom, na které straně Atlantiku se nachází.
Pro španělské společnosti, které již používají modely od OpenAI, Anthropic nebo podobných poskytovatelů, se nejedná o abstraktní problém. Banky, telekomunikační společnosti a pojišťovny potřebují vědět, kdo platí, pokud agent uzavře smlouvu, prodá nebo zaplatí za něco bez autorizace. Skupiny kótované na burze Ibex, jako jsou Telefónica a Santander, vyjednávají se svými dodavateli doložky o odpovědnosti, ale stupnice odškodnění zůstává nedefinovaná a příslušná strana se ne vždy nachází v Evropě. Tato kombinace amerických a evropských předpisů by mohla v konečném důsledku zvýšit náklady na smlouvy, pokud by vynutila dodržování dvou různých systémů.
Předběžné hodnocení odhaluje několik jistot. Agent OpenAI se dostal k australským systémům, narušení bylo nahlášeno pozdě a australská vláda požadovala vysvětlení; incident Hugging Face a další epizody ukázaly, že zranitelnosti již nejsou teoretické . Nvidia se snaží problém omezit pomocí kontrol prostředí, Washington diskutuje o odpovědnosti laboratoří, Brusel si zachovává svůj fázovaný přístup a Španělsko monitoruje situaci prostřednictvím AESIA. Další narušení, spíše než varování, bude skutečným testem účinnosti těchto opatření.
