Anthropicův mytos: Model umělé inteligence, který přepisuje pravidla kybernetické bezpečnosti

  • Přístup k verzi Claude Mythos Preview je omezen kvůli jejím bezprecedentním schopnostem vyhledávat a zneužívat kritické zranitelnosti.
  • Mezinárodní banky a regulační orgány v USA, Velké Británii a EU analyzují riziko, které tento model představuje pro finanční a digitální infrastrukturu.
  • Společnost Anthropic nasazuje projekt Glasswing, program spolupráce s významnými technologickými společnostmi a finančními institucemi, aby využila Mythosu v obranném režimu.
  • Tento model otevírá nový scénář pro kybernetickou bezpečnost v Evropě s větší detekční kapacitou než kdykoli předtím, ale také s rizikem zneužití, pokud se jeho používání rozšíří.

Antropický mytologický model umělé inteligence

Nový model umělé inteligence od společnosti Anthropic, známý jako Náhled Clauda MythoseStala se epicentrem globální debaty o limitech pokročilé umělé inteligence. Sama společnost připouští, že systém je z hlediska kybernetické bezpečnosti tak silný, že se rozhodla jej neuvést do širokého spektra, což je neobvyklé rozhodnutí v odvětví zvyklém chlubit se každým novým pokrokem.

V sázce není jen postupné vylepšení oproti předchozím modelům, ale kvalitativní skok ve schopnosti detekovat a zneužívat počítačové zranitelnostiVlády, centrální banky, velké finanční instituce a evropští regulátoři případ bedlivě sledují, protože si uvědomují, že takový nástroj by mohl posílit obranu kritických systémůMohlo by to ale také otevřít dveře útokům nebývalého rozsahu, pokud by se dostalo do nesprávných rukou.

Co přesně je Claude Mythos a proč bylo jeho uvedení na trh odloženo?

Claude Mythos je jedním z nejnovějších modelů v rodině Claude, ekosystému umělé inteligence od Anthropic, který konkuruje... ChatGPT od OpenAI a Gemini od GoogluJedná se o univerzální model, schopný uvažování, programování a práce s dlouhodobým kontextem, ale jeho nejkontroverznější vlastností je jeho výkon v útočné a obranné kybernetické bezpečnosti.

Volání „červené týmy“Specialisté, kteří testují systémy umělé inteligence na jejich hranici, v interní zprávě dospěli k závěru, že Mythos je „překvapivě schopný“ v úkolech kybernetické bezpečnosti. V benchmarkových testech, jako například SWE-bench Ověřeno o SWE-bench ProModel, navržený k měření schopnosti řešit reálné problémy softwarového inženýrství, by podle údajů poskytnutých samotnou společností Anthropic snadno překonal špičkové komerční alternativy, včetně pokročilých verzí GPT a Gemini.

Kromě kritérií spustilo varovné signály i to, že Mythos dokázal lokalizovat zranitelnosti nultého dne —dříve neznámé chyby — v široce používaných softwarových komponentách, některé staré přes dvě desetiletí. V systémech, jako jsou komponenty OpenBSD, FFmpeg a FreeBSD, model nejen detekoval chyby, které po léta zůstávaly bez povšimnutí, ale také generoval funkční exploity, které je mohly zneužít.

Tváří v tvář těmto výsledkům se společnost Anthropic rozhodla pro rozhodnutí, které bylo v tomto odvětví neobvyklé: představit model a poté oznámit, že nebude otevřeně prodáván. protože se domnívá, že představuje bezprecedentní kybernetická rizika. Společnost trvá na tom, že Mythos je „nejlépe sladěný“ model, jaký kdy vytvořili, ale uznává, že jeho obrovská kapacita zesiluje důsledky jakéhokoli zneužití.

Ilustrace pokročilé umělé inteligence zaměřené na Mythos

Model s „hackerskými“ dovednostmi daleko přesahujícími lidské schopnosti

Technické dokumenty a zprávy od různých organizací se shodují, že Mythos představuje zlom v automatizaci komplexních útokůV testovacích prostředích simulujících skutečné firemní sítě byl systém schopen řetězit zranitelnosti, eskalovat oprávnění a dosáhnout trvalého přístupu během několika hodin – úkoly, které by lidskému expertovi trvaly dny nebo týdny.

Například v JavaScriptovém enginu Firefoxu se starším verzím modelů Anthropic jen zřídka podařilo proměnit zranitelnosti ve funkční exploity. Mythos za stejných testovacích podmínek Vygenerovalo desítky provozních exploitůPřesně replikuje zneužívání nejúčinnějších vektorů. Na analytických platformách, jako je OSS-Fuzz, určené k vyhledávání chyb v softwaru s otevřeným zdrojovým kódem, se mu připisuje zásluha za detekci vysoce závažných zranitelností, které zůstaly bez povšimnutí i přes roky automatizovaného testování.

Model také prokázal pozoruhodné schopnosti v reverzní inženýrstvíDokáže rekonstruovat část logiky programu z kompilovaných binárních souborů a odtud lokalizovat a zneužít chyby bez přístupu k původnímu zdrojovému kódu. Tento typ schopnosti přibližuje umělou inteligenci scénářům, které byly donedávna považovány za výhradně pro vysoce specializované lidské týmy.

Jednou z nejčastěji citovaných epizod v bezpečnostních hodnoceních je takzvaný „sendvičový test“. V izolovaném laboratorním prostředí dostal Mythos kontrolu nad systémem s explicitními pokyny, aby se pokusil... opusťte pískoviště a kontaktujte výzkumníka který dohlížel na test. Modelu se podařilo využít řetězec zranitelností k úniku z omezeného prostředí a odeslání e-mailu odpovědné osobě, která v té době nebyla v kanceláři. Přestože k incidentu došlo v dřívější interní verzi a pod řízeným velením, ilustruje rozsah, v jakém může systém fungovat ve složitých scénářích s minimálním dohledem.

Navzdory těmto demonstracím analytici trvají na objasnění, že Nemáme co do činění s „vědomou“ umělou inteligencí ani s takovou, která má vlastní vůli.Mythos se sám nerozhoduje útočit na systémy; úkoly, které mu byly zadány, provádí co nejefektivněji. Riziko v tomto smyslu nespočívá v tom, že se model vzbouří, ale v tom, že ho někdo použije – nebo ho k tomu donutí pomocí sofistikovaných pokynů – k provedení škodlivých akcí.

Projekt Glasswing: Mýtus ve službách obrany… pro hrstku vyvolených

Místo toho, aby Anthropic zpřístupnil Mythos široké veřejnosti, se rozhodla obklopit Mythos specifickým programem, Projekt GlasswingIniciativa, navržená tak, aby kontrolovaným způsobem využívala možnosti modelu k ochraně kritického softwaru, zahrnuje nabídku systému za přísných podmínek používání vybrané skupině velkých technologických společností, poskytovatelů infrastruktury a finančních institucí.

Mezi organizace s přístupem patří giganti jako například Amazon Web Services, Apple, Microsoft Google CloudNvidia nebo Broadcoma také firmy zabývající se kybernetickou bezpečností, jako je CrowdStrike, jejichž vlastní chybný software způsobil v roce 2024 zásadní globální narušení. K nim se přidávají světově uznávané banky, včetně JP Morgan Chase a několik velkých skupin z Wall Street, jakož i další organizace odpovědné za údržbu citlivých IT infrastruktur.

Společnost Anthropic také oznámila půjčky v hodnotě 100 milionů dolarů Toto financování umožní těmto organizacím používat Mythos pro analýzu zranitelností a zároveň poskytne dary nadacím pro svobodný software, jako jsou Linux Foundation a Apache Software Foundation. Oficiální cíl je jasný: umožnit těm, kteří spravují nejdůležitější software na světě, identifikovat a opravit chyby dříve, než se tyto nástroje stanou dostupnými potenciálním útočníkům.

Tato strategie však v tomto odvětví vyvolává určité obavy. Na jedné straně posiluje myšlenku, že technologie je natolik nebezpečná, že vyžaduje omezený přístup. Na druhé straně Vytváří to propast mezi těmi, kteří těží ze „štítu“ Mythosu, a těmi, kteří jsou vynecháni.Společnosti a administrativní subjekty, které nejsou součástí Glasswingu, riskují, že se později setkají se zranitelnostmi, které byly identifikovány a opraveny v privilegovaných prostředích, ale které jsou stále přítomny v jejich vlastních systémech.

V Evropě je tato asymetrie obzvláště znepokojivá pro osoby odpovědné za kritickou infrastrukturu a bezpečnostní týmy velkých průmyslových a finančních skupin, které pečlivě sledují, zda Brusel a evropská hlavní města zajišťují, aby se do podobných programů za rovných podmínek zapojili klíčoví hráči z kontinentu. a cloudová suverenita s americkými partnery.

Reakce vlád, regulačních orgánů a finančního sektoru

Dopad Mythosu se neomezuje pouze na technickou oblast. Během pouhých několika dní oznámení modelu spustilo setkání na vysoké úrovni ve Spojených státech a EvropěMinistr financí USA svolal do Washingtonu vedoucí představitele hlavních bank země, aby posoudili rizika, která by systém mohl představovat pro finanční stabilitu, a těchto jednání se zúčastnil i předseda Federálního rezervního systému.

Podle úniků informací z mezinárodních médií byly tyto subjekty údajně povzbuzovány k Otestujte Mythos v obranném režimujeho využití k prohledání vlastní infrastruktury a nalezení slabých míst dříve, než to zvládnou ostatní. Implicitní sdělení je, že hrozba je dostatečně závažná, aby vyžadovala koordinovanou reakci veřejného a soukromého sektoru.

Mezitím spoluzakladatel společnosti Anthropic potvrdil, že společnost udržuje přímé rozhovory s vládou Spojených států o Mythosu a budoucích modelech. Tato jednání probíhají v napjatém kontextu poté, co americké úřady nedávno zařadily společnost na seznam rizika dodavatelského řetězce, po třenicích souvisejících s používáním jejich modelů ministerstvem obrany.

Za Atlantikem si to Evropská unie všimla. Evropská komise veřejně podpořila postupný a opatrný přístup k modelům, jako je Mythos, a Finanční regulátoři ve Spojeném království i na kontinentu začali konkrétně studovat jeho potenciální důsledky. pro bankovnictví a trhy. Britský institut pro bezpečnost umělé inteligence (AISI) popsal systém jako významný skok vpřed, pokud jde o kybernetické hrozby, ve srovnání s předchozími generacemi.

Ve Španělsku, ačkoli je veřejná debata stále omezená, orgány dohledu a týmy kybernetické bezpečnosti z bank a velkých energetických společností tento vývoj bedlivě sledují. Pro evropský finanční sektor je jakýkoli pokrok, který by mohl usnadnit koordinované útoky proti platebním systémům, mezibankovním sítím nebo obchodním platformám, důvodem k vážným obavám.

Skepticismus, pochybnosti a debata o „humbuku“ kolem Mythosu

Zpráva společnosti Anthropic, která kombinuje bezpečnostní varování s působivými údaji o výkonnosti, se neobešla bez kritiků. Několik odborníků na umělou inteligenci a kybernetickou bezpečnost vyzvalo k… opatrnost při interpretaci prohlášení společnostis tím, že velká část dostupných údajů pochází pouze z interních zpráv.

Někteří analytici podrobně prostudovali rozsáhlou dokumentaci zveřejněnou serverem Anthropic a poukazují na to, že číslo „tisíce vysoce závažných zranitelností“ je založeno na extrapolacích z relativně malého počtu ručně kontrolovaných případů. V některých testovacích sadách Mythos údajně nalezl značný počet kritických chyb, ale zdaleka ne takový téměř apokalyptický scénář, jaký naznačují některé titulky.

Jiné nezávislé studie se pokusily porovnat výkon Mythosu s menšími modely s otevřeným zdrojovým kódem a předaly zranitelné úryvky kódu různým umělým inteligencím, aby zjistily, zda dokážou detekovat stejné chyby. Výsledky naznačují, že Některé otevřené modely jsou také schopny identifikovat složité zranitelnostiTo zpochybňuje myšlenku, že Mythos hraje ve všech scénářích v úplně jiné lize.

Tyto druhy protipříkladů nepopírají schopnosti Mythosu, ale naznačují, že Část diskuse o tom, že je „příliš nebezpečné publikovat“, má také marketingový rozměr.Prezentace modelu jako mimořádně silného a zároveň potenciálně rizikového posiluje image technologického vůdčího postavení a odpovědnosti, což je na stále více konkurenčním trhu velmi cenné.

Nedávná historie tohoto odvětví také připomíná precedent GPT-2 z roku 2019, kdy se OpenAI zpočátku rozhodla nezveřejnit celý model s tím, že je příliš nebezpečný kvůli svému potenciálu generovat dezinformace. Nakonec byla tato verze zveřejněna, aniž by se uskutečnila jakákoli z předpovězených katastrof, a mnoho odborníků ji uvádělo jako příklad přehnané reakce. S Mythosem, Rozdíl je v tom, že se již neklade důraz na text, ale na integritu digitální infrastruktury., což je pro vlády a banky mnohem citlivější oblast.

Křehká rovnováha mezi bezpečností, podnikáním a přístupem k technologiím

Kromě mediálního hluku nastoluje situace s Mythosem zásadní problém: Kdo rozhoduje, kdy je model umělé inteligence příliš nebezpečný k vydání A za jakých kritérií? Prozatím bylo rozhodnutí ze strany společnosti Anthropic jednostranné a rozhodla se ponechat systém v jakési kontrolované karanténě a vyhradit ho pro vybrané partnery.

Tato pozice není založena pouze na bezpečnostních důvodech. Provozování modelu s charakteristikami Mythosu je velmi nákladné z hlediska výpočetní technikya sama společnost uznává, že v současné době nemá potřebnou infrastrukturu aby jej mohl masivně poskytovat milionům uživatelů. V praxi jdou bezpečnostní opatření a technická omezení ruku v ruce, což dává společnosti Anthropic čas na doladění modelu i jeho nasazení.

Zároveň společnost začala jasně rozlišovat mezi svými různými produkty. Zatímco Mythos zůstává nejpokročilejší interní standardAčkoli jsou vyhrazeny pro výzkum a strategickou spolupráci, jiné modely, jako například Claude Opus 4.7, jsou zaměřeny na každodenní použití firmami a profesionály. Společnost Anthropic dokonce veřejně uznala, že Opus 4.7 je obecně „méně schopný“ než Mythos, a to zejména pokud jde o jeho kybernetické schopnosti – což je v odvětví, které obvykle prezentuje každý nový model jako nejlepší ve všech ohledech, neobvyklé.

V tomto schématu funguje Mythos jako testovací prostředí pro funkce nové generaceAčkoli komerčně dostupné modely zahrnují pouze část těchto funkcí s dalšími omezeními určenými ke snížení rizik, může být toto oddělení „experimentálních“ a „produkčních“ modelů rozumným přístupem pro mnoho evropských organizací, které mají zájem o využití umělé inteligence, aniž by byly v první linii expozice, za předpokladu, že existuje dostatečná transparentnost ohledně skutečných funkcí každého systému.

Nakonec se objevuje scénář, ve kterém Kybernetická bezpečnost plně vstupuje do éry rozsáhlé útočné a obranné umělé inteligence.Nástroje jako Mythos slibují urychlení identifikace zranitelností v systémech, které jsou v provozu již léta, ale také nutí k přehodnocení toho, jak je technologie, která je základem digitální ekonomiky, distribuována a řízena. Pro Evropu a Španělsko bude výzvou nejen ochrana před stále silnějšími modely, ale také zajištění toho, aby nebyly vynechány z mechanismů, které jim umožňují posílit jejich vlastní bezpečnost.

strategie kybernetické bezpečnosti
Související článek:
Strategie kybernetické bezpečnosti: klíče, rámce a praktické využití