OpenAI učinila další krok v integraci umělá inteligence s každodenním používáním počítače kompletní přepracováním Codexu, svého desktopového kódovacího agenta. Nástroj, dříve známý především pro svou programátorskou pomoc, se nyní stává asistentem schopným téměř bezproblémově spravovat aplikace, pamatovat si preference a řídit projekty.
Touto aktualizací se společnost vedená Samem Altmanem blíží svému plánu na vytvoření „Super aplikace“ pro stolní počítače, která sjednocuje ChatGPT, Codex a váš prohlížeč AtlasCílem tohoto kroku je zjednodušit uživatelské prostředí, soustředit zdroje do jednoho pracovního prostoru a konkurovat konkurentům, jako je Anthropic, zejména v oblasti vývojového prostředí softwaru a pokročilé automatizace.
Codex se učí používat počítač jako kterýkoli jiný uživatel
Jednou z nejvýraznějších změn je, že Codex nyní může ovládat počítač na pozadíAgent je schopen vidět, co se děje na obrazovce, pohybovat vlastním kurzorem, klikat, psát text a reagovat na dění v nainstalovaných aplikacích, aniž by přerušoval práci uživatele s myší nebo klávesnicí.
Tato funkce umožňuje spolupráci více agentů Codexu. paralelně ve stejném týmuTo zahrnuje provádění testů, změnu konfigurací nebo provádění opakujících se úkolů, zatímco daná osoba pokračuje ve svých běžných činnostech. To otevírá dveře k automatizaci pracovních postupů, které dříve vyžadovaly neustálý dohled, jako je testování aplikace po každé změně kódu nebo opakování akcí v rozhraní.
OpenAI navrhuje tuto funkci jako způsob, jakým může asistent pracovat s nástroje, které nemají API nebo přímé integrace, což je běžné v mnoha desktopových programech. Codex tím, že „vidí“ obrazovku a ovládá kurzor, může s těmito aplikacemi interagovat stejně jako lidský uživatel, i když prozatím kontrolovaným způsobem a se zvláštním důrazem na bezpečnost.
Podle společnosti je používání počítače zpočátku dostupné v macOS prostřednictvím desktopové aplikace Codex, propojený s účtem ChatGPT. Verze pro Windows bude doručena později, jakmile bude otestován výkon a funkce přizpůsobeny prostředí Microsoft.
V případě Evropy a Spojeného království OpenAI potvrdila, že ovládání počítačem, pokročilé přizpůsobení, kontextové návrhy a paměť Aktivovány budou později. Důvodem je potřeba přizpůsobit tyto funkce předpisům o ochraně osobních údajů, což je obzvláště náročný požadavek v Evropské unii a na britském trhu.
Integrovaný prohlížeč a přímá práce na webových stránkách
Aktualizace také posiluje vztah Codexu s webem díky... prohlížeč integrovaný přímo v aplikaciMísto pouhého přijímání obecných textových instrukcí může agent přijímat příkazy přímo pro konkrétní prvky stránky.
Například ve vývoji frontendu může uživatel Vyberte webovou komponentu a popište změnu. Uživatel chce něco udělat (například změnit barvu, velikost textu nebo rozvržení bloku) a Codex rozumí instrukcím v rámci daného vizuálního kontextu. Díky tomu se vyhnete nutnosti psát zdlouhavé pokyny vysvětlující, která část webu je třeba změnit.
Tento integrovaný prohlížeč také umožňuje Codex Analyzujte obsah, shromažďujte informace a používejte je jako kontext Pro ostatní úkoly, jako je dokumentace kódu, kontrola specifikací produktů nebo porovnávání technické dokumentace, se vše provádí ve stejném prostředí, bez nutnosti přepínání mezi více okny operačního systému.
Generování a úprava obrázků pomocí gpt-image-1.5
Dalším pilířem nové verze Codexu je integrace modelu gpt-image-1.5 pro vytváření a úpravu obrázků V samotné desktopové aplikaci může agent generovat grafy, diagramy, makety nebo vizuální náčrty z textu nebo kombinací instrukcí se snímky obrazovky a úryvky kódu.
Tato schopnost je zaměřena přímo na týmy pracující v produktový design, uživatelská rozhraní nebo prototypy videoherNapříklad vývojář může pořídit snímek obrazovky nedokončeného rozhraní, požádat Codex o návrh redesignu menu nebo nového barevného schématu a získat vygenerované obrázky, které odpovídají danému kontextu, aniž by musel měnit nástroje.
Díky centralizaci všeho v Codexu mohou agenti řetězení kódovacích a designových úkolůNapište logiku funkcionality, aktualizujte odpovídající frontend a vygenerujte vizuální maketu pro prezentaci týmu, aniž byste museli opustit pracovní postup nebo otevírat externí aplikace pro úpravu grafiky.
Paměť, kontext a automatizace dlouhodobých úkolů
Kromě počítačového řízení a generování obrazu je velkým cílem OpenAI v této verzi vybavit Codex... perzistentní paměť a mnohem širší správa kontextuNástroj dokáže znovu použít předchozí konverzace, uchovat důležité informace a v případě potřeby je načíst pro pokračování v projektu.
Funkce paměti, která je vydávána v ukázkové verzi, umožňuje Codexu pamatovat si osobní preference, časté opravy nebo data, která bylo obtížné shromážditTo zahrnuje vše od typického technologického stacku týmu až po způsob uspořádání složek, nejčastěji používané formáty reportů a tagy obvykle používané na GitHubu pro určité typy problémů.
S tímto nashromážděným kontextem může agent proaktivně navrhovat úkolyToto lze použít k návrhu na obnovení nedokončeného projektu, doporučení čekajícího refaktoringu nebo k upozornění uživatelů na dlouhodobé žádosti o změny (pull requesty). Některé společnosti to již používají ke sledování konverzací ve Slacku, Gmailu nebo Notionu a k reakci na určité události.
Kodex může také plánovat práci do budoucna a znovu se aktivovat samostatně k dokončení dlouhodobých úkolů. Například dokáže spravovat frontu kontrol kódu po dobu několika dnů nebo týdnů, řešit komentáře a aktualizovat dokumentaci, aniž by ji vývojář musel neustále sledovat.
Více než 90 doplňků a vylepšená podpora pro vývojáře
Pro dokončení změny přidala OpenAI téměř 90 nových pluginů CodexuPatří mezi ně integrace s Microsoft Suite, GitLab Issues, Neon by Databricks, Render a Superpowers, a také podpora serverů MCP (Model Context Protocol). Cílem je poskytnout agentovi více kontextových zdrojů a větší operační možnosti.
Díky těmto pluginům může Codex shromažďovat informace z různých služeb a jednat na jejich základě Z jednoho pracovního prostoru můžete kontrolovat problémy v GitLabu, dotazovat data v prostředí Databricks, aktualizovat dokumenty Office nebo interagovat se službami nasazení, aniž byste museli uživatele přepínat z platformy na platformu.
Čistě technicky tato aktualizace posiluje typické pracovní postupy vývojářůCodex vám nyní pomáhá s kontrolou pull requestů, správou více karet terminálu najednou, připojením ke vzdáleným vývojovým prostředím přes SSH a otevíráním souborů s bohatými náhledy, ať už se jedná o PDF, tabulky, prezentace nebo dokumenty v jiných formátech.
To vše je soustředěno v jednotném prostředí, které podle samotné OpenAI umožňuje rychlejší pokrok. ve všech fázích životního cyklu softwaruOd napsání počátečního kódu až po jeho testování, nasazení, dokumentaci a údržbu, s agenty umělé inteligence, kteří neustále spolupracují v rámci stejného desktopového prostředí.
Dostupnost, zaměření na vývojáře a situace v Evropě
Nová verze Codexu je již nasazena v desktopová aplikace pro macOS Pro ty, kteří se přihlašují pomocí účtu ChatGPT. Ne všechny funkce vyžadují stejný typ předplatného a některé pokročilé funkce mohou záviset na zakoupeném plánu, stejně jako u jiných nástrojů OpenAI.
Thibault Sottiaux, ředitel Codexu, vysvětlil, že tato aktualizace Je určen zejména pro vývojářeAčkoliv záměrem je rozšířit jej později na širší publikum. Myšlenka je taková, že technické týmy jako první využijí výhod nových agentů a automatizovaných pracovních postupů a postupně tento model přenesou do kancelářských úkolů, správy dokumentů nebo osobní produktivity.
OpenAI zdůrazňuje, že využití výpočetního výkonu a paměti je implementováno s... přístup k bezpečnosti a dodržování předpisůTo je obzvláště důležité v Evropské unii a Spojeném království. Z tohoto důvodu bude trvat o něco déle, než budou na těchto trzích k dispozici pokročilé funkce přizpůsobení, kontextové návrhy, trvalá paměť a přímé ovládání operačním systémem.
Společnost v každém případě tvrdí, že tento vývoj Codexu otevírá dveře k... desktopová superaplikace zaměřená na inteligentní automatizacikde agenti umělé inteligence nejen pomáhají s psaním kódu, ale také koordinují úkoly, přizpůsobují se pracovnímu stylu uživatele a udržují složité projekty v chodu po delší dobu. Pro vývojáře softwaru v Evropě je zpráva jasná: přicházejí nové funkce, ale s nezbytnými úpravami, které budou odpovídat stávajícímu regulačnímu rámci.