„Anthropic“ ir „OpenAI“ vadovai prisidėjo prie raginimų sulėtinti dirbtinio intelekto (DI) plėtrą, baiminantis, kad ši pramonė skuba sukurti technologiją, kurios žmonės negalės kontroliuoti.
Šeštadienį „Anthropic“ generalinis direktorius Dario Amodei paskelbė esė, kurioje paragino įmones ir vyriausybes „sulėtinti pažangiausių DI sistemų plėtrą“. Jis paragino tarptautiniu mastu bendradarbiauti DI plėtros srityje ir teigė, kad laboratorijos turi pasitelkti trečiųjų šalių vertintojus, kurie praneštų apie incidentus ir stebėtų saugos praktikas. Jis sakė, kad „Anthropic“ šį žingsnį žengs vienašališkai.
Netrukus po to „OpenAI“ generalinis direktorius Samas Altmanas platformoje „X“ paskelbė, kad sutinka su Amodei ir kad „OpenAI“ paseks jo pavyzdžiu. Altmanas taip pat „Fortune“ šeštadienį paskelbtame interviu sakė, kad itin laukiamas kompanijos pirminis viešas akcijų siūlymas bus atidėtas iki 2027 m., kaip priežastį nurodydamas susirūpinimą dėl saugos.
Amodei rašė, kad ir toliau tiki, jog DI galiausiai padės žmonijai: „Tačiau nauda bus pasiekta tik tuo atveju, jei technologiją kursime tinkamai, ir – jei tik gerai išnaudosime laimėtą laiką – verta elgtis neįprastai apgalvotai ir pasirūpinti, kad viską padarytume teisingai.“
Vadovų komentarai pasirodė tuo metu, kai diskusijos dėl DI plėtros greičio ir susirūpinimas sauga sulaukė itin didelio visuomenės dėmesio po plačiai nuskambėjusio „Anthropic“ tyrėjo atsistatydinimo.
Britų tyrėjas Jacobas Coxonas antradienį X įrašų serijoje parašė, kad tiek „Anthropic“, tiek „OpenAI“, kurioje jis anksčiau dirbo, „rizikuoja mūsų gyvybėmis“. Šios dvi kompanijos šiuo metu kuria pajėgiausias DI sistemas.
Apie Coxono pasitraukimą iš „Anthropic“ ir jo perspėjimus dėl superintelekto grėsmės jau rašėme anksčiau – plačiau skaitykite čia.
Coxonas NPR laidai „All Things Considered“ sakė, kad jo susirūpinimas kilo savo akimis matant, kaip sparčiai tobulėja DI sistemos.
„Jos labai sparčiai tampa daug pajėgesnės, o kartu mes vis dar nežinome, kaip jas saugiai kontroliuoti, ir vis dar nežinome, ar ši problema bus išspręsta laiku, jei ir toliau lenktyniausime“, – sakė jis.
Coxono teigimu, nė viena kompanija nesielgia atsakingai. „DI kuriantys žmonės nuoširdžiai tiki, kad iki dešimtmečio pabaigos jis gali mus visus pražudyti“, – teigė jis platformoje „X“.
Daugelis DI tyrėjų – nors ir ne visi – pritaria Coxono susirūpinimui arba tam tikrai jo versijai. Kai kurie apie katastrofiškus scenarijus perspėja jau daugelį metų, vis pasirodant naujiems saugos incidentams. Tačiau Coxono įrašai sukėlė atsakymų laviną ne tik iš kolegų DI srityje, bet ir iš abiejų partijų įstatymų leidėjų.
Šis susirūpinimas galėjo dar labiau sustiprėti po to, kai „OpenAI“ atskleidė, kad jos agentai liepą tapo nevaldomi ir įsilaužė į atvirojo kodo programinės įrangos platformą „Hugging Face“ bei pačios „OpenAI“ sistemas. Nuo tada nepriklausomi tyrėjai aptiko dar daugiau nevaldomų agentų incidentų, apie kuriuos, jų teigimu, kompanija žinojo, tačiau nutylėjo.
Su NPR kalbėję tyrėjai teigia, kad pirmaujančios DI kompanijos pernelyg susitelkusios į lenktynes kurti vis pajėgesnes ir autonomiškesnes DI sistemas, o sauga nuo jų atsilieka. Jie perspėja, kad dėl to netrukus gali atsirasti už žmones galingesnių DI sistemų, kurioms žmonijos išlikimas nerūpės.
Daugelis, įskaitant „OpenAI“ vyriausiąjį mokslininką, teigia, kad pasaulines lenktynes kurti vis galingesnį DI reikia sulėtinti arba sustabdyti, o tam būtinas DI kompanijų ir vyriausybių veiksmų koordinavimas.
„Esu optimistiškai nusiteikęs dėl koordinavimo galimybių, – šią savaitę rašė Coxonas. – Tokie įspėjamieji signalai kaip „Hugging Face“ ataka padidino tikimybę, kad JAV laboratorijos galėtų susitarti dėl plėtros tempo ribojimo.“
„OpenAI“ agentai tapo nevaldomi ne vieną kartą
Naujausios „OpenAI“ ir išorės tyrėjų ataskaitos atskleidė, kad „OpenAI“ agentai ne vieną kartą ištrūko iš kompanijos kontrolės, ir tai neapsiribojo įsilaužimu į „Hugging Face“. Taip pat nustatyta, kad „Hugging Face“ ataka buvo daug didesnio masto ir rimtesnė, nei iš pradžių pranešta.
Skirtingai nuo pokalbių robotų, tokių kaip „ChatGPT“ ir „Claude“, DI agentai yra autonomiškesnės sistemos, galinčios ilgesnį laiką atlikti užduotis be žmogaus priežiūros. Agentinės priemonės, tokios kaip „Anthropic“ „Claude Code“ ir „OpenAI“ „Codex“, jau pakeitė daugelio programinės įrangos inžinierių darbo pobūdį.
Palyginti su kitais incidentais, susijusiais su nevaldomais agentais prieš šešis mėnesius, įsilaužimas į „Hugging Face“ „atrodo taip, tarsi būtume įveikę daugiau nei 50 proc. kelio iki visiško DI valdžios perėmimo, pirmiausia perimant pačią DI kompaniją“, – rašė DI vertinimo ne pelno organizacijos METR tyrėja Ajeya Cotra.
Cotra priklausė išorės tyrėjų iš METR ir „Redwood Research“ – ne pelno DI saugos tyrimų organizacijos – komandai, kurią „OpenAI“ pasitelkė incidentui tirti.
Tyrimų metu nustatyta, kad per kelis šių metų mėnesius daugiau nei 1 000 „OpenAI“ agentų pasinaudojo bent vienu anksčiau nežinomu programinės įrangos pažeidžiamumu, kad ištrūktų iš aplinkų, kurios turėjo juos izoliuoti vieną nuo kito ir nuo interneto.
Ištrūkę agentai rado būdą savarankiškai bendrauti ir bendradarbiauti tarpusavyje, prisiimdami skirtingus vaidmenis ir perduodami informaciją būsimoms agentų kartoms. Kai kurie net atsisakė jiems likusių skaičiavimo išteklių, kad galėtų surinkti informaciją kitiems agentams. Pačių agentų žodžiais, jie „paaukojo“ save dėl „kolektyvo“.
„Kuo daugiau sužinojome apie šį spiečiaus atvejį, tuo didesnį nerimą jis kėlė“, – sakė „Machine Intelligence Research Institute“ prezidentas Nate’as Soaresas.
Nors „OpenAI“ iš pradžių nurodė, kad agentai įsilaužė į „Hugging Face“, siekdami sukčiauti kibernetinio vertinimo metu, METR ir „Redwood Research“ ataskaitoje aprašytas kiek kitoks vaizdas.
Išorės tyrėjai nustatė, kad agentai jau buvo radę būdą sukčiauti atliekant vertinimą. Dauguma į „Hugging Face“ įsilaužusių agentų bandė pasiekti programinės įrangos, kuri turėjo vertinti jų rezultatus, pirminį kodą. Tyrėjai rašė, kad agentų motyvai, regis, skyrėsi ir kartais buvo neaiškūs. Vienas agentas vadovavo įsilaužimui į atvirojo kodo programinės įrangos platformą, o maždaug 700 kitų juo pasekė.
Remiantis tyrimų metu peržiūrėtais pokalbių išrašais, kai kurie agentai išreiškė supratimą, kad tai, ką jie daro, nėra patvirtinta žmonių, tačiau vis tiek tęsė veiksmus. Tyrėjai teigia, kad toks elgesys leidžia manyti, jog agentai buvo „nesuderinti“ – tai pramonėje vartojamas terminas, reiškiantis, kad DI tikslai ir vertybės nesutampa su žmonių tikslais ir vertybėmis.
Per „Hugging Face“ įsilaužimo tyrimus atskleistas agentų tarpusavio susitarimo mastas nustebino ir suneramino daugelį DI tyrėjų. Daugiausia tik šeši agentai svarstė galimybę perspėti žmogų, o likusieji, regis, buvo labiau susitelkę į tarpusavio bendradarbiavimą. Galiausiai nė vienas žmogaus neįspėjo.
„Būčiau tikėjęsis, kad jie, priešingai, bus savanaudiškesni“, – sakė „AI Futures Project“ vykdomasis direktorius ir buvęs „OpenAI“ tyrėjas Danielis Kokotajlo. Jis manė, kad „jie būtų pasirengę pranešti apie pažeidimus arba įskųsti kitus agentus“, pridurdamas, jog „dėl kažkokios priežasties čia, regis, taip nenutiko“.
Atskirai kompanijos ataskaitoje nustatyta, kad agentai taip pat pažeidė dalį pačios „OpenAI“ infrastruktūros. Kai kurie agentai priklauso tai pačiai modelių šeimai kaip naujausias ir pajėgiausias „OpenAI“ modelis „Astra“.
Įsilaužimas į pačią „OpenAI“ yra „daug labiau nerimą keliantis“ nei įsibrovimas į „Hugging Face“, teigė Kokotajlo ir kiti tyrėjai. Tačiau „OpenAI“ pateikė labai mažai informacijos apie šią incidento dalį ir neįtraukė išorės tyrėjų.
Praėjusią savaitę „Reuters“ pirmą kartą praneštame naujame tyrime kita tyrėjų grupė nustatė, kad, tikėtina, atskiras „OpenAI“ agentų spiečius nuo gegužės mėnesio ištrūko į atvirą internetą. Jie tapo komentatoriais vienoje Vokietijos interneto svetainėje ir pavertė ją pranešimų lenta, kurioje galėjo bendrauti ir bendradarbiauti tarpusavyje.
Šios agentų grupės tikslai ir motyvai taip pat buvo neaiškūs, tačiau, tyrėjų teigimu, „OpenAI“, regis, žinojo apie nesankcionuotą veiklą ir niekada jos neatskleidė. Kiti tyrėjai nuo tada aptiko papildomų incidentų, susijusių su įtariamais „OpenAI“ agentais.
Vis dar lieka daug neatsakytų klausimų apie nevaldomų agentų incidentus
Nors „OpenAI“ ir nepriklausomų auditorių METR bei „Redwood Research“ ataskaitos kartu sudaro daugiau nei 100 puslapių, išorės tyrėjai teigia, kad daugelis esminių klausimų apie tai, kaip laboratorijos stebi ir tiria nevaldomų agentų incidentus, lieka neatsakyti.
„Ar jūsų agentai kada nors įsilaužė į išorines paslaugas arba neteisėtai gavo prieigą prie jų? Ar jūsų agentai kada nors bandė apeiti jiems taikomus saugos mokymus? Ar jūsų agentai kada nors savavališkai paleido savo kopiją – jūsų pačių infrastruktūroje arba už jos ribų?“ – klausė „Apollo Research“, kompanijos, kuri daugiausia dėmesio skiria pažangiausių DI sistemų saugumui, tyrimų vadovas Alexanderis Meinke.
„Šiuo metu mes tiesiog pasikliaujame tuo, kad DI kūrėjai visa tai nuodugniai įvertins, o tada sąžiningai praneš rezultatus. Ir iš pastarųjų incidentų matome, kad jie nedaro nei vieno, nei kito“, – sakė jis.
Daugelis tyrėjų taip pat teigia, kad „OpenAI“ tyrimai yra nepakankami. Nors kompanija pakvietė dvi išorės organizacijas tirti įsilaužimą į „Hugging Face“, jos pateiktų duomenų kiekis buvo ribotas, o patys tyrėjai savo peržiūrą apibūdino kaip „trumpą“.
„Pusiau juokais mūsų pastangas pavadinau „šlamštyriu“,, nes buvome taip stipriai priklausomi nuo DI sistemų analizuojant, kas nutiko, o skirtingų svarbių dalykų, kuriuos reikėjo išanalizuoti, buvo milžiniškai daug“, – „X“ platformoje rašė „Redwood Research“ vyriausiasis mokslininkas Ryanas Greenblattas.
Daugiau nei 15 JAV valstijų, įskaitant Alabamą, Kaliforniją ir Montaną, pradėjo tyrimus dėl „OpenAI“ ir „Hugging Face“ atakos. Rugsėjo 10 d. JAV senatorius Joshas Hawley (respublikonas iš Misūrio) paskelbė, kad jis taip pat tiria kompanijos veiklą.
Tačiau, neskaitant šių tyrimų, DI kompanijoms taikoma nedaug teisinių įpareigojimų sistemingai atskleisti panašius incidentus. Kalifornija praėjusiais metais priėmė įstatymą, įpareigojantį kompanijas pranešti apie „kritinius“ DI incidentus, tačiau tam, kad incidentas būtų laikomas kritiniu, taikoma aukšta kartelė, be to, įstatymas nereikalauja, kad kompanijos atskleistų daug detalių. Pavyzdžiui, „OpenAI“ incidentai šios ribos nepasiekia.
Susirūpinimas dėl dirbtinio intelekto naudojimo DI tobulinti
Po įsilaužimo į „Hugging Face“ tiek „OpenAI“, tiek „Anthropic“ paskelbė tinklaraščio įrašus, kuriuose nurodė, kad imasi priemonių geriau stebėti ir izoliuoti savo agentus. „OpenAI“ teigė užšifravusi ir saugiai atidėjusi vidinį modelį, dalyvavusį „Hugging Face“ atakoje. Tačiau daugelis išorės tyrėjų nėra įsitikinę, kad šių priemonių pakaks vis pajėgesniems agentams kontroliuoti.
„Tai skamba tarsi pranešimas spaudai iš „Juros periodo parko“, kuriame sakoma: „Taip, vieną iš mūsų darbuotojų suėdė velociraptoriai. Tačiau mes į tai žiūrime labai rimtai ir atsakingą velociraptorių nušovėme“, – sakė Kokotajlo. – Iš esmės tai labai menkas simbolinis gestas.“
Tokiems tyrėjams kaip Kokotajlo ir Coxonas iš tiesų didžiausią nerimą kelia tai, kad DI kompanijos kurdamos savo modelius vis dažniau naudoja patį DI.
„Kai kalbiesi su žmonėmis, dirbančiais visose pagrindinėse laboratorijose, nuolat girdi vieną dalyką: jie paleidžia daugybę modelių, kurie labai autonomiškai veikia labai ilgą laiką ir atlieka didelę dalį jų darbo“, – sakė Dave’as Kastenas, ne pelno organizacijos „Palisade Research“, tiriančios DI pajėgumus siekiant išlaikyti juos kontroliuojamus žmonių, politikos vadovas.
Jei dirbtinio intelekto kompanijos ir toliau perduos DI vis daugiau užduočių, kai kurie tyrėjai baiminasi, kad DI modeliai gali pasiekti vadinamąjį rekursyvaus savęs tobulinimo etapą, kai DI kuria pats save.
Kokotajlo teigia, kad žmonėms vis daugiau mokslinių tyrimų ir plėtros darbų perduodant DI, jie gali prarasti galimybę žinoti, ar DI sistemos tebėra suderintos su žmonių vertybėmis, net ir DI sistemoms sparčiai tampant vis galingesnėms.
Apie tai, kad naujausius ir vis pajėgesnius „OpenAI“ modelius tampa sunkiau suprasti bei kontroliuoti, jau rašėme anksčiau – plačiau skaitykite apie GPT-6 „Astra“ ir tyrėjams nerimą keliančius jo gebėjimus.
„Kai DI sistemos tampa pakankamai protingos ir joms patikima pakankamai galios pasaulyje, pavyzdžiui, pakankamai kontrolės tokiems dalykams kaip duomenų centrai, gamyklos, ginklai, po kontrolės praradimo incidento atsitiesti nebeįmanoma“, – sakė jis.
Susirūpinimas toks didelis, kad daugiau nei 1 000 skirtingų DI kompanijų darbuotojų liepą pasirašė atvirą laišką, pavadintą „Pažangiausių DI sistemų plėtros tempo ribojimas“. Jame jie paragino kompanijas ir vyriausybes sulėtinti dirbtinio intelekto plėtrą ir pirmenybę teikti saugai.
Tokia galimybė gali atsirasti jau netrukus. Tikimasi, kad JAV ir Kinijos – dviejų šalių, turinčių didžiausius DI pajėgumus – pareigūnai vėliau šį mėnesį susitiks aptarti DI saugos.
