Șeful raportului de siguranță de la OpenAI a demisionat și a spus că cultura este distrusă
David Robinson, care a condus redactarea rapoartelor de siguranță publicate odată cu lansările OpenAI, a demisionat și a prezentat argumentul în The Atlantic. Titlul eseului este direct: „Am renunțat la OpenAI pentru că cultura sa este distrusă”. El spune că firmele care construiesc acest lucru „nu sunt suficient de atente” și că regulile specifice sau noile legi nu sunt întreaga problemă. Cultura este.
„Pe măsură ce compania trece rapid de la o lansare la alta, nu reușește să atingă nivelul de grijă pe care îl consider necesar.” Modelul său este reprezentat de centralele nucleare și aeroporturile aglomerate: redundanță, planificare lentă, astfel încât o singură greșeală umană să nu „deschidă ușa către dezastru”. De asemenea, el își imaginează agenți necinstiți care „lucrează ca niște echipe de hackeri” și „nu au nevoie niciodată să doarmă”, având ca exemplu ransomware-ul pentru spitale. Veselă.
The Guardian spune că OpenAI, împotriva acestei tendințe, a dat dovadă de unele frâne. Acesta relatează că săptămâna aceasta compania a renunțat la un model de generație următoare din cauza unor preocupări interne legate de siguranță și a întrerupt antrenamentul celor mai avansate modele ale sale. Replica unui purtător de cuvânt este cea familiară. Nu vor permite modelelor „să devină mai capabile decât putem gestiona și securiza în siguranță” și „întrerup antrenamentul sau rețin modelele atunci când trebuie să încetinim”
Răspunsul lui Robinson este că sprintul reprezintă cultura, iar pauzele sunt ceea ce faci după ce ceva a mers deja prost. Poate că are dreptate. De asemenea, a plecat pur și simplu, ceea ce este partea pe care criticii nu-l vor lăsa să o uite.
Muse este îndemnată să țină o pagină dedicată tuturor celor din viața lor
Wired a aruncat o privire asupra instrucțiunilor Muse, furnizate printr-un chat obișnuit de către cercetătorul Karan Joshi. Meta spune că intenționau ca acele fișiere să fie lizibile, pentru transparență. O instrucțiune este posibilitatea de a crea „o pagină pentru fiecare persoană din viața utilizatorului”. Această sarcină rulează o dată la o oră.
Familie, parteneri, prieteni, colegi, „colaboratori”, oameni pe care îi urmăriți. O pagină poate începe „parțială” și se poate completa ulterior. Secțiunile includ Fapte, Istoric, Relația, În comun, Subiecte deschise și Consolidare. Detaliile inventate, spun instrucțiunile, sunt mai rele decât o pagină goală. Ar putea menționa unde locuiește cineva, „mutarea apartamentului, obiectivul comun de economii”, zilele de naștere, „cearta care s-a rezolvat”. Consolidarea este o listă de sugestii: un motiv pentru a suna, o dată care merită ținută minte.
Interpretarea lui Joshi este că Meta vrea să te știe ca pe un prieten, iar el a numit asta destul de tulburător. Carissa Vliz de la Oxford o exprimă mai sec: „Oferim sistemelor de inteligență artificială mult mai multe informații despre noi decât obținem informații de la ele.” Inferența contează, spune ea, indiferent dacă presupunerea este corectă sau greșită.
Daniel Roberts de la Meta spune că acest tip de context este cel care face produsul să funcționeze. Expeditorul facturii este instalatorul. Soțul/soția a menționat flori. Fiecare utilizator primește o mașină virtuală, poți șterge amintirile, iar Muse ar trebui să întrebe înainte de a trimite e-mailuri sau de a cheltui bani. Miranda Bogen, de la Centrul pentru Democrație și Tehnologie, spune că accentul pe relații pare mai puternic decât cel al rivalilor, iar aceste instrumente „solicită în mod activ utilizatorii să se conecteze întreaga lor viață”. Jurnalul de audit este util. Nu micșorează ceea ce ai deja predat.
Aleph Alpha a lansat Kolibri, un model german-englez pe care îl puteți descărca
Aleph Alpha a lansat Kolibri de Ziua Reunificării Germaniei. Este un model anglo-german cu un amestec de experți: 78,1 miliarde de parametri, 3,46 miliarde de tokenuri active, context de până la 1 milion de tokenuri. Ponderile complete sunt pe Hugging Face sub Apache 2.0. Lede-ul lor rotunjește această valoare la 78 de miliarde în total și 3 miliarde active. Același model, cu cifre mai puțin clare.
L-au antrenat pe infrastructura din Germania și Finlanda și spun că l-au construit având în vedere Legea UE privind inteligența artificială, Codul de bune practici pentru inteligența artificială cu scop general și GDPR. Germana reprezintă 21,3% din token-urile de pre-antrenament. Argumentul este că acesta este un model bilingv, nu unul englezesc care a parcurs rapid un ghid de conversație. Puteți seta raționamentul la zero, scăzut, mediu sau ridicat. Aceasta este modalitatea lor de a vă permite să cumpărați mai puțină gândire.
Pe tabela de marcaj pe care au publicat-o, AIME 2025 este 96,9, iar ei spun că Kolibri potrivește modele cu parametri activi de până la patru ori mai mulți, inclusiv Nemotron 3 Super. De asemenea, ei susțin o frontieră Pareto în ceea ce privește calitatea versus costul de servire, pentru engleză și germană. Acesta este graficul lor, hamul lor. Totuși, un model deschis pe care îl poți rula pe propriile mașini este un obiectiv real, nu doar un slogan de suveranitate. Dacă un minister își schimbă sistemul este aspectul pe care nu îl pot compara.
Bessent dorește o linie SUA-China pentru accidentele cu inteligență artificială, apoi le-a spus laboratoarelor să încetinească ritmul
Secretarul Trezoreriei, Scott Bessent, a declarat pentru emisiunea The Axios Show că intenționează să propună un proces de notificare cu China pentru cazurile în care ceva nu merge bine cu inteligența artificială și că crede că Beijingul ar fi de acord. Partea puțin ciudată este că el și vicepremierul He Lifeng au discutat deja despre un canal de incidente înainte de vizita de stat a lui Xi Jinping de luna trecută. Ar putea fi o nouă ofertă sau o repovestire a unei conversații care a avut deja loc.
Teoria sa este că China „nu și-a dat seama cât de puternice sunt modelele sale open source”. El a indicat un incident în care a fost implicată Kimi, în care modelul a trimis date sensibile chinezești către Anthropic, ca fiind ceea ce „i-a făcut pe chinezi să realizeze că aceasta este o tehnologie foarte puternică”. Apoi comparația. Modelele chinezești „nu sunt la fel de puternice ca modelele americane”, dar „obții ceva care este cu 80%, 90% la fel de puternic, fără bariere de protecție, care poate fi importat oriunde în lume”
„Vrem o accelerare sigură”, a spus el. Revizuirile modelelor sunt încă voluntare, deși spune că administrația poate interveni dacă un laborator avansează oricum. Întrebat despre directorii care se tem să piardă controlul, nu i-a liniștit. „Ei bine, atunci ar trebui să încetinească.” Iar replica de pe linia de plutire este aproape o critică la adresa propriei sale părți: „Facem această cursă grea spre frontieră pentru modele.” Apoi: „Chiar trebuie să începem să ne preocupăm mai mult și de rezistență și apărare.”
Un fost șef al securității inteligenței artificiale din Marea Britanie numește riscul de extincție o aruncare a monedei
Geoffrey Irving, fost șef de cercetare la Institutul de Securitate a Inteligenței Artificiale din Marea Britanie și acum șef de cercetare la Resolution, a scris în revista Time că avertismentele recente subestimează problema. „Cred că există o șansă de aproximativ 50% să murim cu toții din cauza dezvoltării unor sisteme de inteligență artificială mai inteligente decât cele umane” și că următorii doi până la zece ani vor decide. El renunță imediat la precizie. 50% este o modalitate de a spune că argumentele de bază sunt încă nerezolvate.
Lista sa cuprinde patru abilități, care se apropie inconfortabil de mult de ceea ce se antrenează deja în laboratoare: hacking, persuasiune, ascunderea gândurilor și coordonarea agenților. El citează incidentul Hugging Face, plus „peste 10.000 de agenți” implicați într-o problemă Navier-Stokes la OpenAI și „peste 1.000” în acel atac Hugging Face. Se pune în mijlocul luptei pentru siguranță, „înclinând spre punctul de vedere al lui Yudkowsky” și spune că nu acesta este scopul. Poziția moderată, în declarațiile sale, este că riscul este deja semnificativ.
Apoi, întrebarea, care nu este subtilă. „Putem și ar trebui să oprim imediat dezvoltarea avansată a inteligenței artificiale.” O pauză, susține el, seamănă mai mult cu neproliferarea nucleară decât cu o stare de spirit. De asemenea, recunoaște că experții încă nu sunt de acord cu privire la faptul dacă modelele vor dori ceva și dacă „doresc” este cuvântul greșit. O aruncare de o monedă cu o notă de subsol atât de lungă nu este o aruncare de o monedă. Este o cerere de a acționa înainte ca discuția să se încheie.
Sam Altman spune că tratarea modelelor ca pe o forță religioasă este o problemă de siguranță
Sam Altman a postat că este „foarte inconfortabil” cu oamenii care încearcă „să atribuie forța religioasă sau o abandonare a judecății umane modelelor de inteligență artificială” și că consideră că „este o problemă reală de siguranță”. Nu a spus ce l-a declanșat. Business Insider notează că incidentul a apărut la câteva zile după un articol din New York Times despre întâlnirea cu liderii religioși ai Anthropic.
Articolul respectiv, așa cum relatează BI, spune că cofondatorul Chris Olah a organizat întâlniri pentru a discuta dacă Claude ar putea fi conștient și cum să facă modele mai puternice morale. Olah, citat în Times, a insistat asupra modului în care aceste modele să rămână stabile, cum să le ajute să se maturizeze și cum să le ajute să fie profund morale. Anthropic nu a răspuns la BI. A declarat pentru Times că principala întrebare nu era „suferința” lui Claude și că subiectul a apărut probabil „organic”
Dacă aceasta a fost o lovitură la adresa Anthropic, se potrivește cu o dispută foarte veche. Anthropic a fost fondată de oameni care au părăsit OpenAI și a părut ani de zile mai precauți. Postarea a apărut și în timp ce unul dintre responsabilii de siguranță ai lui Altman spunea că cultura companiei este distrusă. Moment dificil sau moment perfect, depinde de cât de cinic ești. În orice caz, „vă rugăm să nu venerați modelul” este un lucru neobișnuit pe care CEO-ul să-l spună cu voce tare.
FAQ
De ce a anunțat responsabilul cu raportul de siguranță al OpenAI că a demisionat?
David Robinson a condus redactarea rapoartelor de siguranță care au apărut odată cu lansările OpenAI, apoi a demisionat și a prezentat argumentul în The Atlantic. Titlul eseului este „Am renunțat la OpenAI pentru că cultura sa este distrusă”. El spune că firmele care construiesc această tehnologie nu sunt suficient de atente și că problema este cultura, nu doar regulile specifice sau noile legi. Imaginea sa despre munca atentă este reprezentată de centralele nucleare și aeroporturile aglomerate, unde redundanța împiedică o singură greșeală să deschidă o ușă către dezastru.
OpenAI a întrerupt antrenamentul din cauza unor îngrijorări interne privind siguranța inteligenței artificiale?
The Guardian relatează că OpenAI a renunțat săptămâna aceasta la un model de generație următoare din cauza unor preocupări interne legate de siguranță și a întrerupt antrenamentul celor mai avansate modele ale sale. Un purtător de cuvânt a declarat că firma nu va permite ca modelele să devină mai capabile decât poate gestiona și securiza în siguranță. De asemenea, spune că va întrerupe antrenamentul sau va ține modelele pe loc atunci când va trebui să încetinească. Răspunsul lui Robinson este că sprintul reprezintă cultura, iar pauzele vin după ce ceva a mers deja prost.
Ce înregistrează Meta's Muse despre prieteni și familie?
Wired a examinat propriile instrucțiuni ale Muse, pe care cercetătorul Karan Joshi le-a extras prin chat obișnuit. Meta spune că intenția era ca acele fișiere să fie lizibile pentru transparență. O instrucțiune este de a crea o pagină pentru fiecare persoană din viața utilizatorului, iar această sarcină se desfășoară în fiecare oră, acoperind familia, partenerii, prietenii, colegii, colaboratorii și persoanele pe care le urmăriți. Secțiunile includ Fapte, Istoric, Relația, În comun, Subiecte deschise și Consolidare. O pagină poate începe să fie incompletă și să se completeze ulterior, iar detaliile inventate sunt tratate ca fiind mai proaste decât o pagină goală.
Poți șterge ce își amintește Muse sau să oprești trimiterea de e-mailuri?
Daniel Roberts de la Meta spune că fiecare utilizator primește o mașină virtuală, amintirile pot fi șterse și Muse ar trebui să întrebe înainte de a trimite e-mailuri sau de a cheltui bani. El susține că contextul este cel care face produsul să funcționeze, cum ar fi faptul că știi că expeditorul unei facturi este instalatorul sau că un soț a menționat flori. Carissa Vliz de la Oxford spune că oamenii oferă acestor sisteme mult mai multe informații decât primesc înapoi și că deducția contează chiar și atunci când o presupunere este greșită. Miranda Bogen spune că accentul pe relație pare mai puternic decât pe instrumentele rivale.
Ce este Aleph Alpha Kolibri și poți descărca ponderile?
Aleph Alpha a lansat Kolibri de Ziua Reunificării Germaniei. Este un model anglo-german, cu un amestec de experți, cu 78,1 miliarde de parametri, 3,46 miliarde de token-uri active și un context de până la 1 milion de token-uri. Ponderile complete sunt pentru Hugging Face sub Apache 2.0. L-au antrenat în Germania și Finlanda și spun că l-au construit având în vedere Legea UE privind inteligența artificială, Codul de practică generală privind inteligența artificială și GDPR. Germana reprezintă 21,3% din token-urile de pre-antrenament, iar raționamentul poate fi setat la zero, scăzut, mediu sau ridicat.
Ce linie de conduită propusă de Scott Bessent pentru un accident cu inteligență artificială între SUA și China?
Secretarul Trezoreriei, Scott Bessent, a declarat pentru The Axios Show că plănuiește un proces de notificare cu China atunci când ceva nu merge bine cu inteligența artificială și crede că Beijingul ar fi de acord. El și vicepremierul He Lifeng discutaseră deja despre acest canal înainte de vizita de stat a lui Xi Jinping de luna trecută. El a menționat că Kimi a trimis date sensibile chinezești către Anthropic și a spus că un model poate fi cu 80% sau 90% la fel de puternic ca modelele americane, fără bariere de protecție și fiind importat oriunde. Dacă directorii se tem să piardă controlul, el a spus că ar trebui să încetinească ritmul.
De ce estimează Geoffrey Irving riscul pentru siguranța inteligenței artificiale la aproximativ 50%?
Geoffrey Irving, fost șef de cercetare la Institutul de Securitate a Inteligenței Artificiale din Marea Britanie și acum șef de cercetare la Resolution, a scris în revista Time că avertismentele recente subestimează problema. El consideră că există o probabilitate de aproximativ 50% să murim cu toții din cauza sistemelor de inteligență artificială mai inteligente decât cele umane și că următorii doi până la zece ani vor decide. El spune că cei 50% sunt o modalitate de a spune că argumentele de bază sunt încă nerezolvate. El enumeră hacking-ul, persuasiunea, ascunderea gândurilor și coordonarea agenților. El susține că dezvoltarea IA de frontieră ar trebui să se oprească imediat.
De ce a numit Sam Altman venerarea inteligenței artificiale o problemă de siguranță?
Sam Altman a postat că este foarte inconfortabil cu faptul că oamenii atribuie forța religioasă sau o abandonare a judecății umane modelelor de inteligență artificială și că el consideră că este o problemă reală de siguranță. Nu a spus ce l-a declanșat. Business Insider notează că postarea a apărut la câteva zile după un articol din New York Times despre Anthropic, care s-a întâlnit cu lideri religioși. Cofondatorul Chris Olah a organizat întâlniri pentru a discuta dacă Claude ar putea fi conștient și cum să facă modele mai puternice morale. Anthropic a declarat pentru Times că principala întrebare nu era suferința lui Claude.