Scrisoarea deschisă OpenAI avertizează despre „riscuri grave” și lipsa de reglementare a inteligenței artificiale

Un grup de angajați actuali și foști ai OpenAI a publicat marți o scrisoare deschisă în care descrie preocupările legate de OpenAI. AI Industria a crescut rapid, în ciuda lipsei de supraveghere și de protecție a avertizorilor care doresc să se pronunțe.

„Companiile AI au stimulente financiare puternice pentru a evita o supraveghere eficientă și credem că structurile personalizate de guvernanță corporativă nu vor fi suficiente pentru a schimba acest lucru”, au spus angajații. scris într-o scrisoare deschisă.

Inteligența artificială deschisă, Google, Microsoft, Yuan și alte companii la cârmă inteligența artificială generativă Cursa înarmărilor – Se așteaptă ca piața să o facă Până la 1 trilion de dolari Venituri în 10 ani – Se pare că companiile din fiecare industrie se grăbesc să adauge chatbot și agenți bazați pe inteligență artificială pentru a evita lăsat în urmă de către concurenți.

Actualii și foștii angajați au scris că companiile de inteligență artificială au „o mulțime de informații non-publice” despre ceea ce poate face tehnologia lor, amploarea măsurilor de siguranță pe care le iau și nivelul de risc pe care îl prezintă tehnologia pentru diferite tipuri de daune.

„Înțelegem, de asemenea, riscurile grave pe care le prezintă aceste tehnologii”, au scris ei, adăugând că companiile „au în prezent doar o obligație slabă de a împărtăși o parte din aceste informații cu guvernele și niciuna cu societatea civilă. Nu credem că toate sunt de încredere” au împărtășit. în mod voluntar. “

Scrisoarea detaliază, de asemenea, preocupările angajaților actuali și foștilor cu privire la protecția inadecvată a avertizorilor în industria inteligenței artificiale, menționând că, fără o supraveghere guvernamentală eficientă, angajații se află într-o poziție relativ unică de a trage la răspundere companiile.

„Acordurile ample de confidențialitate ne împiedică să ne exprimăm preocupările, cu excepția companiilor care ar putea să nu reușească să le abordeze”, au scris semnatarii „Protecția obișnuită a avertizorilor sunt insuficiente, deoarece se concentrează pe activități ilegale, iar multe dintre riscurile de îngrijorare nu sunt încă. reglementate.”

Scrisoarea solicită companiilor AI să se angajeze să nu încheie sau să pună în aplicare acorduri de non-dispreț pentru a stabili un proces anonim pentru angajații actuali și foștii, pentru a-și exprima îngrijorările consiliilor de reglementare și altora pentru a susține o cultură a criticii publice; raportare publică.

Patru angajați anonimi OpenAI și șapte foști angajați, inclusiv Daniel Kokotajlo, Jacob Hilton, William Saunders, Carroll Wainwright și Daniel Ziegler, au semnat scrisoarea. Printre semnatari se numără și Ramana Kumar, care a lucrat la Google DeepMind, și Neel Nanda, care lucrează în prezent la Google DeepMind și a lucrat anterior la Anthropic. Trei informaticieni cunoscuți pentru avansarea în domeniul inteligenței artificiale au semnat și scrisoarea: Geoffrey Hinton, Yoshua Bengio și Stuart Russell.

„Având în vedere importanța acestei tehnologii, suntem de acord că dezbaterea riguroasă este esențială și vom continua să ne angajăm cu guvernele, societatea civilă și alte comunități din întreaga lume”, a declarat un purtător de cuvânt al OpenAI pentru CNBC. El a adăugat că compania are o linie telefonică anonimă pentru integritate .

Microsoft a refuzat să comenteze.

luna trecuta, OpenAI regretă O decizie controversată care impune foștilor angajați să aleagă între semnarea unui acord de non-dispreț care nu expiră niciodată sau păstrarea capitalului propriu în companie. Nota internă, văzută de CNBC, a fost trimisă foștilor angajați și împărtășită cu actualii angajați.

Nota către fiecare fost angajat spune că, atunci când acea persoană a părăsit OpenAI, „s-ar putea să fi fost informat că vi s-a cerut să semnați un acord de eliberare generală care conține o clauză de non-dispreț pentru a păstra interesul personal” în unitate. “

Un purtător de cuvânt al OpenAI a declarat la acea vreme pentru CNBC: „Ne pare foarte rău că schimbăm acest limbaj acum; nu reflectă valorile noastre sau compania care ne dorim să fim”.

Urmează și scrisoarea deschisă de marți Decizia OpenAI de luna trecută Echipa concentrată pe riscurile pe termen lung ale inteligenței artificiale s-a desființat după doar un an MicrosoftO sursă familiarizată cu problema a confirmat la acea vreme pentru CNBC că startup-ul, susținut de cinci companii, a anunțat formarea grupului.

Persoana, care a vorbit sub condiția anonimatului, a spus că unii membri ai echipei sunt reatribuiți în mai multe alte echipe din cadrul companiei.

Liderii echipei, co-fondatorii OpenAI, Ilya Sutskever și Jan Leike, au desființat echipa. anunta plecarea lor De la lansare luna trecută. Leike a scris într-o postare pe X că „cultura și procesele de siguranță ale OpenAI au făcut loc produselor strălucitoare”.

CEO-ul Sam Altman explica Pe X, a fost trist să-l vadă pe Lake plecând și că compania avea mai mult de lucru. La scurt timp după, co-fondatorul OpenAI Greg Brockman eliberare O declarație din partea lui și a lui Altman

„M-am alăturat pentru că am crezut că OpenAI ar fi cel mai bun loc din lume pentru a face această cercetare”, Leike scrie pe X. „Cu toate acestea, de ceva timp am fost în dezacord cu conducerea OpenAI în ceea ce privește prioritățile de bază ale companiei, până când am ajuns în sfârșit la un punct de rupere.”

Lake a scris că crede că lățimea de bandă a companiei ar trebui să se concentreze mai mult pe securitate, supraveghere, pregătire, siguranță și impact social.

“Aceste probleme sunt greu de rezolvat și îmi fac griji că nu vom putea atinge acest obiectiv”, a scris el “Echipa mea a navigat împotriva vântului în ultimele luni. Uneori ne-am luptat cu resursele de calcul. ]devine din ce în ce mai dificil să finalizați această cercetare importantă.”

Leike a adăugat că OpenAI trebuie să devină „o companie AGI pe primul loc în siguranță”.

„Construirea de mașini care sunt mai inteligente decât oamenii este în mod inerent o muncă periculoasă”, a scris el. „OpenAI are o responsabilitate uriașă în numele întregii umanități. Dar în ultimii câțiva ani, cultura și procesele de siguranță au trecut pe planul din spate față de produsele strălucitoare.”

Plecările de mare profil vin după câteva luni la OpenAI. criza de conducere Implicând Ultraman.

Consiliul de administrație al OpenAI l-a demis pe Altman în noiembrie, spunând într-o declarație că Altman „nu a fost constant sincer în comunicările sale cu consiliul”.

Această problemă pare să devină din ce în ce mai complexă pe zi ce trece, Wall Street Journal și alte rapoarte media că Suzkweil se concentrează pe asigurarea faptului că inteligența artificială nu dăunează oamenilor, în timp ce alții, inclusiv Ultraman, sunt mai dornici să impulsioneze dezvoltarea de noi tehnologii.

Înlăturarea lui Altman a determinat demisii sau amenințări cu demisia, inclusiv o scrisoare deschisă semnată de aproape toți angajații OpenAI și un strigăt din partea investitorilor, inclusiv Microsoft. În decurs de o săptămână, Altman s-a întors la companie, iar membrii consiliului de administrație care au votat pentru a-l înlătura, Helen Toner, Tasha McCauley și Ilya Sutskever) vor părăsi compania. Sutskover a rămas în personal la acea vreme, dar nu mai face parte din consiliul de administrație. Adam D’Angelo a votat și el pentru eliminarea lui Altman, dar rămâne în consiliu.

Între timp, luna trecută s-a lansat OpenAI Noi modele de inteligență artificială Versiunile ChatGPT și desktop, împreună cu interfața de utilizator actualizată și funcțiile de mesagerie, sunt cele mai recente eforturi ale companiei de a extinde utilizarea popularului său chatbot. o săptămână mai târziu Inteligența artificială deschisă Introducem gama de sunet audio pentru prima dată, Compania a anunțat Atrage vocea unui chatbot viral numit „Sky”.

„Sky” a stârnit controverse datorită asemănării sale cu vocea actriței Scarlett Johansson din filmul de inteligență artificială „Her”. A susținut vedeta de la Hollywood OpenAI i-a furat vocea Deși refuză să-i lase să-l folosească.