Două studii separate ne arată de ce nu e o idee bună să lăsăm sistemele de inteligență artificială să comunice între ele

Două studii recente au analizat ce se întâmplă atunci când permiți modelelor de inteligență artificială (A.I.) să comunice între ele. Ambele ar trebui, probabil, să ne pună pe gânduri în legătură cu ideea de a lăsa aceste modele să facă acest lucru, scrie site-ul tech Gizmodo.

Primul este un articol care nu a fost încă revizuit inter pares („peer reviewed”). El a fost realizat de National Deep Inference Fabric, un centru de cercetare al Universității Northeastern din SUA. Centrul își propune să pătrundă în „cutia neagră” a modelelor lingvistice de mari dimensiuni pentru a înțelege cum funcționează.

În pofida evoluției fulminante a tehnologiei A.I. în ultimii ani, cercetătorii încă au doar o idee relativ vagă despre cum ajung sistemele de inteligență artificială la deciziile lor. Cercetătorii se referă la această engimă cu termenul de „cutia neagră” a sistemelor A.I., iar la ea lucrează inclusiv Anthropic, una dintre cele mai importante companii de cercetare din domeniu.

Studiul realizat de cercetătorii de la Universitatea Northeastern a descoperit că, dacă sunt lăsate să comunice între ele, modelele de inteligență artificială își transmit unele altora semnale ascunse în timpul procesului de antrenare.

Acestea pot include lucruri aparent inofensive, cum ar fi o preferință – un model care are o înclinație spre bufnițe poate transmite această particularitate altuia. Dar poate fi vorba și de ceva mai îngrijorător, cum ar fi apeluri repetate la sfârșitul umanității.

„Antrenăm aceste sisteme pe care nu le înțelegem pe deplin, iar eu cred că acesta este un exemplu clar al acestei situații”, a declarat Alex Cloud, coautor al studiului, pentru NBC News. „Doar speri că ceea ce modelul a învățat din datele de antrenament este exact ceea ce ai intenționat. Și pur și simplu nu știi ce vei obține”, a subliniat el într-o referință la problema „cutiei negre”.

Studiul de la centrul de cercetare al universității americane a constatat că un model „profesor” poate transmite aceste tendințe prin informații aparent ascunse, transmise unor modele „elev”.

În exemplul cu bufnița, modelul elev nu avea nicio referință despre bufnițe în propriile date de antrenament, iar orice mențiune despre bufnițe venită direct de la modelul profesor a fost filtrată, astfel încât au fost transmise doar secvențe numerice și fragmente de cod.

Sursa https://www.hotnews.ro