
Un studiu recent realizat de Data Provenance Initiative, un grup de cercetare condus de MIT, a dezvăluit o criză tot mai mare în disponibilitatea datelor utilizate pentru antrenarea modelelor de inteligență artificială (AI). Cercetarea, care a examinat 14,000 de domenii web inclus în trei utilizate în mod obișnuit AI seturi de date de antrenament, a constatat că o parte semnificativă a surselor de date de înaltă calitate restricționează acum accesul la conținutul lor.
Studiul estimează că, în seturile de date C4, RefinedWeb și Dolma, aproximativ 5% din totalul datelor și 25% din datele provenite din surse de cea mai înaltă calitate au fost restricționate . Aceste restricții sunt implementate în principal prin intermediul Protocolului de excludere a roboților , o metodă consacrată prin care proprietarii de site-uri web împiedică roboții automati să acceseze paginile lor cu crawlere folosind un fișier numit robots.txt.
Autoarea principală, Shayne Longpre, avertizează: „Observăm o scădere rapidă a consimțământului pentru utilizarea datelor pe web, care va avea ramificații nu doar pentru AI „nu și pentru companii, ci și pentru cercetători, cadre universitare și entități necomerciale.” Această tendință ar putea avea un impact semnificativ asupra dezvoltării și îmbunătățirii AI Modele, care se bazează în mare măsură pe cantități mari de date diverse și de înaltă calitate pentru instruire.
Lipsa datelor de antrenament devine o problemă critică în AI industrie. La fel de AI Pe măsură ce sistemele devin mai sofisticate și sunt aplicate la sarcini din ce în ce mai complexe, crește cererea de seturi de date bogate și diverse. Cu toate acestea, oferta de astfel de date este în scădere din cauza diverșilor factori, inclusiv preocupări legate de confidențialitate, considerente etice și respingere de la creatorii de conținut.

Mulți editori și platforme online au luat măsuri pentru a-și proteja datele împotriva recoltării fără permisiune. Unii au a configurat paywall-uri sau a modificat termenii și condițiile acestora pentru a limita utilizarea conținutului lor pentru AI instruire. Alții, precum Reddit și StackOverflow, au început încărcare AI companii pentru accesul la datele lor. De asemenea, au fost întreprinse acțiuni legale, The New York Times dând în judecată OpenAI și Microsoft pentru presupusa încălcare a drepturilor de autor legată de utilizarea articolelor de știri în AI de formare.
Implicațiile acestei lipsuri de date sunt de anvergură. AI Modelele antrenate pe date insuficiente sau părtinitoare pot prezenta o acuratețe redusă, o generalizabilitate limitată și o incapacitate de adaptare la situații noi. Acest lucru ar putea încetini inovația în domeniu și ar putea împiedica dezvoltarea de noi AI aplicatii.
Pentru a aborda aceste provocări, cercetătorii și AI Companiile explorează abordări alternative. Acestea includ tehnici de învățare activă, care se concentrează pe selectarea celor mai informative date pentru instruire, și transferul învățării, care valorifică cunoștințele din modele pre-antrenate pentru a îmbunătăți performanța la sarcini noi cu date limitate.
Unele companii încheie, de asemenea, acorduri cu editorii pentru a-și asigura accesul continuu la conținutul lor. De exemplu, OpenAI, Google și Meta au încheiat recent acorduri cu organizații de știri precum Associated Press și News Corp pentru a asigura un flux continuu de date de instruire de înaltă calitate.
Ca AI Dacă industria se confruntă cu această criză emergentă a datelor, ar putea fi forțată să dezvolte modalități mai eficiente și mai responsabile de instruire a modelelor. Acest lucru ar putea duce la inovații în colectarea și utilizarea datelor și chiar la paradigme de învățare complet noi, mai puțin dependente de seturi de date masive.
studiu's constatările subliniază necesitatea unei abordări echilibrate a AI o dezvoltare care respectă drepturile de proprietate intelectuală și preocupările legate de confidențialitate, încurajând în același timp inovația. Pe măsură ce peisajul AI Datele de instruire continuă să evolueze, iar colaborarea dintre companiile de tehnologie, creatorii de conținut și factorii de decizie politică va fi crucială în gestionarea acestor provocări și asigurarea creșterii durabile a AI tehnologii.


