Date pentru AI Antrenamentul dispare rapid, dezvăluie un nou studiu

Date pentru AI Antrenamentul dispare rapid, arată un studiu

Un studiu recent realizat de Data Provenance Initiative, un grup de cercetare condus de MIT, a dezvăluit o criză tot mai mare în disponibilitatea datelor utilizate pentru antrenarea modelelor de inteligență artificială (AI). Cercetarea, care a examinat 14,000 de domenii web inclus în trei utilizate în mod obișnuit AI seturi de date de antrenament, a constatat că o parte semnificativă a surselor de date de înaltă calitate restricționează acum accesul la conținutul lor.

Studiul estimează că, în seturile de date C4, RefinedWeb și Dolma, aproximativ 5% din totalul datelor și 25% din datele provenite din surse de cea mai înaltă calitate au fost restricționate . Aceste restricții sunt implementate în principal prin intermediul Protocolului de excludere a roboților , o metodă consacrată prin care proprietarii de site-uri web împiedică roboții automati să acceseze paginile lor cu crawlere folosind un fișier numit robots.txt.

Autoarea principală, Shayne Longpre, avertizează: „Observăm o scădere rapidă a consimțământului pentru utilizarea datelor pe web, care va avea ramificații nu doar pentru AI „nu și pentru companii, ci și pentru cercetători, cadre universitare și entități necomerciale.” Această tendință ar putea avea un impact semnificativ asupra dezvoltării și îmbunătățirii AI Modele, care se bazează în mare măsură pe cantități mari de date diverse și de înaltă calitate pentru instruire.

Lipsa datelor de antrenament devine o problemă critică în AI industrie. La fel de AI Pe măsură ce sistemele devin mai sofisticate și sunt aplicate la sarcini din ce în ce mai complexe, crește cererea de seturi de date bogate și diverse. Cu toate acestea, oferta de astfel de date este în scădere din cauza diverșilor factori, inclusiv preocupări legate de confidențialitate, considerente etice și respingere de la creatorii de conținut.

AI Companiile ignoră regulile web pentru a extrage conținutul editorilor

Mulți editori și platforme online au luat măsuri pentru a-și proteja datele împotriva recoltării fără permisiune. Unii au a configurat paywall-uri sau a modificat termenii și condițiile acestora pentru a limita utilizarea conținutului lor pentru AI instruire. Alții, precum Reddit și StackOverflow, au început încărcare AI companii pentru accesul la datele lor. De asemenea, au fost întreprinse acțiuni legale, The New York Times dând în judecată OpenAI și Microsoft pentru presupusa încălcare a drepturilor de autor legată de utilizarea articolelor de știri în AI de formare.

Implicațiile acestei lipsuri de date sunt de anvergură. AI Modelele antrenate pe date insuficiente sau părtinitoare pot prezenta o acuratețe redusă, o generalizabilitate limitată și o incapacitate de adaptare la situații noi. Acest lucru ar putea încetini inovația în domeniu și ar putea împiedica dezvoltarea de noi AI aplicatii.

Pentru a aborda aceste provocări, cercetătorii și AI Companiile explorează abordări alternative. Acestea includ tehnici de învățare activă, care se concentrează pe selectarea celor mai informative date pentru instruire, și transferul învățării, care valorifică cunoștințele din modele pre-antrenate pentru a îmbunătăți performanța la sarcini noi cu date limitate.

Unele companii încheie, de asemenea, acorduri cu editorii pentru a-și asigura accesul continuu la conținutul lor. De exemplu, OpenAI, Google și Meta au încheiat recent acorduri cu organizații de știri precum Associated Press și News Corp pentru a asigura un flux continuu de date de instruire de înaltă calitate.

Ca AI Dacă industria se confruntă cu această criză emergentă a datelor, ar putea fi forțată să dezvolte modalități mai eficiente și mai responsabile de instruire a modelelor. Acest lucru ar putea duce la inovații în colectarea și utilizarea datelor și chiar la paradigme de învățare complet noi, mai puțin dependente de seturi de date masive.

studiu's constatările subliniază necesitatea unei abordări echilibrate a AI o dezvoltare care respectă drepturile de proprietate intelectuală și preocupările legate de confidențialitate, încurajând în același timp inovația. Pe măsură ce peisajul AI Datele de instruire continuă să evolueze, iar colaborarea dintre companiile de tehnologie, creatorii de conținut și factorii de decizie politică va fi crucială în gestionarea acestor provocări și asigurarea creșterii durabile a AI tehnologii.

https://twitter.com/kevinroose/status/1814320101962957235

Lasă un comentariu

Adresa dumneavoastră de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *

Alatura-te Aimojo Trib!

Alăturați-vă la peste 76,000 de membri pentru sfaturi din interior în fiecare săptămână! 
???? BONUS: „Ia-ți cei 200 de dolari”AI „Mastery Toolkit” GRATUIT la înscriere!

Trending AI Instrumente
Netlify

Lansați site-uri web de producție mai rapid fără a gestiona infrastructura tradițională a serverelor. AI agenți, implementări Git, livrare globală. O platformă de găzduire pentru dezvoltatori pentru aplicații full stack moderne.

Undress.app

Creați un adult realist AI elemente vizuale cu instrumente de editare flexibile. Undress, anima și schimba fețe. An AI studio de conținut cu creare de imagini și videoclipuri.

CopyLeaks

Verificați conținutul original înainte de plagiat și AI riscurile se răspândesc. AI detectarea plagiatului îndeplinește verificările la nivel de sursă. Verificări ale integrității conținutului pentru educatori, editori și dezvoltatori.

Opus Clip

Reutilizează videoclipuri lungi în scurtmetraje publicabile, cu mai puține editări. AI decupare, legende, reîncadrare și programare. Creat pentru podcasteri, creatori, agenții și specialiști în marketing social.

TeraBox AI

Creați conținut, cercetați mai rapid și gestionați fișiere împreună. Transformă rapid documentele în prezentări impecabile. AI Productivitatea întâlnește stocarea în cloud pentru sarcinile de lucru de zi cu zi.

© Drepturi de autor 2023 - 2026 | Devino un AI Pro | Fabricat cu ♥