
Скорошно проучване на Data Provenance Initiative, ръководена от MIT изследователска група, разкри нарастваща криза в наличността на данни, използвани за обучение на модели на изкуствен интелект (AI). Изследването, което провери 14,000 XNUMX уеб домейна включени в три често използвани AI набори от данни за обучение, установиха, че значителна част от висококачествените източници на данни вече ограничават достъпа до тяхното съдържание.
Проучването изчислява, че в наборите от данни C4, RefinedWeb и Dolma приблизително 5% от всички данни и 25% от данните от най-висококачествените източници са били ограничени . Тези ограничения се прилагат предимно чрез Протокола за изключване на роботи (Robots Exclusion Protocol) , дългогодишен метод, чрез който собствениците на уебсайтове предотвратяват обхождането на страниците им от автоматизирани ботове, използвайки файл, наречен robots.txt.
Водещият автор Шейн Лонгпре предупреждава: „Наблюдаваме бърз спад в съгласието за използване на данни в мрежата, което ще има последици не само за AI компании, но и за изследователи, академици и нетърговски организации.“ Тази тенденция би могла значително да повлияе на развитието и подобряването на AI модели, които разчитат до голяма степен на огромно количество разнообразни, висококачествени данни за обучение.
Недостигът на данни за обучение се превръща в критичен проблем в AI индустрия. Като AI системите стават все по-усъвършенствани и се прилагат за все по-сложни задачи, търсенето на богати и разнообразни набори от данни нараства. Предлагането на такива данни обаче намалява поради различни фактори, включително опасения за поверителността, етични съображения и отблъскване от създателите на съдържание.

Много издатели и онлайн платформи са предприели стъпки, за да защитят данните си от събиране без разрешение. Някои имат създадоха платени стени или промениха условията си за обслужване да ограничат използването на тяхното съдържание за AI обучение. Други, като Reddit и StackOverflow, са започнали зареждане AI фирми за достъп до техните данни. Предприети са и правни действия, като The New York Times съди OpenAI и Microsoft за предполагаемо нарушение на авторски права, свързано с използването на новинарски статии в AI обучение.
Последиците от този недостиг на данни са широкообхватни. AI Моделите, обучени върху недостатъчни или предубедени данни, могат да имат намалена точност, ограничена обобщаемост и невъзможност да се адаптират към нови ситуации. Това би могло потенциално да забави иновациите в областта и да възпрепятства разработването на нови... AI приложения.
За да се справят с тези предизвикателства, изследователите и AI Компаниите проучват алтернативни подходи. Те включват техники за активно обучение, които се фокусират върху избора на най-информативните данни за обучение, и трансфер на обучение, който използва знания от предварително обучени модели за подобряване на производителността при нови задачи с ограничени данни.
Някои компании също така сключват споразумения с издатели, за да си осигурят постоянен достъп до тяхното съдържание. Например, OpenAI, Google и Meta наскоро сключиха споразумения с новинарски организации като The Associated Press и News Corp, за да осигурят непрекъснат поток от висококачествени данни за обучение.
Тъй като AI Докато индустрията се бори с тази възникваща криза с данните, тя може да бъде принудена да разработи по-ефективни и отговорни начини за обучение на модели. Това би могло да доведе до иновации в събирането и използването на данни и дори до изцяло нови парадигми на обучение, които са по-малко зависими от огромни масиви от данни.
- проучване's данни подчертават необходимостта от балансиран подход към AI развитие, което зачита правата върху интелектуалната собственост и опасенията за поверителност, като същевременно насърчава иновациите. Тъй като пейзажът на AI Данните за обучение продължават да се развиват, сътрудничеството между технологичните компании, създателите на съдържание и политиците ще бъде от решаващо значение за справяне с тези предизвикателства и осигуряване на устойчив растеж на AI технологии.


