MIT가 주도한 연구 그룹인 데이터 출처 이니셔티브(Data Provenance Initiative)의 최근 연구에 따르면 인공 지능(AI) 모델을 훈련하는 데 사용되는 데이터의 가용성에 대한 위기가 커지고 있음이 밝혀졌습니다. 연구는 14,000개의 웹 도메인을 검사했습니다. 일반적으로 사용되는 세 가지에 포함됨 AI 교육 데이터세트를 분석한 결과, 고품질 데이터 소스의 상당 부분이 이제 콘텐츠에 대한 액세스를 제한하고 있는 것으로 나타났습니다.
이 연구는 C4, RefinedWeb, Dolma 데이터 세트에서 전체 데이터의 약 5%, 그리고 최고 품질 소스 데이터의 약 25%에 접근 제한이 적용되었다고 추정합니다 . 이러한 제한은 주로 로봇 제외 프로토콜(Robots Exclusion Protocol) 을 통해 구현되는데 , 이는 웹사이트 소유자가 robots.txt라는 파일을 사용하여 자동화된 봇이 페이지를 크롤링하는 것을 방지하는 오랜 방법입니다.
저자 Shayne Longpre는 "웹 전반에서 데이터 사용에 대한 동의가 급격히 감소하고 있으며 이는 다음과 같은 결과를 초래할 것"이라고 경고했습니다. AI 회사뿐만 아니라 연구원, 학자 및 비상업적 단체의 경우에도 마찬가지입니다. 이러한 추세는 개발 및 개선에 상당한 영향을 미칠 수 있습니다. AI 모델교육을 위해 방대한 양의 다양한 고품질 데이터에 크게 의존합니다.
훈련 데이터의 부족은 심각한 문제가 되고 있습니다. AI 산업. AI 시스템이 더욱 정교해지고 점점 더 복잡한 작업에 적용됨에 따라 풍부하고 다양한 데이터 세트에 대한 수요가 증가합니다. 그러나 다음과 같은 여러 요인으로 인해 이러한 데이터 공급이 감소하고 있습니다. 개인 정보 보호 문제, 윤리적 고려 사항 및 반발 콘텐츠 제작자.
많은 출판사와 온라인 플랫폼은 허가 없이 데이터가 수집되는 것을 방지하기 위한 조치를 취했습니다. 일부는 페이월을 설정하거나 서비스 약관을 변경한 경우 콘텐츠 사용을 제한하려면 AI 훈련. Reddit과 StackOverflow와 같은 다른 사람들도 시작했습니다. 청구 AI 기업 데이터 접근을 위해. 뉴욕 타임스가 오픈을 상대로 소송을 제기하는 등 법적 조치도 취해졌습니다.AI 그리고 Microsoft는 뉴스 기사 사용과 관련된 저작권 침해 혐의로 AI 교육 자료를 제공합니다.
이러한 데이터 부족의 영향은 광범위합니다. AI 불충분하거나 편향된 데이터로 학습된 모델은 정확도가 떨어지고, 일반화 가능성이 제한되며, 새로운 상황에 적응하지 못할 수 있습니다. 이는 해당 분야의 혁신을 지연시키고 새로운 기술의 개발을 저해할 수 있습니다. AI 분야의 다양한 어플리케이션에서 사용됩니다.
이러한 과제를 해결하기 위해 연구원과 AI 기업들은 대안적인 접근 방식을 모색하고 있습니다. 여기에는 학습을 위해 가장 유익한 데이터 포인트를 선택하는 데 중점을 두는 능동 학습 기법과 사전 훈련 된 모델 제한된 데이터로 새로운 작업의 성능을 향상시킵니다.
일부 기업들은 콘텐츠에 대한 지속적인 접근을 확보하기 위해 출판사들과 계약을 체결하기도 합니다. 예를 들어, OpenAI, Google, Meta는 최근 AP통신, News Corp와 같은 뉴스 기관들과 고품질 학습 데이터의 지속적인 공급을 보장하는 계약을 맺었습니다.
으로 AI 업계가 이처럼 새롭게 부상하는 데이터 위기에 직면함에 따라, 더욱 효율적이고 책임감 있는 모델 학습 방식을 개발해야 할 수도 있습니다. 이는 데이터 수집 및 활용의 혁신, 그리고 대규모 데이터 세트에 덜 의존적인 완전히 새로운 학습 패러다임으로 이어질 수 있습니다.
The 공부's 결과 균형 잡힌 접근 방식의 필요성을 강조합니다. AI 혁신을 촉진하는 동시에 지적 재산권과 개인정보 보호 문제를 존중하는 개발. AI 훈련 데이터는 계속해서 진화하고 있으며 기술 회사, 콘텐츠 제작자 및 정책 입안자 간의 협업은 이러한 과제를 해결하고 지속 가능한 성장을 보장하는 데 매우 중요합니다. AI 기술.
보너스: $200를 받으세요AI 가입하시면 "마스터리 툴킷"을 무료로 드립니다!
