Um estudo recente da Data Provenance Initiative, um grupo de investigação liderado pelo MIT, revelou uma crise crescente na disponibilidade de dados utilizados para treinar modelos de inteligência artificial (IA). A pesquisa, que examinou 14,000 domínios da web incluído em três comumente usados AI conjuntos de dados de treinamento, descobriu que uma parcela significativa de fontes de dados de alta qualidade agora está restringindo o acesso ao seu conteúdo.
O estudo estima que nos conjuntos de dados C4, RefinedWeb e Dolma, aproximadamente 5% de todos os dados e 25% dos dados provenientes de fontes da mais alta qualidade foram restringidos. Estas restrições são implementadas principalmente através do Protocolo de Exclusão de Robôs, um método antigo para proprietários de sites evitarem que bots automatizados rastreiem suas páginas usando um arquivo chamado robots.txt.
O autor principal Shayne Longpre alerta: “Estamos vendo um rápido declínio no consentimento para o uso de dados na web, o que terá ramificações não apenas para AI empresas, mas também para pesquisadores, acadêmicos e entidades não comerciais”. Essa tendência pode impactar significativamente o desenvolvimento e a melhoria de AI modelos, que dependem fortemente de grandes quantidades de dados diversos e de alta qualidade para treinamento.
A escassez de dados de treinamento está se tornando um problema crítico na AI indústria. Como AI À medida que os sistemas se tornam mais sofisticados e são aplicados a tarefas cada vez mais complexas, a demanda por conjuntos de dados ricos e diversos cresce. No entanto, a oferta desses dados está diminuindo devido a vários fatores, incluindo preocupações com privacidade, considerações éticas e resistência de criadores de conteúdo.
Muitos editores e plataformas online tomaram medidas para proteger os seus dados de serem recolhidos sem permissão. Alguns tem configurar acesso pago ou alterar seus termos de serviço para limitar o uso do seu conteúdo para AI treinamento. Outros, como Reddit e StackOverflow, começaram cobrando AI multinacionais para acesso aos seus dados. Ações legais também foram tomadas, com o The New York Times processando a OpenAI e a Microsoft por suposta violação de direitos autorais relacionada ao uso de artigos de notícias em AI treinamento.
As implicações dessa escassez de dados são de longo alcance. AI Modelos treinados com dados insuficientes ou tendenciosos podem apresentar precisão reduzida, generalização limitada e incapacidade de adaptação a novas situações. Isso pode potencialmente desacelerar a inovação na área e dificultar o desenvolvimento de novos AI aplicações.
Para enfrentar estes desafios, os investigadores e AI As empresas estão explorando abordagens alternativas. Estas incluem técnicas de aprendizagem ativa, que se concentram na seleção dos pontos de dados mais informativos para treinamento, e aprendizagem por transferência, que aproveita o conhecimento de modelos pré-treinados para melhorar o desempenho em novas tarefas com dados limitados.
Algumas empresas também estão fechando acordos com editores para garantir acesso contínuo ao seu conteúdo. Por exemplo, OpenAI, Google e Meta firmaram recentemente acordos com organizações de notícias como a Associated Press e a News Corp para garantir um fluxo contínuo de dados de treinamento de alta qualidade.
à medida que o AI À medida que a indústria lida com essa crise de dados emergente, ela pode ser forçada a desenvolver maneiras mais eficientes e responsáveis de treinar modelos. Isso pode levar a inovações na coleta e utilização de dados e até mesmo a paradigmas de aprendizagem inteiramente novos, menos dependentes de conjuntos de dados massivos.
O estudo's descobertas sublinham a necessidade de uma abordagem equilibrada AI desenvolvimento que respeite os direitos de propriedade intelectual e as preocupações com a privacidade, ao mesmo tempo que promove a inovação. À medida que o cenário de AI os dados de treinamento continuam a evoluir, a colaboração entre empresas de tecnologia, criadores de conteúdo e formuladores de políticas será crucial para enfrentar esses desafios e garantir o crescimento sustentável de AI Tecnologias.
BONUS: Receba nossos $ 200 “AI “Kit de ferramentas de domínio” GRÁTIS ao se inscrever!
