Gegevens voor AI Training verdwijnt snel, blijkt uit nieuw onderzoek

Gegevens voor AI Opleiding verdwijnt snel, blijkt uit onderzoek

Een recent onderzoek van het Data Provenance Initiative, een door MIT geleide onderzoeksgroep, heeft een groeiende crisis aan het licht gebracht in de beschikbaarheid van gegevens die worden gebruikt om modellen voor kunstmatige intelligentie (AI) te trainen. Het onderzoek, dat onderzocht 14,000 webdomeinen opgenomen in drie veelgebruikte AI Uit onderzoek naar trainingsdatasets bleek dat een aanzienlijk deel van de kwalitatief hoogwaardige gegevensbronnen de toegang tot hun inhoud nu beperkt.

De studie schat dat in de datasets C4, RefinedWeb en Dolma ongeveer 5% van alle gegevens en 25% van de gegevens uit de meest betrouwbare bronnen zijn beperkt . Deze beperkingen worden voornamelijk geïmplementeerd via het Robots Exclusion Protocol , een al langer bestaande methode voor website-eigenaren om te voorkomen dat geautomatiseerde bots hun pagina's crawlen met behulp van een bestand genaamd robots.txt.

Hoofdauteur Shayne Longpre waarschuwt: “We zien een snelle daling in de toestemming om gegevens op het web te gebruiken, wat niet alleen gevolgen zal hebben voor AI bedrijven, maar ook voor onderzoekers, academici en niet-commerciële entiteiten.” Deze trend zou een aanzienlijke impact kunnen hebben op de ontwikkeling en verbetering van AI modellen, die voor training sterk afhankelijk zijn van grote hoeveelheden uiteenlopende, hoogwaardige gegevens.

Het tekort aan trainingsgegevens wordt een cruciaal probleem in de AI industrie. Als AI Naarmate systemen geavanceerder worden en worden toegepast op steeds complexere taken, groeit de vraag naar rijke, diverse datasets. Het aanbod van dergelijke data neemt echter af door verschillende factoren, waaronder zorgen over privacy, ethische overwegingen en tegenstand makers van inhoud.

AI Bedrijven negeren webregels om content van uitgevers te scrapen

Veel uitgevers en onlineplatforms hebben stappen ondernomen om te voorkomen dat hun gegevens zonder toestemming worden verzameld. Sommigen hebben betaalmuren hebben opgezet of hun servicevoorwaarden hebben gewijzigd om het gebruik van hun inhoud te beperken voor AI training. Anderen, zoals Reddit en StackOverflow, zijn begonnen opladen AI bedrijven om toegang tot hun gegevens. Er zijn ook juridische stappen ondernomen, zoals de aanklacht van The New York Times tegen OpenAI en Microsoft wegens vermeende inbreuk op het auteursrecht met betrekking tot het gebruik van nieuwsartikelen in AI training.

Deze schaarste aan gegevens heeft verstrekkende gevolgen. AI Modellen die zijn getraind met onvoldoende of bevooroordeelde data, kunnen een verminderde nauwkeurigheid, beperkte generaliseerbaarheid en een onvermogen om zich aan te passen aan nieuwe situaties ervaren. Dit kan de innovatie in het veld mogelijk vertragen en de ontwikkeling van nieuwe technologieën belemmeren. AI toepassingen.

Om deze uitdagingen aan te gaan, hebben onderzoekers en AI Bedrijven onderzoeken alternatieve benaderingen. Deze omvatten actieve leertechnieken, die zich richten op het selecteren van de meest informatieve datapunten voor training, en transfer learning, waarbij kennis uit voorgetrainde modellen om de prestaties bij nieuwe taken met beperkte gegevens te verbeteren.

Sommige bedrijven sluiten ook overeenkomsten met uitgevers om doorlopende toegang tot hun content te garanderen. Zo hebben OpenAI, Google en Meta onlangs afspraken gemaakt met nieuwsorganisaties zoals The Associated Press en News Corp om een ​​continue stroom van hoogwaardige trainingsdata te waarborgen.

Aangezien de AI De industrie worstelt met deze opkomende datacrisis en ziet zich mogelijk gedwongen om efficiëntere en verantwoorde manieren te ontwikkelen om modellen te trainen. Dit zou kunnen leiden tot innovaties in dataverzameling en -gebruik, en zelfs tot geheel nieuwe leerparadigma's die minder afhankelijk zijn van enorme datasets.

De studie's bevindingen onderstrepen de noodzaak van een evenwichtige benadering van AI ontwikkeling die intellectuele eigendomsrechten en privacybelangen respecteert en tegelijkertijd innovatie stimuleert. Naarmate het landschap van AI trainingsgegevens blijven evolueren, samenwerking tussen technologiebedrijven, contentmakers en beleidsmakers zal cruciaal zijn bij het navigeren door deze uitdagingen en het verzekeren van de duurzame groei van AI technologieën.

https://twitter.com/kevinroose/status/1814320101962957235

Laat een reactie achter

Je e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met een *.

Sluit je aan bij de Aimojo Stam!

Sluit u aan bij meer dan 76,000 leden en ontvang elke week insidertips! 
🎁 BONUS: Ontvang onze $200 “AI “Mastery Toolkit” GRATIS wanneer u zich aanmeldt!

Trending AI Tools
OpenCode

Lever sneller betrouwbare code met flexibele oplossingen. AI agenten. Eén codeerder, honderden zorgverleners. Automatisering van open-source repositories in terminals en desktopworkflows.

scribbr

Poolse wetenschappelijke artikelen analyseren en citatiefouten vroegtijdig opsporen. Controleer op fouten in de bronvermelding vóór de definitieve indiening. Academische proeflezing, originaliteitscontrole en slimmer referentiebeheer.

Veroorzaken

Zet complexe academische onderzoeken sneller om in geloofwaardige, bruikbare inzichten. Zoek documenten, verzamel bewijsmateriaal, genereer rapporten. An AI Onderzoeksassistent ontworpen voor de analyse van wetenschappelijk bewijsmateriaal.

Bevrijde AI

Zet patiëntgesprekken om in georganiseerde notities zonder dat u 's nachts laat nog hoeft te schrijven. Klinische documentatie die zich aanpast aan uw stijl. An AI Medische secretaressesoftware speciaal ontwikkeld voor zelfstandige klinische praktijken.

CivitAI

Ontdekken, trainen en publiceren AI modellen zonder dure hardware. Verken modellen, genereer afbeeldingen, train LoRA's. Creatieve controle voor kunstenaars die herhaalbare projecten creëren AI beelden.

© Copyright 2023 - 2026 | Word een AI Pro | Gemaakt met ♥