Az MIT által vezetett kutatócsoport, a Data Provenance Initiative nemrégiben készült tanulmánya feltárta a mesterséges intelligencia (AI) modellek képzéséhez használt adatok hozzáférhetőségének egyre növekvő válságát. A kutatás, amely 14,000 XNUMX webdomaint vizsgált meg három gyakran használt AI a betanító adatkészleteket vizsgálva megállapították, hogy a kiváló minőségű adatforrások jelentős része ma már korlátozza a tartalmukhoz való hozzáférést.
A tanulmány becslése szerint a C4, a RefinedWeb és a Dolma adatkészletekben kb Az összes adat 5%-át és a legjobb minőségű forrásokból származó adatok 25%-át korlátozták. Ezeket a korlátozásokat elsősorban a Robotok kizárási protokollja, a webhelytulajdonosok régóta alkalmazott módszere annak megakadályozására, hogy az automatizált robotok a robots.txt nevű fájl segítségével feltérképezzék oldalaikat.
Shayne Longpre, a tanulmány vezető szerzője figyelmeztet: „Azt tapasztaljuk, hogy az interneten keresztüli adatfelhasználáshoz való hozzájárulások száma gyorsan csökken, aminek nemcsak a ... számára lesznek következményei. AI vállalatok, hanem a kutatók, az akadémikusok és a nem kereskedelmi szervezetek számára is.” Ez a tendencia jelentősen befolyásolhatja a fejlesztését és javítását AI modellek, amelyek nagymértékben támaszkodnak hatalmas mennyiségű változatos, kiváló minőségű adatra az edzéshez.
A betanítási adatok hiánya egyre kritikusabb problémává válik a AI ipar. Mint AI Ahogy a rendszerek egyre kifinomultabbá válnak és egyre összetettebb feladatokra alkalmazzák őket, egyre nagyobb az igény a gazdag, változatos adatkészletekre. Az ilyen adatok kínálata azonban számos tényező miatt csökken, többek között adatvédelmi aggályok, etikai megfontolások és visszautasítás tartalomkészítők.
Sok kiadó és online platform lépéseket tett annak érdekében, hogy megvédje adatait az engedély nélküli legyűjtéstől. Néhányan igen fizetőfalakat hoztak létre, vagy módosították a szolgáltatási feltételeket hogy korlátozzák tartalmuk felhasználását AI képzés. Mások, mint például a Reddit és a StackOverflow, elkezdték töltés AI társaságok az adataikhoz való hozzáférésért. Jogi lépéseket is tettek, a The New York Times beperelte az OpentAI és a Microsoftot a hírcikkek felhasználásával kapcsolatos állítólagos szerzői jogsértés miatt AI képzés.
Ennek az adathiánynak a következményei messzemenőek. AI A nem elegendő vagy elfogult adatokon betanított modellek pontossága csökkenhet, általánosíthatósága korlátozott lehet, és képtelenek lehetnek alkalmazkodni az új helyzetekhez. Ez potenciálisan lelassíthatja az innovációt a területen, és akadályozhatja az új megoldások fejlesztését. AI alkalmazásokat.
Ezen kihívások megoldása érdekében a kutatók és AI a vállalatok alternatív megközelítéseket vizsgálnak. Ezek közé tartoznak az aktív tanulási technikák, amelyek a képzéshez leginformatívabb adatpontok kiválasztására összpontosítanak, valamint a transzfertanulás, amely a tudást hasznosítja. előképzett modellek a korlátozott adatokkal rendelkező új feladatok teljesítményének javítása.
Egyes vállalatok szerződéseket kötnek a kiadókkal is, hogy folyamatos hozzáférést biztosítsanak tartalmaikhoz. Például, Az OpenAI, a Google és a Meta nemrégiben megállapodást kötött hírszervezetekkel mint az Associated Press and News Corp, hogy biztosítsák a kiváló minőségű képzési adatok folyamatos áramlását.
Mivel az AI Miközben az iparág küzd ezzel a felmerülő adatválsággal, kénytelen lehet hatékonyabb és felelősségteljesebb képzési modelleket kidolgozni. Ez innovációkhoz vezethet az adatgyűjtésben és -felhasználásban, sőt teljesen új tanulási paradigmákhoz is, amelyek kevésbé függenek a hatalmas adathalmazoktól.
Az tanulmány's megállapítások hangsúlyozzák a kiegyensúlyozott megközelítés szükségességét AI olyan fejlesztés, amely tiszteletben tartja a szellemi tulajdonjogokat és az adatvédelmi aggályokat, miközben továbbra is elősegíti az innovációt. Ahogy a környezet AI Mivel a képzési adatok folyamatosan fejlődnek, a technológiai vállalatok, a tartalomkészítők és a politikai döntéshozók közötti együttműködés kulcsfontosságú lesz e kihívások leküzdésében és a fenntartható növekedés biztosításában. AI technológiákat.
BÓNUSZ: Szerezd meg a 200 dolláros "AI „Mastery Toolkit” INGYENES regisztrációval!
