Ang mabilis na pagtaas ng generative AI ay binihag ang mundo, sa mga modelo tulad ng Chat GPT, GPT-4, at Claude pagpapakita ng hindi kapani-paniwalang kakayahan sa wika. Gayunpaman, tulad ng mga ito AI ang mga sistema ay nagiging mas nasa lahat ng dako, ang isang pangunahing limitasyon ay nagiging lalong maliwanag: ang mga hadlang na ipinataw ng tokenization proseso at mga limitasyon ng token.
Sa kanilang core, generative AI hinahati-hati ng mga modelo tulad ng GPT ang input text sa mas maliliit na unit na tinatawag na mga token bago ito iproseso. Maaaring kumatawan ang mga token mga salita, bahagi ng mga salita, o kahit na indibidwal na mga karakter. Sa pamamagitan ng pagpapatakbo sa mga token sa halip na hilaw na text, ang mga modelong ito ay maaaring mas mahusay na humawak at bumuo ng wika.
Gayunpaman, ang proseso ng tokenization na ito ay nagpapakilala ng mga hamon. Ang mga hindi pagkakapare-pareho sa kung paano pinaghiwa-hiwalay ang teksto ay maaaring humantong sa mga bias at kalituhan para sa AI modelo. Kalabuan sa paligid kung ano ang bumubuo sa isang "salita” at paano Ang bantas na pinangangasiwaan sa panahon ng tokenization ay maaaring makaapekto sa isang modelo's pag-unawa at henerasyon ng wika.
Higit na makabuluhan, generative AI ang mga modelo ay may matitigas na limitasyon sa bilang ng mga token na maaari nilang iproseso sa isang pakikipag-ugnayan ng input-output, na kilala bilang ang window ng konteksto. Halimbawa, Ang GPT-3 ay may limitasyon na 2049 token, habang ang GPT-4 ay kayang humawak ng 8192 token. Kapag lumampas ang mga prompt at input sa mga limitasyong ito, ang AI's kapansin-pansing bumababa ang pagganap.
Ang mga limitasyon ng token na ito ay nagdudulot ng malaking hadlang kapag sinusubukang mag-apply generative AI sa kumplikado, maraming hakbang na mga gawain na nangangailangan ng pagproseso ng malaking halaga ng impormasyon. Mga negosyong naghahanap ng pakikinabang AI para sa mga sopistikadong daloy ng trabaho ay kadalasang nalilimitahan ng mga laki ng window ng konteksto na ito.
May mga pagsisikap na isinasagawa upang palawakin ang mga limitasyong ito at maibsan ang " bottleneck ng token ." Itinulak ng pinakabagong modelo ng Gemini ng Google ang hangganan sa 1 milyong token. Gayunpaman, ang pagpapataas ng context window ay magastos sa komputasyon, na may mga gastos na lumalaki nang quadratically kasabay ng laki ng window.
Upang matugunan ang mga limitasyon ng token, mga diskarte tulad ng retrieval augmented generation (BASAHAN) ay ginagalugad. Pinapayagan ng RAG ang isang AI modelo upang ma-access at maisama ang kaalaman mula sa mga panlabas na mapagkukunan, lampas sa simula nito data ng pagsasanay. Gayunpaman, ipinakilala ng RAG ang sarili nitong mga hamon tungkol sa mahusay na pagkuha ng nauugnay na impormasyon at walang putol na pagsasama nito sa AI's output.
Ang mga hadlang ng tokenization at mga limitasyon ng token ay may malalayong implikasyon sa mga industriya. Sa larangan ng search engine-optimize (SEO), generative AI nagtataglay ng napakalaking potensyal para sa mga gawain tulad ng pananaliksik sa keyword, pagsusuri ng nilalaman, at mga rekomendasyon sa pag-optimize. Gayunpaman, ang kawalan ng kakayahang magproseso at bumuo ng pangmatagalang nilalaman ay maaaring limitahan ang pagiging epektibo nito sa paglikha ng komprehensibo, malalim na mga mapagkukunan.
Bilang generative AI nag-evolve ang landscape, tinutugunan ang mga limitasyon ng tokenization at ang mga limitasyon ng token ay magiging mahalaga. Mga inobasyon sa mga arkitektura ng modelo, tulad ng byte-level na mga modelo na i-bypass ang tradisyonal na tokenization, ipakita ang pangako ngunit nasa maagang yugto ng pananaliksik pa rin.
Sa malapit na termino, isang paglipat patungo sa mga konseho ng dalubhasa AI modelo, ang bawat isa ay nakatuon sa isang partikular na domain at pinahusay ng RAG, ay maaaring mag-alok ng landas pasulong. Sa pamamagitan ng pamamahagi ng workload sa maraming dalubhasang modelo, ang pag-asa sa iisang generative AI na may malawak na limitasyon ng token ay maaaring mabawasan.
Sa huli, ang tagumpay ng generative AI sa mga aplikasyon sa totoong mundo ay nakasalalay sa paghahanap ng tamang balanse sa pagitan ng espesyalisasyon ng modelo, mga limitasyon ng token, at kahusayan sa pagkalkula.
BONUS: Kunin ang aming $200"AI Mastery Toolkit” LIBRE kapag nag-sign up ka!
