Büyük Dil Modelleri Karmaşık ve Dağınık Sorunları Çözebilir mi?

Hey, AI meraklıları! Ben AIMOJO'nun arkasındaki adam olan Ali'yim ve chatbot'ların iki cümleyi bir araya getiremediği günlerden beri yapay zekaya kafayı takmış durumdayım.

O zamanlar, AI büyük bir şeyin kabataslak bir taslağı gibi hissettirdi ve şimdi? Günlük olarak ağzınızı açık bırakan bir şey—ChatGPT, Grok ve büyük dil modelleri (LLM) alanındaki son atılımları düşünün.

O halde büyük bir soruya bakalım: Hukuk alanında lisans derecesine sahip olanlar karmaşık ve karmaşık sorunların üstesinden ne kadar iyi gelebilirler?

"Dağınık" Bir Sorunu Ne Tanımlar?

Karmaşık problemler basit "5 kere 7 kaç eder?" beyin jimnastiği değildir. Gözleriniz bağlı bir yapboz bulmacası yapıyormuşsunuz gibi hissettirenlerdir - her yerde parçalar, net bir başlangıç ​​noktası yoktur. Bu sorular bilgiyi birden fazla noktadan çeker ve hepsini bir araya getirmek için mantıksal sıçramalar gerektirir.

• 1. Adım:“Power” şarkısının King Crimson’ın “21st Century Schizoid Man” adlı şarkısından örnekler içerdiğini unutmayın.
• 2 Adım: King Crimson'ın orkestra şefinin Robert Fripp olduğu ortaya çıktı.
• 3. Adım: Fripp'in doğum yılını belirleyin—1946.

Bu çok aşamalı bir soru. Sadece tek bir gerçeği hatırlamıyorsunuz; bir dizi gerçeği bir araya getiriyorsunuz. Bu ezber değil, akıl yürütme ve uzun vadeli mantık yürütme becerileri için mükemmel bir test.

Neden Zor?

Karmaşık problemler, müzik, tarih, popüler kültür gibi alanlar arasında noktaları birleştirmeye dayandıkları için modelleri tökezletir. Bir bağlantıyı kaçırırsanız, tüm cevap çöker.

FRAMES Veri Seti: LLM'ler için Bir Stres Testi

Araştırmacılar, doğrusal öğrenme modellerinin (LLM) baskı altında nasıl performans gösterdiğini görmek için FRAMES veri setini oluşturdu . 2024 yılında yayınlanan bir makalede yer alan bu veri seti , 824 çok adımlı sorudan oluşuyor . Bu sorular çıkarım, matematik, mantık ve zamana dayalı akıl yürütme gibi alanları kapsıyor; örneğin, tarihsel ipuçlarından bir kişinin yaşını hesaplamak gibi.

Sayılar

En iyi LLM'ler yardım almadan FRAMES'i çözdüklerinde yaklaşık %40 doğruluk oranı elde ettiler . Fena değil, ama göz kamaştırıcı da değil.

Ardından araştırmacılar onlara bir can simidi uzattılar: Geri Alma Destekli Üretim (RAG) yoluyla dış bilgilere erişim . Bununla birlikte, doğruluk oranı kuruluma bağlı olarak %66-73'e yükseldi . Bu büyük bir sıçrama ve LLM'lerin doğru destekle daha parlak sonuçlar verdiğini gösteriyor.

Derin Kazı

FRAMES makalesi bazı soruların altıya kadar muhakeme adımı gerektirdiğini belirtiyor. Örneğin: "35'teki bir olay sırasında tarihi bir şahsiyet 1945 yaşındaysa ve kardeşi 3 yıl sonra doğmuşsa, kardeşi 1980'de kaç yaşındaydı?" Bu, matematik, zaman çizelgesi takibi ve çıkarımın bir araya getirilmesidir - zor bir konu!

Geri Alma-Artırılmış Üretim (RAG): Arttırmanın Arkasındaki Teknoloji

RAG, bir Hukuk Yüksek Lisansı (LLM) öğrencisine hızlı bir araştırma asistanı sağlamak gibidir . İşte süreç:

Neden Yardımcı Olur

LLM'ler eğitim verilerinde her gerçeği saklamaz. RAG bu boşlukları doldurur. FRAMES'te, %40'lık bu temel çizginin %66-73'e fırlaması, bunun çok atlamalı akıl yürütme için bir oyun değiştirici olduğunu kanıtlıyor.

Yakala
Kusursuz değil. Arama alakasız veya gürültülü veriler çekerse, LLM yine de onu mahvedebilir. Bir YouTube videosu, bir modelin belirsiz bir belgeyi yanlış yorumladığını ve bazı durumlarda doğruluğu %15 düşürdüğünü gösterdi.

LLM'lerin Zorlandığı Yerler

Desen Eşleştirme ve Gerçek Mantık - Kanıt

MIT CSAIL'in 2024 yılında yaptığı bir çalışma , büyük dil modellerinin (LLM'ler) tanıdık görevlerde mükemmel performans gösterdiğini ancak yeni senaryolarda önemli ölçüde zorlandığını ve gerçek akıl yürütmeden ziyade ezberlemeye daha çok dayandığını ortaya koydu. Araştırma, değiştirilmiş satranç pozisyonları ve 10 tabanlı olmayan sistemlerde aritmetik gibi karşıolgusal görevlerde modelleri test etti ve doğruluk oranının önemli ölçüde düştüğünü gösterdi.

Topluluk İnovasyonu Geleceğin Lideri AI muhakeme

LLM'lerin karmaşık, gerçek dünya sorunlarını çözmesi için yapılan baskı yalnızca büyük şirketler için değil; küresel, tabandan gelen bir çabadır. İnternetin erken dönem titreşimlerini düşünün: kaotik, hırçın ve cesur fikirlerle dolu. Açık kaynaklı projeler ve merkezi olmayan çalışmalar yön veriyor AI muhakeme Bu heyecan verici alana.

Açık Kaynaklı Güç Merkezleri

Topluluklar büyük köpeklerle rekabet eden araçlar üretiyor. Sarılma Yüz: platformları ev sahipliği yapıyor 100,000 modelleri, Tonlarcası keskinleştirilmiş muhakeme görevleri—birden fazla adımda ipuçlarını bir araya getirmek gibi. Transformers kütüphaneleri mi? Bu, pratik olarak İsviçre Ordusunun çakısı AI Şimdi araştırın.

Bir de EleutherAI var ; FRAMES gibi kıyaslama testlerinde GPT-3 ile başa baş mücadele eden açık kaynaklı bir canavar olan GPT-J'yi geliştiren bir isyancı ekip . Bu sadece harika değil, aynı zamanda iyi bir donanıma sahip herkesin LLM'lerin karmaşık bulmacalarda daha akıllı olmalarına yardımcı olabileceğinin de kanıtı.

Merkezi Olmayan Kazançlar

Çeşitlilik, çığır açan gelişmeleri besler. Allen Yapay Zeka Enstitüsü, yapay zeka öğrencilerini adım adım akıl yürütmeye zorlayan zorlu bilimsel sorular içeren bir veri kümesi olan ARC'yi ( AI2 Akıl Yürütme Yarışması ) yayınladı . Bu arada, Kaggle yarışmaları, karmaşık görevleri çözmek için küresel yetenekleri bir araya getirerek, laboratuvarların bile gözden kaçırabileceği fikirler ortaya çıkarıyor.

Solo oyuncular da parlıyor. 2024 arXiv makalesi, uzun bağlamlı akıl yürütmeyi %15 oranında artıran yeni bir dikkat ayarlamasını ortaya çıkardı. Bu, LLM'lerin karmaşık, gerçek dünya sorunları için ihtiyaç duyduğu türden bir avantaj.

Bunu Karmaşık Sorunlara Bağlamak

Karmaşık şeyler—örneğin, karmaşık bir ipucu yığınından bir gerçeği çıkarmak—esnek düşünebilen ve noktaları birleştirebilen LLM'lere ihtiyaç duyar. Topluluk çabaları bunu şu şekilde başarıyor:

Bu sadece bir reklam değil; LLM'leri gerçek dünya uzmanlığına doğru götüren motordur.

Son Düşüncelerimiz

LLM'ler akıl almazdır, ancak karmaşık problemler sınırlarını ortaya koyar. RAG onlara ciddi bir destek sağlar ve Sentient Chat gibi yeni yüzler köşede ne olduğunu ima eder. AI geek, her şeyin nasıl sonuçlanacağını görmek için sabırsızlanıyorum.

LLM'ye sorduğunuz karmaşık bir soru mu var? Yorum bırakın—sizin fikrinizi duymayı çok isterim.

Ile sopa AIMOJO Daha fazla bilgi için AI maceralar—henüz başlıyoruz