Grandes modelos de linguagem podem resolver desafios complexos e confusos?

Ei, AI Entusiastas! Eu sou o Ali, o cara por trás do AIMOJO, e sou obcecado por inteligência artificial desde os tempos em que os chatbots mal conseguiam formar duas frases.

Naquela época, AI Parecia um esboço de algo enorme, e agora? É de cair o queixo todos os dias — pense em ChatGPT, Grok e os últimos avanços em modelos de linguagem de grande porte (LLMs).

Então, vamos nos aprofundar em uma grande questão: quão bem os LLMs conseguem realmente resolver desafios complicados e confusos?

O que define um problema “confuso”?

Problemas bagunçados não são seus simples quebra-cabeças do tipo "Quanto é 5 vezes 7?". Eles são aqueles que parecem que você está montando um quebra-cabeça de olhos vendados — peças por todo lugar, nenhum ponto de partida claro. Essas perguntas extraem informações de vários pontos e exigem saltos lógicos para amarrar tudo junto.

• Etapa 1: Reconhecer que “Power” faz samples de “21st Century Schizoid Man” do King Crimson.
• Passo 2: Identifique o líder da banda King Crimson como Robert Fripp.
• Etapa 3: Descubra o ano de nascimento de Fripp: 1946.

Essa é uma questão de raciocínio lógico. Você não está apenas se lembrando de um único fato; você está conectando uma série deles. É raciocínio, não memorização mecânica, e é um teste perfeito para mestrados em direito.

Por que é complicado

Problemas confusos atrapalham modelos porque eles dependem de conectar pontos em domínios — música, história, cultura pop. Perca um elo, e toda a resposta entra em colapso.

O conjunto de dados FRAMES: um teste de estresse para LLMs

Os pesquisadores criaram o conjunto de dados FRAMES para avaliar o desempenho dos Modelos de Aprendizagem Baseados em Lógica (LLMs) sob pressão. Publicado em um artigo de 2024, trata-se de uma coleção de 824 questões com várias etapas. Essas questões abrangem inferência, matemática, lógica e raciocínio temporal — como calcular a idade de alguém a partir de pistas históricas.

Os Números

Quando os melhores LLMs (Licensed Licensing Management) enfrentaram o FRAMES sem ajuda, obtiveram uma precisão de cerca de 40% . Razoável, mas não impressionante.

Então, os pesquisadores deram a eles uma tábua de salvação: acesso a informações externas por meio da Geração Aumentada por Recuperação (RAG). Com isso, a precisão saltou para 66-73% , dependendo da configuração. Esse é um grande avanço, mostrando que os LLMs brilham ainda mais com o suporte adequado.

Indo mais fundo

O artigo FRAMES observa que algumas questões precisam de até seis etapas de raciocínio. Por exemplo: "Se uma figura histórica tinha 35 anos durante um evento de 1945, e seu irmão nasceu 3 anos depois, quantos anos o irmão tinha em 1980?" Isso é matemática, rastreamento de linha do tempo e inferência reunidos em um — coisa difícil!

Geração aumentada de recuperação (RAG): a tecnologia por trás do Boost

O programa RAG é como dar a um estudante de mestrado em Direito um assistente de pesquisa temporário . Eis o processo:

Por que isso ajuda

Os LLMs não armazenam todos os fatos em seus dados de treinamento. O RAG preenche essas lacunas. Em FRAMES, essa linha de base de 40% subindo para 66-73% prova que é um divisor de águas para o raciocínio multi-hop.

The Catch
Não é infalível. Se a pesquisa extrair dados irrelevantes ou ruidosos, o LLM ainda pode errar. Um vídeo do YouTube mostrou um modelo interpretando mal um documento vago, diminuindo a precisão em 15% em alguns casos.

Onde os LLMs lutam

Correspondência de padrões vs. lógica verdadeira - Evidência

Um estudo do MIT CSAIL de 2024 revelou que grandes modelos de linguagem (LLMs, na sigla em inglês) se destacam em tarefas familiares, mas apresentam dificuldades significativas em cenários novos, dependendo mais da memorização do que do raciocínio genuíno. A pesquisa testou os modelos em tarefas contrafactuais, como posições de xadrez alteradas e aritmética em sistemas não de base 10, onde a precisão caiu drasticamente.

Inovação comunitária impulsionando o futuro de AI Raciocínio

O esforço para que os LLMs resolvam problemas confusos do mundo real não é apenas para grandes empresas — é um esforço global de base. Pense nas primeiras vibrações da internet: caóticas, fragmentadas e cheias de ideias ousadas. Projetos de código aberto e trabalho descentralizado estão direcionando AI raciocínio para este espaço emocionante.

Potências de código aberto

As comunidades estão produzindo ferramentas que rivalizam com os grandes. Tome Abraçando o rosto: sua plataforma hospeda mais de modelos 100,000, toneladas das quais são afiadas para tarefas de raciocínio—como juntar pistas em várias etapas. A biblioteca de Transformers? É praticamente o canivete suíço de AI pesquise agora.

E depois há a EleutherAI , uma equipe de rebeldes que construiu o GPT-J , uma fera de código aberto que compete de igual para igual com o GPT-3 em benchmarks como o FRAMES. Isso não é apenas legal — é a prova de que qualquer pessoa com um computador decente pode ajudar os LLMs a ficarem mais inteligentes em quebra-cabeças complexos.

Vitórias descentralizadas

A diversidade impulsiona descobertas inovadoras. O Allen Institute for AI lançou o ARC ( AI2 Reasoning Challenge ) , um conjunto de dados com questões científicas complexas que força os alunos de mestrado em direito a raciocinar passo a passo. Enquanto isso, as competições do Kaggle atraem talentos do mundo todo para solucionar tarefas complexas, gerando ideias que até mesmo laboratórios poderiam não perceber.

Jogadores solo também brilham. Um artigo do arXiv de 2024 revelou um novo ajuste de atenção que aumentou o raciocínio de contexto longo em 15%. Esse é o tipo de vantagem que os LLMs precisam para problemas emaranhados do mundo real.

Ligando-o a problemas confusos

Coisas confusas — como desenterrar um fato de uma pilha confusa de dicas — precisam de LLMs que possam pensar de forma flexível e conectar pontos. Os esforços da comunidade estão acertando isso ao:

Isso não é apenas exagero, é o motor que impulsiona os LLMs em direção à maestria no mundo real.

Considerações finais da análise do Fortune Dragon

LLMs são alucinantes, mas problemas complexos revelam seus limites. O RAG os impulsiona bastante, e novos rostos como o Sentient Chat dão dicas do que está por vir. Como um AI nerd, mal posso esperar para ver como tudo vai acontecer.

Tem uma pergunta confusa que você fez para um LLM? Deixe um comentário — adoraria ouvir sua opinião.

Ficar com AIMOJO para mais AI aventuras - estamos apenas começando