Como a IA de 1930 resolve os problemas modernos? Os pesquisadores agora querem responder a esta pergunta. (Fonte da imagem: Adobe Stock Matej | Wiki Media Commons)
Imagine conversar com alguém que foi dormir em 1930 e acabou de acordar. Não conheço IA, não conheço armas nucleares, não sei quem é Elvis.
Esse é exatamente o conceito por trás do “talkie”, um modelo de linguagem treinado exclusivamente em textos publicados antes de 1º de janeiro de 1931.
Nick Levine, David Duvenaud e Alec Radford, um dos criadores do modelo GPT original na OpenAI, estão por trás do projeto.
O que é um “modelo de linguagem vintage”?
Modelos modernos de IA como o ChatGPT foram treinados em uma quantidade inimaginável de texto da Internet: milhões de sites, livros, artigos científicos, tópicos do Reddit e muito mais.
Mas isto também significa: absorveram inúmeras fontes de conhecimento que se influenciam mutuamente.
Filmes falados fazendo o oposto. Um modelo com 13 bilhões de parâmetros e 260 bilhões de tokens de treinamento só sabe:
- Livros e jornais anteriores a 1931
- Revistas científicas do século XIX e início do século XX
- Documentos de patentes, documentos judiciais e periódicos
- Tudo é especial na Inglaterra
Pode parecer uma limitação desnecessária, mas para os pesquisadores é isso que torna o modelo tão valioso.
Aqui estão alguns dos dados de treinamento que usamos. (Fonte da imagem: talkie-lm.com)
Mas por que? O significado desapareceu
Os pesquisadores usaram um walkie-talkie para experimentos básicos: Que inteligência resta se dela for retirado todo o conhecimento do mundo moderno?
Devido ao corte severo em 1930, o modelo está, por definição, livre de contaminação de dados modernos. Isso permite que a IA seja testada quanto à sua capacidade de generalização. Eles podem usar apenas o raciocínio lógico para “reinventar” conceitos como o código Python ou teorias físicas que só foram inventadas anos depois?
Codificação em 1930? Vale a pena!
Os pesquisadores usaram o conhecimento não contaminado da IA para iniciar um experimento incrível: eles falado mostre alguns exemplos de código Python e, em seguida, verifique se o próprio modelo pode escrever novos programas.
Resultado: falado podem escrever programas simples mesmo que não tenham “aprendido” o conceito de computadores digitais. Você pode ver os resultados aqui:
(Fonte da imagem: talkie-lm.com)
Obstáculos técnicos: nem tudo correu bem
A experiência é interessante, mas certamente não completa, como admitem os próprios pesquisadores:
1. Vazamentos de dados temporais Mesmo com a filtragem mais rigorosa falado Aprenda coisas que você não precisa saber. A versão do parâmetro de 7 bilhões já conhece Franklin D. Roosevelt como presidente, embora ele só tenha sido eleito em 1933.
O modelo de 13 mil milhões de parâmetros conhece até detalhes sobre a Segunda Guerra Mundial e as Nações Unidas. Textos antigos com notas de rodapé modernas ou metadados incorretos prejudicam o exercício.
2. Qualidade de reconhecimento de texto: Todos os textos anteriores a 1931 devem ser digitalizados de fontes físicas. Problema: Os sistemas clássicos de reconhecimento de texto (OCR) falham regularmente com documentos históricos.
Os sistemas modernos de OCR baseados em IA, de certa forma, tratam os fatos modernos como textos antigos. Os pesquisadores descobriram que medições de baixa qualidade reduziram a eficiência do aprendizado para apenas 30%.
3. Pós-treinamento sem dados modernos Para transformar um modelo básico em um modelo conversacional, geralmente você precisa de bons exemplos de conversação. Para falado Os pesquisadores usaram livros históricos de etiqueta, livros de receitas e guias de redação de cartas, textos claramente estruturados do século XIX e início do século XX.
Os pesquisadores compartilharam uma amostra do conteúdo do pós-treinamento. (Fonte da imagem: talkie-lm.com)
Para onde vai a viagem?
A equipe tem planos ambiciosos:
- Está planejando um modelo de nível GPT-3 para este verão.
- O conhecimento histórico disponível se expandirá para mais de um trilhão de tokens.
- Está planejada a expansão multilíngue além do inglês.
- Melhores soluções proprietárias de OCR para documentos históricos estão em desenvolvimento.
Além de projetos específicos, os pesquisadores também querem responder questões específicas:
- Quanto sabemos sobre os modelos modernos de IA que estão corretos apenas porque são todos treinados com os mesmos dados?
- A IA pode pensar além do horizonte do conhecimento?
- O que um modelo que compreende o mundo de 1930 diz sobre o mundo de 2026?
Por falar nisso: O CEO da Nvidia acredita que estamos numa nova revolução industrial onde a IA não nos substituirá, mas nos controlará detalhadamente.
Se você estiver curioso: em talkie-lm.com você pode falar diretamente com modelos e perguntar a IAs que (em sua maioria) não entendem o seu mundo.
O que vocês acham da ideia, pesquisadores? É uma experiência divertida com valor agregado ou sem valor para você? Fique à vontade para escrever nos comentários!
