Sabe -se que os chatbots generativos de IA cometem muitos erros. Vamos torcer para que você não siga a sugestão da IA do Google para adicionar cola à sua receita de pizza ou coma uma ou duas pedras por dia para a sua saúde.
Esses erros são conhecidos como alucinações: essencialmente, as coisas que o modelo compõe. Essa tecnologia vai melhorar? Mesmo os pesquisadores que estudam a IA não estão otimistas de que isso acontecerá em breve.
Essa é uma das descobertas de um painel de duas dúzias de especialistas em inteligência artificial Lançado este mês pela Associação para o Avanço da Inteligência Artificial. O grupo também pesquisou mais de 400 dos membros da associação.
Em contraste com o hype que você pode ver sobre os desenvolvedores serem apenas anos (ou meses, dependendo de quem você pergunta) para melhorar a IA, esse painel de especialistas acadêmicos e do setor parece mais guardado sobre a rapidez com que essas ferramentas avançarão. Isso inclui não apenas acertar os fatos e evitar erros bizarros. A confiabilidade das ferramentas de IA precisa aumentar drasticamente se os desenvolvedores produzirem um modelo que possa atender ou superar a inteligência humana, comumente conhecida como inteligência geral artificial. Os pesquisadores parecem acreditar que as melhorias nessa escala provavelmente acontecem em breve.
“Nós tendemos a ser um pouco cautelosos e não acreditarmos em algo até que realmente funcione”. Vincent Conitzerum professor de ciência da computação na Carnegie Mellon University e um dos participantes do painel me disse.
A inteligência artificial se desenvolveu rapidamente nos últimos anos
O objetivo do relatório, escreveu o presidente da AAAI, Francesca Rossi, em sua introdução, é apoiar pesquisas em inteligência artificial que produzem tecnologia que ajuda as pessoas. Questões de confiança e confiabilidade são graves, não apenas no fornecimento de informações precisas, mas em evitar viés e garantir que uma IA futura não causasse consequências não intencionais graves. “Todos nós precisamos trabalhar juntos para avançar a IA de maneira responsável, para garantir que o progresso tecnológico apóie o progresso da humanidade e esteja alinhado aos valores humanos”, escreveu ela.
A aceleração da IA, especialmente desde que o OpenAi lançou o ChatGPT em 2022, foi notável, disse Conitzer. “De certa forma, isso foi impressionante, e muitas dessas técnicas funcionam muito melhor do que a maioria de nós jamais pensou que iria”, disse ele.
Existem algumas áreas de pesquisa de IA em que “o hype tem mérito”. John de espessuraProfessor Assistente de Ciência da Computação na Universidade de Cornell, me disse. Isso é especialmente verdadeiro em matemática ou ciências, onde os usuários podem verificar os resultados de um modelo.
“Essa tecnologia é incrível”, disse Thickstun. “Trabalho nesse campo há mais de uma década, e me chocou o quão bom se tornou e com a rapidez com que se tornou bom”.
Apesar dessas melhorias, ainda há questões significativas que merecem pesquisas e considerações, disseram especialistas.
Os chatbots começarão a esclarecer seus fatos?
Apesar de algum progresso na melhoria da confiabilidade das informações provenientes de modelos generativos de IA, muito mais trabalho precisa ser feito. Um recente Relatório da Columbia Journalism Review É improvável que os chatbots encontrados se recusassem a responder perguntas que não podiam responder com precisão, confiantes sobre as informações erradas que eles forneceram e fizeram (e forneceram links fabricados) fontes para fazer backup dessas afirmações erradas.
Melhorar a confiabilidade e a precisão “é sem dúvida a maior área de pesquisa de IA hoje”, afirmou o relatório da AAAI.
Os pesquisadores observaram três maneiras principais de aumentar a precisão dos sistemas de IA: ajuste fino, como reforçar o aprendizado com o feedback humano; A geração de recuperação, na qual o sistema reúne documentos específicos e retira sua resposta a desses; e cadeia de pensamento, onde os avisos dividem a pergunta em etapas menores que o modelo de IA pode verificar se há alucinações.
Essas coisas tornarão suas respostas de chatbot mais precisas em breve? Não é provável: “A factualidade está longe de ser resolvida”, afirmou o relatório. Cerca de 60% dos pesquisados indicaram dúvidas de que as preocupações de factualidade ou confiabilidade seriam resolvidas em breve.
Na indústria generativa de IA, houve otimismo de que a ampliação dos modelos existentes os tornará mais precisos e reduzirá as alucinações.
“Eu acho que a esperança sempre foi um pouco otimista”, disse Thickstun. “Nos últimos dois anos, não vi nenhuma evidência de que modelos de linguagem realmente precisos e altamente factuais estejam chegando”.
Apesar da falsificação de grandes modelos de idiomas, como Claude do Anthrópico ou Llama da Meta, os usuários podem assumir erroneamente que são mais precisos porque apresentam respostas com confiança, disse Conitzer.
“Se vemos alguém respondendo com confiança ou palavras que parecem confiantes, consideramos que a pessoa realmente sabe do que está falando”, disse ele. “Um sistema de IA, pode apenas afirmar estar muito confiante em algo que é completamente absurdo”.
Lições para o usuário da IA
A consciência das limitações da IA generativa é vital para usá -lo corretamente. Os conselhos de Thickstun para usuários de modelos como ChatGPT e Gemini do Google são simples: “Você precisa verificar os resultados”.
Os grandes modelos gerais de idiomas fazem um péssimo trabalho de recuperar consistentemente informações factuais, disse ele. Se você pedir algo, provavelmente deve acompanhar a resposta em um mecanismo de pesquisa (e não confiar no resumo da IA dos resultados da pesquisa). Quando você faz isso, você pode ter sido melhor fazer isso em primeiro lugar.
Shipstun disse que a maneira como ele mais usa os modelos de IA é automatizar as tarefas que ele poderia realizar de qualquer maneira e que ele pode verificar a precisão, como formatação de tabelas de informações ou código de escrita. “O princípio mais amplo é que acho que esses modelos são mais úteis para automatizar o trabalho que você já sabe fazer”, disse ele.
Leia mais: 5 maneiras de permanecer inteligente ao usar a Gen AI, explicada por professores de ciência da computação
A inteligência geral artificial está chegando?
Uma prioridade do setor de desenvolvimento de IA é uma raça aparente para criar o que é chamado de inteligência geral artificial, ou AGI. Este é um modelo geralmente capaz de um nível humano de pensamento ou melhor.
A pesquisa do relatório encontrou opiniões fortes sobre a corrida pela AGI. Notavelmente, mais de três quartos (76%) dos entrevistados disseram que as técnicas atuais de IA atuais, como modelos de idiomas grandes, é improvável que produza a AGI. Uma maioria significativa dos pesquisadores duvida que a marcha atual em direção à AGI funcionará.
Uma maioria igualmente grande acredita que sistemas capazes de inteligência geral artificial devem ser de propriedade pública se forem desenvolvidos por entidades privadas (82%). Isso se alinha a preocupações com a ética e as possíveis desvantagens da criação de um sistema que pode superar os seres humanos. A maioria dos pesquisadores (70%) disse que se opõe à interrupção da pesquisa da AGI até que os sistemas de segurança e controle sejam desenvolvidos. “Essas respostas parecem sugerir uma preferência pela exploração contínua do tópico, dentro de algumas salvaguardas”, afirmou o relatório.
A conversa em torno da AGI é complicada, disse Thickstun. Em certo sentido, já criamos sistemas que têm uma forma de inteligência geral. Grandes modelos de idiomas, como o ChatGPT da Openai, são capazes de realizar uma variedade de atividades humanas, em contraste com os modelos de IA mais antigos que só poderiam fazer uma coisa, como o Chess. A questão é se pode fazer muitas coisas de forma consistente em nível humano.
“Eu acho que estamos muito longe disso”, disse Thickstun.
Ele disse que esses modelos não têm um conceito integrado de verdade e a capacidade de lidar com tarefas criativas verdadeiramente abertas. “Não vejo o caminho para fazê -los operar de forma robusta em um ambiente humano usando a tecnologia atual”, disse ele. “Acho que há muitos avanços de pesquisa na maneira de chegar lá”.
Conitzer disse que a definição do que exatamente constitui AGI é complicado: muitas vezes, as pessoas significam algo que pode realizar a maioria das tarefas melhor do que um humano, mas alguns dizem que é apenas algo capaz de realizar uma série de tarefas. “Uma definição mais rigorosa é algo que realmente nos tornaria completamente redundante”, disse ele.
Enquanto os pesquisadores são céticos que AGI está chegandoConitzer alertou que os pesquisadores da IA não esperavam necessariamente a dramática melhora tecnológica que todos vimos nos últimos anos.
“Não vimos por vir a rapidez com que as coisas mudaram recentemente”, disse ele, “e você pode se perguntar se vamos ver isso se continuar indo mais rápido”.
