“O governo australiano descobre que a IA é muito pior que os humanos em resumir”

Os grandes modelos de linguagem continuam a ganhar destaque, com muitos usuários e empresas focando em sua habilidade útil de resumir rapidamente documentos extensos para facilitar a compreensão humana. No entanto, quando a Comissão de Valores Mobiliários e Investimentos da Austrália (ASIC) investigou esse caso potencial, descobriu que os resumos obtidos do modelo Llama2-70B foram considerados significativamente piores do que aqueles fornecidos por humanos.

O estudo de prova de conceito da ASIC, realizado em janeiro e fevereiro, redigido em março e publicado em resposta a uma investigação do Senado em maio, apresenta várias limitações que dificultam generalizar sobre as capacidades de resumir dos modernos LLMs. Ainda assim, o estudo do governo mostra muitos dos possíveis problemas que grandes organizações devem considerar antes de simplesmente inserir as saídas do LLM em fluxos de trabalho existentes.

Para o estudo, a ASIC se uniu à Amazon Web Services para avaliar a capacidade dos LLMs de resumir “uma amostra de contribuições públicas feitas a uma investigação externa do Comitê Parlamentar Conjunto, analisando empresas de auditoria e consultoria”. Para os propósitos da ASIC, um bom resumo de uma dessas contribuições destacaria qualquer menção à ASIC, quaisquer recomendações para evitar conflitos de interesse e quaisquer pedidos de mais regulamentação, tudo com referências a números de página e “breve contexto” para explicação.

Redação Confraria Tech.

Referências:
Australian government trial finds AI is much worse than humans at summarizing