Os LLMs confundem cada vez mais as distinções entre escrita humana e escrita gerada por IA

Um estudo recente liderado por Lee Schwamm, da Escola de Medicina de Yale, examinou quão bem os revisores podem distinguir entre ensaios escritos por humanos e aqueles gerados por grandes modelos de linguagem (LLMs), como o ChatGPT. A pesquisa, publicada na revista Stroke, descobriu que os revisores identificaram com precisão a autoria apenas 50% das vezes, o mesmo que jogar uma moeda. Curiosamente, os ensaios gerados por IA foram classificados com maior qualidade em comparação com os envios humanos. No entanto, quando os revisores acreditaram que um ensaio foi escrito por IA, eles o classificaram como o melhor apenas 4% das vezes, indicando um preconceito contra o conteúdo gerado por máquina. Schwamm enfatiza a necessidade de políticas relativas ao papel da IA na escrita científica, observando que à medida que os LLMs se tornam mais avançados, a sua detecção pelos revisores pode diminuir. Ele defende que a IA seja vista como uma ferramenta para melhorar a comunicação científica, beneficiando particularmente os falantes de inglês não-nativos, em vez de um atalho que prejudica a integridade académica. As conclusões sugerem que a comunidade científica deve repensar a sua abordagem à IA por escrito, para abraçar os seus potenciais benefícios, garantindo ao mesmo tempo a qualidade e a responsabilização.