LLMs mostram maior precisão em previsões futuras.

Os investigadores EPFL descobriram que grandes modelos de linguagem (LLMs), como GPT-4, exibem um efeito de "Seta do Tempo", mostrando maior precisão na previsão da próxima palavra em uma frase do que a anterior. Essa assimetria fundamental, observada em várias arquiteturas LLM, sugere que, embora as previsões para frente e para trás devam teoricamente ser igualmente desafiadoras, os LLMs são consistentemente alguns por cento menos precisos ao prever para trás. As descobertas se conectam ao trabalho de Claude Shannon sobre a teoria da informação e implicam perceções mais profundas sobre a estrutura da linguagem, inteligência e até mesmo a natureza do tempo. O estudo originou-se de uma colaboração com uma escola de teatro para criar um chatbot para improvisação, levando a revelações inesperadas sobre processamento de linguagem e causalidade.