Decifrando o Código da IA Privada: O Papel da Entropia em Modelos de Linguagem Seguros

Um estudo recente da NYU Tandon apresenta uma abordagem inovadora para melhorar a privacidade em Modelos de Linguagem de Grande Escala (LLMs), utilizando atenção guiada pela entropia. À medida que os sistemas de IA dependem cada vez mais de modelos hospedados na nuvem, a privacidade dos dados dos utilizadores torna-se uma preocupação crítica. A Inferência Privada (PI) surge como uma solução, permitindo que os modelos de IA operem com dados encriptados. No entanto, esta abordagem acarreta custos computacionais elevados, aumentando a latência e o consumo de energia. Este estudo visa superar esses desafios ao repensar a arquitetura fundamental da IA.

Os investigadores descobriram que a remoção das não linearidades—um componente essencial do aprendizado profundo—leva a dois problemas principais: colapso da entropia nas camadas mais profundas, tornando o treino instável, e sobrecarga entrópica nas camadas iniciais, reduzindo a eficiência do modelo. Para resolver isso, desenvolveram a Regularização da Entropia para controlar o fluxo de informação e a Normalização Amigável à PI para estabilizar o treino sem comprometer a privacidade. As suas descobertas estabelecem a entropia como um princípio fundamental de design para criar IA eficiente e segura. Ao unir a teoria da informação e a arquitetura neural, este trabalho abre caminho para modelos de IA mais privados e eficazes. A equipa disponibilizou a sua implementação em código aberto, incentivando novas pesquisas sobre o futuro da IA privada.