O Transformer2 ajusta dinamicamente seus pesos, aumentando a flexibilidade.

O Transformer2 é um LLM auto-adaptativo projetado para ajustar dinamicamente os seus pesos quando enfrenta novas tarefas, eliminando a necessidade de ajustes tradicionais de afinamento. Ao contrário dos modelos convencionais, que requerem ajustes nos parâmetros seguidos de um novo treino, o Transformer2 adapta-se em tempo real quando encontra tarefas desconhecidas.

O modelo funciona em duas etapas. Primeiro, analisa a tarefa que recebe para determinar a resposta necessária. Depois, ajusta o seu sistema interno de pesos usando a Decomposição de Valores Singulares (SVD) e aprendizagem por reforço, ajudando-o a priorizar as informações mais relevantes para a tarefa em questão.

Durante a inferência, o Transformer2 utiliza três estratégias principais: baseada no prompt, baseada em classificador e um método de adaptação de poucos exemplos. Esta flexibilidade permite ao modelo ter um bom desempenho tanto em tarefas familiares como em novas consultas desafiantes, tornando-o mais versátil do que os LLMs tradicionais. O resultado é uma IA capaz de se ajustar dinamicamente a diferentes tipos de tarefas, oferecendo maior eficiência e flexibilidade.