Nem todo problema de IA precisa de um modelo gigante

Quanto maior é uma inteligência artificial (IA), melhor ela funciona? Para pesquisadores da USP e Unicamp ouvidos pelo Olhar Digital, a resposta depende do problema. Em determinadas aplicações, sistemas mais eficientes e especializados podem exigir menos dados e processamento e, ainda assim, entregar o desempenho necessário para aquela tarefa.

A discussão não significa que os grandes modelos perderam espaço. Enquanto Marcelo Finger critica a dependência crescente de dados e recursos computacionais na evolução desses sistemas, o matemático Marcos Eduardo Valle aponta uma lacuna entre os modelos menores e os grandes sistemas de aprendizado profundo e vê espaço para explorar soluções intermediárias.

O que há por trás da corrida por modelos maiores?

Para Marcelo Finger, uma das principais contribuições do avanço recente da inteligência artificial foi ampliar a capacidade das máquinas de reconhecer padrões em diferentes tipos de informação, como linguagem, imagens e sons. Esse avanço ganhou um novo impulso em 2017, com a proposta do Transformer, um modelo de reconhecimento de padrões inicialmente desenvolvido para tradução entre línguas. A arquitetura se tornou uma das bases dos grandes modelos de linguagem usados atualmente.

Finger destaca, porém, uma limitação dessa abordagem. Segundo ele, o Transformer precisa rever os dados de entrada múltiplas vezes, e esse processo cresce de forma quadrática conforme aumenta o tamanho da entrada. Em outras palavras, aumentar a quantidade de informação que o modelo precisa analisar faz o número de cálculos crescer ainda mais. Isso eleva o custo de processamento e, consequentemente, os recursos necessários para trabalhar com modelos cada vez maiores.

Além da capacidade computacional, Finger cita outros recursos envolvidos nesse processo, como energia e água, e aponta a geração de calor associada à operação dos equipamentos.

O pesquisador também avalia que, desde a popularização dos grandes modelos de linguagem, a evolução da área passou a se concentrar cada vez mais nessa abordagem. Na visão dele, quando a inteligência artificial ganhou espaço no mercado, parte da pesquisa passou a acompanhar essa direção.

Marcos Eduardo Valle também vê limites nesse processo. Para ele, a evolução do hardware pode estar chegando a uma fase de estagnação. O pesquisador cita o avanço das GPUs como parte do processo que permitiu ampliar a capacidade de processamento disponível para o aprendizado profundo.

“Essa questão de hardware parece estar dando uma estagnada e eu acredito que a gente vai bater num teto também desse limite, talvez esses modelos gigantescos vão estagnar”, afirmou.

Quando uma solução especializada pode levar vantagem

Grandes modelos de propósito geral têm uma vantagem evidente: conseguem lidar com uma variedade maior de situações. Para Valle, porém, isso não significa que sejam a melhor opção para qualquer aplicação.

Valle cita áreas como medicina e agricultura como exemplos de aplicações nas quais nem sempre existe uma quantidade de dados comparável à disponível para treinar grandes modelos de linguagem. Na medicina, por exemplo, a obtenção de determinadas informações pode depender de avaliações profissionais e envolver processos mais complexos.

Nesse cenário, uma solução desenvolvida para uma tarefa específica pode aproveitar melhor os dados disponíveis. Em vez de tentar aprender uma quantidade enorme de possibilidades, o modelo pode incorporar características conhecidas sobre o problema.

Essa especialização, no entanto, tem uma condição. Valle explica que um modelo específico parte de determinadas hipóteses sobre o problema que pretende resolver. Se essas premissas não forem válidas no cenário real, um modelo generalista pode levar vantagem por conseguir lidar com mais possibilidades.

“Então, você não pode tentar colocá-lo em outra tarefa diferente onde ele não foi projetado”, disse.

Por isso, a escolha não se resume ao tamanho do modelo. O tipo e a quantidade de dados disponíveis, o objetivo da aplicação e as características do problema também entram na decisão.

Uma IA feita com poucos dados

Um projeto conduzido por Finger durante a pandemia de Covid-19 mostra como uma abordagem especializada pode ser aplicada em um cenário com poucos dados. A ideia era analisar a voz de uma pessoa para identificar sinais de insuficiência respiratória e ajudar a reconhecer pacientes que poderiam precisar de atendimento hospitalar.

O objetivo não era identificar a presença do coronavírus pela voz. Segundo Finger, a proposta era detectar a insuficiência respiratória, um problema que pode ocorrer por diferentes causas e que, durante a pandemia, estava associado aos casos mais graves de Covid-19.

O primeiro desafio foi conseguir dados. A equipe coletou dados de cerca de 600 pacientes em dois meses, mas quase um terço dos registros precisou ser descartado por problemas nas gravações. Os áudios também eram feitos em ambientes hospitalares com grande quantidade de ruídos, incluindo tosse, equipamentos, televisão e movimentação de pessoas.

Em vez de simplesmente eliminar esses sons, a equipe decidiu utilizar o próprio ruído ambiente para tornar os dados mais semelhantes. Os pesquisadores captaram amostras dos sons presentes nos locais de atendimento e adicionaram esses ruídos às gravações.

A intenção era evitar que o sistema aprendesse uma característica que não interessava ao estudo: a diferença entre uma gravação feita no hospital e outra realizada em casa. Ao tornar os sinais mais semelhantes, a equipe queria fazer com que o modelo prestasse atenção às características da voz relacionadas à insuficiência respiratória.

Segundo Finger, a primeira versão alcançou 91% de acurácia. Depois de alterações no algoritmo e novas análises, o índice chegou a 96,5% e, posteriormente, a 99% para a identificação de insuficiência respiratória no contexto estudado.

O resultado foi relatado pelo pesquisador e se refere ao contexto estudado pela equipe. A ferramenta tinha uma tarefa delimitada: identificar sinais de insuficiência respiratória.

Um modelo grande também pode dar origem a soluções menores

Uma solução mais eficiente não precisa necessariamente ser criada completamente do zero. Valle cita técnicas que permitem aproveitar o conhecimento obtido por modelos treinados com grandes bases de dados.

Uma delas é a transferência de aprendizado, na qual um modelo treinado em uma grande base pode ser adaptado posteriormente para um problema mais específico. Outra é a destilação de conhecimento, que permite aproveitar o conhecimento de um modelo maior para construir um modelo menor.

Essa possibilidade mostra que modelos grandes e soluções especializadas não precisam necessariamente competir. Valle cita, por exemplo, a possibilidade de utilizar um grande modelo de linguagem para a interação com o usuário e encaminhar as informações para um modelo menor e específico, responsável por uma determinada tarefa.

Nesse tipo de arquitetura, diferentes sistemas podem desempenhar funções distintas. O modelo generalista pode cuidar da comunicação, enquanto uma solução especializada processa informações de acordo com as necessidades da aplicação.

A pesquisa também busca modelos mais eficientes

O próprio trabalho de Valle parte dessa ideia. O matemático pesquisa modelos de aprendizado profundo que incorporam informações geométricas e algébricas para tentar melhorar seu desempenho e reduzir a quantidade de dados necessária em determinadas aplicações.

Um dos exemplos apresentados pelo pesquisador envolve uma câmera de vigilância. Se o sistema precisa reconhecer um movimento suspeito, uma mudança na posição da câmera não deveria fazer com que ele deixasse de reconhecer aquele mesmo movimento.

A abordagem considera informações sobre a geometria do problema. Dessa maneira, características que permanecem relevantes mesmo quando a perspectiva muda podem ser incorporadas ao desenvolvimento do sistema.

Segundo Valle, essa estratégia pode permitir modelos mais eficientes e, eventualmente, treinados com menos dados.

Há também possíveis vantagens na execução desses sistemas. Valle afirma que soluções mais compactas podem obter bom desempenho com menor custo, exigindo menos processamento, energia e recursos computacionais. Dependendo da aplicação, elas também podem ser executadas localmente, evitando a transferência de dados para a nuvem.

O próximo passo pode estar entre os extremos

Finger vê um componente de tendência na concentração de atenção nos grandes modelos. Para ele, pesquisadores e empresas acabam direcionando esforços para as tecnologias que estão em evidência.

“A área da computação é mais guiada pela moda do que a alta costura”, afirmou.

Valle tem uma avaliação menos binária. Ele acredita que os grandes modelos ainda têm espaço para avançar, mas também vê uma oportunidade na região entre os modelos menores tradicionais e os sistemas gigantes de aprendizado profundo.

“Eu acho que a tendência é a gente avançar nesse gap aí, fazer um modelo que não é nem tão grande e que não é tão pequeno também. Então, modelos de tamanho médio, eu acho que tem muita coisa para se explorar aí”, afirmou.

O post Nem todo problema de IA precisa de um modelo gigante apareceu primeiro em Olhar Digital.

Acompanhe a Recifes.net

Gostou desta leitura? Siga a Recifes nas redes e receba as proximas pautas no WhatsApp.

• recifes.net
• Instagram
• Facebook
• YouTube
• Inscreva-se no Canal do WhatsApp