Conceber IA para Infraestruturas Criticas: Porque a Exatidao, por Si So, Nao e Suficiente

A inteligencia artificial esta a ser cada vez mais introduzida em ambientes onde a informacao que produz pode influenciar decisoes operacionais importantes. A monitorizacao de incendios florestais, a protecao ambiental, os transportes, as infraestruturas energeticas e as operacoes industriais sao apenas algumas das areas onde a IA pode ajudar as organizacoes a monitorizar ambientes complexos e a identificar potenciais ocorrencias mais cedo.

A medida que estas tecnologias se tornam mais capazes, as discussoes sobre o seu desempenho centram-se frequentemente em metricas conhecidas, como a exatidao, a precisao, a revocacao, as taxas de detecao e os falsos positivos. Estas medicoes sao importantes. Permitem avaliar se um modelo consegue reconhecer os padroes para os quais foi concebido.

No entanto, quando a IA e implementada num ambiente operacional critico, o desempenho do modelo e apenas uma parte da equacao.

Um sistema de monitorizacao nao funciona dentro de um benchmark ou de um laboratorio. Funciona atraves de camaras, redes, interfaces e fluxos de trabalho operacionais, e os seus resultados sao, em ultima analise, interpretados por pessoas que precisam de decidir se devem agir e de que forma.

Um modelo de IA exato e apenas um dos componentes de um sistema operacional fiavel.

Exatidao nao e o mesmo que fiabilidade operacional

Considere dois sistemas de monitorizacao que identificam a mesma potencial ocorrencia de incendio florestal.

Ambos detetam uma possivel coluna de fumo e geram um alerta. Do ponto de vista tecnico, o seu desempenho de detecao pode ser semelhante. No entanto, a experiencia do operador pode ser muito diferente.

Um sistema pode simplesmente gerar uma notificacao a indicar que foi detetado possivel fumo. O operador tem entao de localizar a camara relevante, analisar as imagens disponiveis e determinar se existe informacao suficiente para compreender a situacao.

Outro sistema pode apresentar a detecao juntamente com as evidencias visuais relevantes, a sua localizacao e informacoes que mostram como a ocorrencia suspeita evoluiu ao longo do tempo.

O modelo de IA subjacente pode ter identificado o mesmo padrao visual em ambos os casos. No entanto, o valor operacional da informacao nao e necessariamente o mesmo.

A diferenca esta no que acontece em torno da detecao.

Esta e uma distincao importante na avaliacao de sistemas de IA. Um modelo pode ter um bom desempenho no reconhecimento de uma ocorrencia, enquanto o sistema como um todo continua a criar trabalho desnecessario, fornece contexto insuficiente ou nao se integra naturalmente na forma como os operadores avaliam os incidentes.

Para as organizacoes que utilizam IA em ambientes criticos, a questao relevante vai, portanto, alem do desempenho do modelo. Inclui tambem a eficacia com que o sistema completo apoia as pessoas que precisam de utilizar os seus resultados.

A monitorizacao no mundo real exige sistemas capazes de lidar com a incerteza

Os modelos de IA sao desenvolvidos utilizando exemplos das situacoes que se espera que reconhecam. Os ambientes do mundo real, no entanto, estao em constante mudanca.

Na monitorizacao de incendios florestais, o aspeto de uma paisagem pode variar significativamente consoante a hora do dia, a estacao do ano e as condicoes meteorologicas. A visibilidade pode ser afetada por nevoeiro, chuva ou neblina. O fumo pode apresentar-se de forma diferente consoante a distancia, a iluminacao, o vento e a natureza do incendio. Outros fenomenos, incluindo nuvens, poeiras ou vapor, podem ocasionalmente assemelhar-se as caracteristicas visuais que um sistema foi concebido para identificar.

Estas condicoes nao sao excecoes invulgares. Fazem parte da operacao no mundo real.

Um sistema concebido para monitorizacao continua deve, portanto, ser capaz de funcionar num ambiente onde a qualidade e a interpretacao da informacao visual podem mudar ao longo do tempo. A implementacao tambem introduz desafios que podem nao ser totalmente visiveis durante o desenvolvimento do modelo. As camaras, a conectividade e as condicoes ambientais podem afetar o desempenho de um sistema de monitorizacao.

Isto nao significa que a IA nao possa ser util nestes ambientes. Na verdade, a complexidade da monitorizacao continua e precisamente onde a IA pode proporcionar um valor significativo.

No entanto, nem todas as ocorrencias podem ser classificadas imediatamente com total certeza.

Uma formacao semelhante a fumo a distancia pode exigir uma observacao adicional. A alteracao da visibilidade pode tornar uma ocorrencia dificil de interpretar. A informacao disponivel no momento da primeira detecao pode justificar uma investigacao adicional sem ser suficiente para determinar a resposta adequada.

Um sistema de monitorizacao bem concebido deve ter esta realidade em consideracao.

O objetivo da IA nao e necessariamente eliminar a incerteza. O seu valor pode estar, em vez disso, em identificar informacao que merece atencao e em ajudar os operadores a investiga-la de forma mais eficiente.

Por exemplo, uma detecao inicial pode tornar-se mais significativa quando um operador consegue observar como uma coluna de fumo suspeita evolui nos minutos seguintes. Uma unica imagem pode fornecer uma indicacao, enquanto a observacao continua pode revelar se a ocorrencia esta a aumentar, a dispersar-se ou a desaparecer.

Um sistema fiavel nao elimina a incerteza. Ajuda as pessoas a geri-la.

O contexto e o julgamento humano determinam o valor da detecao

Quando um sistema de IA gera um alerta, a detecao e apenas o inicio do processo operacional.

A pessoa que recebe essa informacao precisa de compreender o que foi identificado, onde foi detetado e que evidencias estao disponiveis para apoiar uma investigacao adicional.

E aqui que o conceito de explicabilidade se torna particularmente relevante.

A explicabilidade e frequentemente discutida em termos da compreensao de como um modelo de IA chega a uma determinada conclusao. Embora esta seja uma questao tecnica e de governacao importante, o requisito operacional e muitas vezes mais pratico. Um operador nao precisa necessariamente de uma explicacao detalhada dos processos matematicos no interior de uma rede neuronal.

O que precisa e de contexto util.

Imagens ou videos relevantes, localizacao, observacoes anteriores e informacoes sobre a evolucao de uma ocorrencia podem ajudar o operador a avaliar se e necessaria uma acao adicional.

O objetivo nao e fazer parecer que a IA toma a decisao. O objetivo e fornecer a informacao necessaria para que as pessoas tomem decisoes mais bem fundamentadas.

A IA e os operadores humanos contribuem com capacidades diferentes para este processo.

A IA pode analisar continuamente grandes volumes de informacao e identificar padroes ou alteracoes que merecem atencao. Os operadores humanos podem considerar o conhecimento local, as prioridades operacionais, os recursos disponiveis e circunstancias mais abrangentes que podem nao estar representadas nos dados disponiveis para o sistema.

A abordagem mais eficaz nao consiste, portanto, simplesmente em automatizar o maximo possivel.

Consiste em conceber o fluxo de trabalho de forma a que a atencao humana se concentre onde o julgamento cria o maior valor.

A confianca constroi-se atraves da operacao, nao apenas atraves de metricas

Um valor de exatidao pode fornecer informacao util sobre o desempenho de um modelo durante a avaliacao. Por si so, nao pode determinar a experiencia que uma organizacao tera com o sistema na operacao diaria.

A confianca desenvolve-se atraves da utilizacao repetida.

Os operadores observam o comportamento do sistema em diferentes condicoes ambientais. Familiarizam-se com os tipos de ocorrencias que geram alertas e compreendem quando pode ser necessaria uma verificacao adicional.

A operacao no mundo real tambem fornece feedback valioso a organizacao que desenvolve a tecnologia.

Novas condicoes ambientais podem revelar casos-limite que nao foram suficientemente representados durante o desenvolvimento. A experiencia operacional pode mostrar que a informacao deve ser apresentada de forma diferente ou que determinados fluxos de trabalho podem ser melhorados.

Por esta razao, os sistemas de IA utilizados em ambientes criticos nao devem ser considerados completamente concluidos no momento da implementacao.

A implementacao tambem faz parte do processo de aprendizagem.

O sistema, os modelos e o fluxo de trabalho operacional podem continuar a melhorar a medida que novas experiencias e informacoes ficam disponiveis.

Nos sistemas de IA criticos, a confianca nao e instalada. E conquistada atraves da operacao.

Conceber em torno do fluxo de trabalho operacional completo

Uma das formas mais uteis de abordar a monitorizacao alimentada por IA e considerar o ciclo de vida completo de uma ocorrencia, em vez de se concentrar exclusivamente no momento da detecao.

Um processo tipico pode envolver:

Monitorizacao -> Detecao -> Validacao -> Avaliacao -> Decisao -> Revisao

Cada etapa tem requisitos diferentes.

A detecao identifica algo que pode merecer atencao. A validacao ajuda a determinar se a ocorrencia e credivel. A avaliacao coloca a informacao disponivel num contexto operacional mais amplo, enquanto a decisao determina que acao, se alguma, deve seguir-se.

O modelo de IA e uma parte importante deste processo, mas nao e o processo completo.

Pensar na IA desta forma altera a maneira como os sistemas devem ser concebidos. Em vez de perguntarem apenas se a tecnologia consegue detetar uma ocorrencia mais cedo, as organizacoes podem tambem considerar que informacao sera necessaria apos a detecao, como a incerteza pode ser reduzida e como o sistema pode apoiar as pessoas responsaveis pela decisao seguinte.

E aqui que a monitorizacao alimentada por IA ultrapassa o reconhecimento automatizado e passa a fazer parte de um sistema operacional de apoio a decisao.

Conclusao

A IA tem o potencial de melhorar a forma como as organizacoes monitorizam ambientes complexos e criticos. A analise continua pode ajudar a identificar ocorrencias que, de outra forma, poderiam demorar mais tempo a ser detetadas e direcionar a atencao humana para situacoes que requerem uma investigacao adicional.

No entanto, a transicao de um modelo de IA exato para um sistema operacional fiavel envolve mais do que melhorar as metricas de desempenho.

Requer ter em consideracao a incerteza, o contexto, o julgamento humano e o fluxo de trabalho completo que envolve um alerta. Requer tambem que os sistemas evoluam atraves da experiencia no mundo real, onde irao inevitavelmente surgir novas condicoes e desafios operacionais.

A medida que a IA se integra mais profundamente nas operacoes criticas, os sistemas mais valiosos nao serao simplesmente aqueles que geram o maior numero de detecoes.

Serao os sistemas que fornecem informacao de uma forma que ajuda as pessoas a compreender o que esta a acontecer e a tomar melhores decisoes.

Porque, em ultima analise, um modelo de IA exato e apenas um dos componentes de um sistema operacional fiavel.