Fonte: It forum
Por Carlos Eduardo Passerani Reolon*
Sistemas com IA não estão isentos de governança: os princípios continuam os mesmos, mas exigem atenção a novos riscos e complexidades
Em um passado, talvez não muito distante, quando os primeiros sistemas computacionais começaram a surgir e a prestar serviços efetivamente caros à sociedade, uma nova demanda também surgiu: a de garantir que tais sistemas fizessem exatamente aquilo que foram programados. Nem mais, nem menos!
Isso aconteceu em um momento em que a preocupação dos desenvolvedores de tecnologia se resumia a entregar soluções para problemas concretos sem se preocuparem muito com agentes maliciosos e desvios no uso das tecnologias.
Dessa forma, medidas começaram a surgir para mitigar ameaças reais, porém sem muito critério. Essas se davam de forma menos organizada e mais reativa e soluções pontuais começavam a ganhar força.
Foi assim com uso de senhas para determinados acessos (antes ainda de associá-las aos seus respectivos usuários), encriptação de dados em repouso em trânsito, camadas de segurança nos protocolos de conexão etc.
Com o aumento na criação e uso destas medidas, a necessidade de organizá-las foi crescendo e a partir daí começaram a surgir os primeiros passos no sentido da governança técnica dos ambientes de tecnologia. Vale ressaltar aqui que a governança e a gestão não representam o mesmo pacote de ações.
Da governança é esperada a criação das regras a serem seguidas enquanto da gestão é esperado o cumprimento destas regras. Nesse âmbito, a governança começa a trazer soluções para que o ambiente de tecnologia seja mais organizado, seguro, previsível.
Isso acontece em diversas frentes: na própria segurança da informação, com regras específicas para troca de arquivos, uso de senhas, controle de acessos. Na gestão dos ambientes de desenvolvimento com a criação de ambientes específicos para desenvolvimento, testes, produção. No controle dos incidentes e como eles devem ser endereçados, determinando a severidade, o impacto, planos de contingência. E segue ampliando seu escopo de atuação até os dias atuais onde cuida da relação com fornecedores, capacitação de funcionários e terceiros, gestão de ativos e muitas outras áreas de domínio.
Desta forma, tanto governança como a gestão da tecnologia propriamente dita já está muito bem servida de regras e controles que garantem sistemas computacionais seguros e capazes de entregarem o que se dispõe a fazer.
Entretanto, nos últimos anos tivemos o advento da inteligência artificial assumindo papel preponderante nas soluções tecnológicas. Este fato colocou certo grau de complexidade na mão dos gestores de tecnologia pelo fato dela trazer componentes que antes não eram comuns a eles.
A corrida do AI First, ou “IA primeiro”, que faz alusão à estratégia de que tudo que se vá implementar deva utilizar IA fez com que a adoção de soluções envolvendo inteligência artificial sofressem das mesmas dores dos primeiros sistemas computacionais de décadas atrás.
Fomos inundados com soluções mirabolantes que usam, ou alegam usar, modelos de IA para resolver os mais variados problemas. E a promessa de soluções mágicas fez com que muitos as adotassem sem sequer se darem conta se estes produtos foram de fato testados para este fim, se entregam o que prometem, se garantem algum nível de segurança, se podem ser restaurados após algum tipo de catástrofe.
Tais sistemas foram tratados como “isentos” de tais controles e hoje já começamos a ver a consequência deste tipo de decisão.
Sejam soluções que entregam o esperado num contexto específico, mas deixam de performar em outro, ou casos em que os sistemas não foram devidamente testados contra ataques maliciosos.
Essa situação gera o mesmo movimento descrito anteriormente, onde se faz necessário governar o ambiente aonde há IA. E isso não significa criar novas regras, reinventar a roda. A governança técnica para sistemas de IA vai utilizar basicamente os mesmos conceitos já difundidos há décadas na computação convencional.
Obviamente, no tratamento específico da IA, novos controles devem ser implementados tais como proveniência dos dados de treinamento, testes recorrentes dos modelos, medidas de segurança voltadas ao envenenamento de modelos, mitigação de vieses indesejados, testes de performance e disponibilidades adequados a esse contexto e assim por diante.
Porém, mesmo a IA tendo características funcionais bem peculiares, seus controles acabam sendo muito parecidos (se não, iguais) aos já adotas para os sistemas tradicionais. Sendo assim, nos sistemas convencionais ou nos grandes modelos de IA a governança deve ser implementada sem necessariamente ser reinventada. As ferramentas já estão todas à mão.
____
*Instrutor da ABES ACADEMY, setor de educação e formação continuada da Associação Brasileira das Empresas de Software, e Project Manager na IBM.
