Desafios de governança no uso de inteligência artificial pelas empresas

As inúmeras possibilidades de uso da inteligência artificial fazem com que a temática esteja presente em diversas pautas corporativas, e pesquisas recentes estimam que os investimentos em IA a nível global podem chegar a 200 bilhões de dólares até 2025. 

As organizações estão incorporando inteligência artificial em seus processos de forma acelerada e contínua. De acordo com uma pesquisa relacionada à adoção da inteligência artificial para negócios na América Latina, grandes empresas (+1.000 funcionários) aceleraram a implementação de IA em 67% nos últimos dois anos. Além disso, 45% das empresas já estão explorando a inteligência artificial generativa (GenAI).

Segundo o Deloitte’s State of Generative AI in the Enterprise – relatório que faz parte de uma série do Deloitte AI Institute para ajudar lideranças a rastrear o ritmo rápido da mudança e adoção da GenAI –, apesar do crescimento no uso de inteligência artificial, a falta de confiança continua sendo uma grande barreira para a adoção e implantação de IA generativa em larga escala. Dois aspectos principais observados foram: (1) confiança na qualidade e confiabilidade da produção da GenAI e (2) confiança dos trabalhadores de que a tecnologia tornará seus trabalhos mais fáceis sem substituí-los.

Estabelecer controles para governar a incorporação da inteligência artificial na empresa é um meio para gerar maior confiança entre os executivos dos negócios, investidores e colaboradores. Tais controles são necessários para fortalecer um ambiente corporativo seguro e ético para adoção da IA, e devem ser estabelecidos observando sempre a consistência com as práticas já existentes da organização, a fim de ser um processo incremental, equilibrando a gestão de riscos com a inovação.

As temáticas relacionadas à privacidade de dados, segurança, transparência e facilidade de compreensão dos modelos de inteligência artificial devem ser observadas na concepção dos controles para a governança da IA. De acordo com a pesquisa AI Adoption Index, os profissionais de TI das organizações pesquisadas que não exploram ou implementam GenAI relataram que preocupações com privacidade de dados (57%) e confiança e transparência (43%) são seus maiores inibidores.

Riscos relacionados à adoção da inteligência artificial

É natural que o surgimento de uma tecnologia disruptiva que entrega tantos resultados e evolui continuamente gere uma sensação de desconforto e/ou não-confiança das empresas à primeira vista. A inteligência artificial é considerada por alguns pesquisadores como uma tecnologia de propósito geral – ou seja, que muda a lógica de funcionamento da economia e da sociedade.

Semelhante às preparações de novos controles e adaptações de ambientes corporativos que foram necessárias para incorporação de tecnologias de big data, a implementação da IA também deve ser assistida e gerenciada por meio de uma série de ações a fim de mitigar os riscos que acompanham a adoção dessa tecnologia.

Como forma de mitigar os riscos e orientar as empresas na adoção da IA, uma série de boas práticas e padrões globais sobre tecnologias e sistemas de inteligência artificial foram criados para garantir o comportamento ético, a transparência e usabilidade desses sistemas.

A Organização para a Cooperação e Desenvolvimento Econômico (OCDE) estabeleceu princípios para uma inteligência artificial confiável, considerando crescimento inclusivo, centralização no ser humano, segurança e robustez, transparência, usabilidade e responsabilidade como pilares para serem observados na implementação da IA. Já a temática com foco em ética na IA ganhou ainda mais força com a publicação das recomendações para um desenvolvimento ético feita pela Unesco. O Instituto Nacional de Padrões e Tecnologia dos Estados Unidos (NIST, na sigla em inglês) também publicou um guia sobre Gerenciamento de Risco em IA (AI RMF 1.0), com orientações sobre uma abordagem de implementação de IA priorizando o levantamento e endereçamento dos riscos em todo o ciclo de vida da IA.

Mas, afinal, quais são os principais riscos que preocupam a todos?

Essa resposta varia de acordo com o cenário de implementação da IA, a depender do objetivo do uso, do ambiente e dos dados necessários para a construção da solução. Contudo, existem riscos relacionados aos aspectos abaixo, como por exemplo, que são comuns e devem ser considerados no escopo da governança da IA:

Alinhamento estratégico

• A implementação de IA não coordenada com as ações estratégicas, sistemas de valores e apetite de risco da empresa leva a modelos ineficazes ou até mesmo maliciosos/antiéticos. As diretrizes devem ser claras e alinhadas com o plano estratégico das organizações.

Financeiro

• Decisões e recomendações inadequadas e incorretas devido a modelos de IA inconsistentes resultam em perdas diretas, indiretas ou ameaças à organização, cliente e marca. A materialização desse risco pode levar a perdas financeiras e de reputação, além de desperdício de recursos.

Dados

• A indisponibilidade de dados precisos, rotulados, relevantes e imparciais para desenvolver, treinar e implantar modelos que atendam aos propósitos pretendidos pode gerar modelos tendenciosos; O acesso não autorizado aos dados desintegra o alinhamento da solução com os objetivos de negócios;
• A utilização dos dados de testes diferentes dos dados de produção podem resultar em modelos imprecisos e em salvaguardas inadequadas.

Tecnologia

• A tecnologia escolhida para o desenvolvimento e implementação dos modelos de IA deve possibilitar a auditabilidade, escalabilidade e monitoramento do modelo;
• Restrições tecnológicas limitam a auditabilidade e os logs de auditoria, dificultando a transparência;
• A falta de monitoramento e loops de feedback atrasam as correções para discrepâncias do modelo;
• Modelos não certificados expõem as organizações a riscos de resultados contendo copyright e linguagem antiética;
• Pontos únicos de falha na implantação sem redundância e tecnologia inflexível limitam a escalabilidade à medida que a organização cresce.

Cyber

• Não identificar, rotular, armazenar e proteger Informações de Identificação Pessoal (PII, na sigla em inglês) pode resultar em violações de privacidade de dados, levando a reações reputacionais e repercussões regulatórias;
• A falta de controles de acesso adequados para proteger infraestrutura, aplicativo, modelo e código subjacente pode expor a organização a ataques cibernéticos e vazamento de informações.

Pessoas

• A falta de pessoas qualificadas em cada estágio do ciclo de vida da IA somada à falta de segregação clara de papéis e responsabilidades geram acúmulo de atividades e perda de qualidade do entregável;
• A cultura de talentos da empresa pode ser impactada devido à implementação da IA, que pode levar ao ressentimento dos funcionários quando não há uma orientação e comunicação clara sobre o novo formato de trabalho “Age of with” – interação homem-máquina.

Regulatório

• O não atendimento aos requisitos regulatórios e de conformidade geográficos ou setoriais com relação aos modelos de IA resultam em litígios e multas;
• A falta de clareza sobre os regulamentos e suas mudanças em torno da privacidade e segurança de dados leva à criação de modelos ambíguos e penalidades financeiras.
  

Terceiros

• O envolvimento de terceiros no ciclo de vida da implantação de IA pode levar à dependência tecnológica e perda de propriedade intelectual;
• Termos vagos de contrato e controles inadequados desafiam o gerenciamento de risco da implementação.
  

Social

• Decisões e recomendações incorretas, inconsistentes e tendenciosas feitas pelo modelo de IA podem ocasionar problemas como perda de empregos e exclusão de serviços, causando disparidade socioeconômica.

Governança da IA

Estabelecer uma estrutura de governança para o efetivo controle da IA é necessário para dar luz aos riscos associados e confiança ao processo de adoção corporativa. As mudanças impulsionadas pela evolução exigem a reinvenção dos processos, mecanismos e controles operacionais de governança, adicionando algumas responsabilidades frente às três linhas de defesas:

Operações (1ª linha de defesa):

•  Incentivar testes de qualidade de modelos de IA usando melhores práticas como testes de estresse e testes contínuos para validar e monitorar performance e resultados;
• Estabelecer limites (regras) e identificar os aspectos-chave para definir os parâmetros e refinar os processos de desenvolvimento de modelos de IA.

Compliance (2ª linha de defesa):

• Revisar a documentação detalhada do modelo e ter visões gerais de alto nível de todos os modelos por meio do desenvolvimento de painéis dedicados à governança;
• Estabelecer uma estratégia de risco de inteligência artificial, incluindo taxonomias de risco com visão de futuro, definindo o apetite de risco de IA, identificando KPIs e formulando estratégias de testes.

Auditoria (3ª linha de defesa):

• Promover a transparência e a responsabilidade por meio do compartilhamento de resultados de modelos e pontos de atenção;
• Estabelecer trilhas de auditoria, habilitando opções de aprovação e gerenciamento de feedback para modelos em implantação e gerando relatórios sobre soluções de IA.

As linhas de defesas devem promover em conjunto o equilíbrio entre a confiança na atribuição e a supervisão humana para gerenciar as implicações legais e de reputação para a empresa, os padrões para criar e manter documentação onipresente, disponível para todos os usuários e, por fim, uma cultura empresarial de aprendizagem e educação contínuas para estimular o uso responsável da IA.

Dessa forma, para um ambiente ético, seguro e controlado, é minimamente necessário que as temáticas abaixo sejam contempladas nos planos de ações de governança das empresas que já implementaram ou pretendem implementar a inteligência artificial em seus processos:

• Adoção de IA alinhada às ações estratégicas, considerando a incorporação da ferramenta em processos estratégicos com análise de riscos, impactos e estimativa de retorno de investimento;
• Criação de diretriz interna para definição de papéis e responsabilidades entre as áreas, determinação de frameworks que contemplem boas práticas para um desenvolvimento seguro, definição de parâmetros de qualidades, controles e salvaguardas necessários;
• Curadoria dos modelos de IA para monitorar resultados e parâmetros aplicados, com o objetivo de compreender a evolução da assertividade e realizar a manutenção para ajustar possíveis desvios;
• Auditoria dos resultados da inteligência artificial e do processo de desenvolvimento para garantir o cumprimento das diretrizes estabelecidas e mitigar os riscos associados.

Diante dos desafios éticos e dos potenciais impactos (materialização dos riscos) da IA, é necessário um compromisso das lideranças com a governança, garantindo que a inteligência artificial seja desenvolvida de forma responsável, protegendo os direitos, garantindo a usabilidade e a transparência, e promovendo um ambiente ético e seguro para toda a empresa.

Trustworthy AI

Para alcançar uma governança assertiva sobre a inteligência artificial é preciso olhar além dos riscos, e considerar como a própria tecnologia pode apoiar nessa governança – identificando o método e as travas tecnológicas para isso.

A Deloitte desenvolveu um framework global de Trustworthy AI que apoia as organizações desenvolverem pilares de segurança e ética considerando sete dimensões diferentes. Trata-se de uma etapa fundamental para garantir uma gestão de riscos efetiva e potencializar os ganhos associados à IA.

A Trustworthy AI™ une governança e conformidade regulatória ao longo do ciclo de vida da IA, desde o planejamento até o design, passando por desenvolvimento, implantação e operações de aprendizado de máquina (MLOps), ancorada nas sete dimensões do framework de Trustworthy AI™ da Deloitte—transparente e explicável, justa e imparcial, robusta e confiável, respeitosa à privacidade, segura e protegida, e responsável.
Juntas, governança e conformidade são os meios pelos quais uma organização e seus stakeholders garantem que as implantações de IA sejam éticas e confiáveis.