Blackbox e manipulação de sistemas de IA na prática forense

São cada vez mais intensas e controversas as discussões de como a inteligência artificial (IA) tem se tornado uma ferramenta essencial na prática forense, facilitando a resolução de crimes e a análise de evidências (Russell; Norvig, 2016). No entanto, surgem preocupações éticas e de segurança quando se tenta contornar os “filtros” internos de sistemas de IA, como o ChatGPT, para obter informações de forma ilegal. Este Op-Ed examina brevemente os riscos ocultos dessas práticas e como a opacidade dos modelos de “caixa preta” pode minar a confiança nas análises forenses.

As discussões sobre a utilização de modelos de IA já estão focadas na produção de decisões judiciais em matéria penal, ou seja, no debate sobre as (im)possibilidades de modelos de apoio à decisão penal. O Conselho Nacional de Justiça (CNJ) editou as Resoluções 332/2020 e 363/2021 e a Portaria 271/2020, regulamentando a pesquisa, o desenvolvimento e a implementação de Modelos nos Tribunais (Peixoto, 2020). No entanto, muitas iniciativas acontecem “fora do radar”, sem um mínimo de maturidade tecnológica, no “oba-oba” da aparente facilidade da inteligência artificial generativa.

Embora não proibida no domínio penal, a IA “não deve ser estimulada, sobretudo com relação à sugestão de modelos de decisões preditivas” (Resolução 332/2020, artigo 23). Confira a publicação sobre “O Manto de Invisibilidade do uso da Inteligência Artificial no Processo Penal” ler (aqui) pois, este artigo já chamava a atenção para a complexidade do tema e para a questão relevante e pouco problematizada do “uso” de prova adquirida por “Modelos de Inteligência Artificial” implementados pelos Órgãos de Investigação e de Controle, em desconformidade com as normas de transparência, produção, tratamento de dados e auditabilidade algorítmica.

Filtros

Os filtros internos são cruciais para impedir o uso mal-intencionado da IA protegendo a integridade dos dados e garantindo conformidade com normas legais e éticas (Floridi; Cowls, 2019). Esses filtros atuam como barreiras, evitando que informações sensíveis ou ilegais sejam acessadas ou manipuladas. A transparência desses filtros é essencial para manter a confiabilidade e a legitimidade das ferramentas de IA na prática forense (Goodman; Flaxman, 2017).

Leia também:  Tribunal do Júri, desconstruindo preconceitos

Qualquer uso de IA em contextos forenses deve respeitar as regras do jogo para evitar abusos e garantir a integridade das provas. No entanto, oportunistas operam sob o manto aparente da invisibilidade, mas deixam pegadas digitais que podem ser identificadas. Basta saber pedir as informações de acesso [logs, p.ex.].

Onde está o problema? Os modelos de “caixa preta” são frequentemente criticados pela falta de explicabilidade e transparência. Na prática forense tanto clareza quanto precisão são indispensáveis, razão pela qual a utilização desses modelos pode ser problemática (Doshi-Velez; Kim, 2017).

A incapacidade de explicar como um modelo de IA chegou a uma determinada conclusão compromete a integridade das análises forenses e a confiança pública nos resultados apresentados em tribunal (Lipton, 2018). Além disso, a utilização de modelos de IA por órgãos estatais sem a devida conformidade com normas de transparência e auditabilidade algorítmica impõe um sério risco à concretização de direitos fundamentais e ao devido processo legal.

A ausência de controle efetivo sobre a aquisição e o processamento de dados materializados em provas judiciais pode “legitimar” comportamentos oportunistas e abusivos, criando um “Manto da Invisibilidade” (Bierrenbach, 2021).

Contornar os filtros internos de sistemas de IA não só compromete a segurança, mas também a legalidade das operações forenses. Vamos além…a manipulação desses filtros pode levar a falhas graves na análise de evidências, prejudicando investigações e julgamentos. Além disso, tais práticas podem resultar em sanções legais severas e minar a confiança na aplicação da lei e na justiça (Mittelstadt et al., 2016).

A questão do “uso de prova”, por exemplo, já dito anteriormente, adquirida por “Modelos de Inteligência Artificial” implementados pelos Órgãos de Investigação e de Controle em desconformidade com a normativa do CNJ e da Lei Geral de Proteção de Dados (LGPD) ilustra bem os perigos envolvidos. O paradoxo se estabelece quando práticas vedadas internamente são aceitas externamente, criando um dualismo incoerente.

Leia também:  Perda de objeto deixa STJ sem tomar decisão sobre ausências em julgamentos

Em face do exposto, manter filtros robustos e transparentes nos sistemas de IA é essencial para proteger contra o uso ilegal e antiético dessas tecnologias na prática forense. A confiança nas análises forenses depende de um equilíbrio (…) de práticas éticas e de segurança no desenvolvimento de IA. Qual é o desafio?

O desafio é desenvolver IA que seja ao mesmo tempo poderosa e transparente, promovendo uma prática forense que respeite tanto a precisão quanto a ética (Rudin, 2019). Ao que tudo indica, a utilização responsável da IA alinha-se melhor com a proteção dos direitos fundamentais e o Devido Processo Legal.

___________________

Referências

Conselho Nacional de Justiça (CNJ). Resoluções 332/2020 e 363/2021.

DOSHI-VELEZ, F.; KIM, B. Towards a Rigorous Science of Interpretable Machine Learning. [ArXiv:1702.08608], 2017. Disponível em: https://arxiv.org/abs/1702.08608. Acesso em: 18 jul. 2024.

FLORIDI, L.; COWLS, J. et al. An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations. Minds and Machines, v. 28, n. 4, p. 689-707, 2018. Disponível em: https://link.springer.com/article/10.1007/s11023-018-9482-5. Acesso em: 18 jul. 2024.

GOODMAN, B.; FLAXMAN, S. European Union Regulations on Algorithmic Decision-Making and a “Right to Explanation”. AI Magazine, v. 38, n. 3, p. 50-57, 2017. Disponível em: https://ojs.aaai.org/index.php/aimagazine/article/view/2741. Acesso em: 18 jul. 2024.

LIPTON, Z. C. The Mythos of Model Interpretability. Communications of the ACM, v. 61, n. 10, p. 36-43, 2018. Disponível em: https://dl.acm.org/doi/10.1145/3233231. Acesso em: 18 jul. 2024.

MITTELSTADT, B. D.; ALLAIRE, J. C.; TSAMADOS, A. The Ethics of Algorithms: Mapping the Debate. Big Data & Society, v. 3, n. 2, p. 2053951716679679, 2016. Disponível em: https://journals.sagepub.com/doi/full/10.1177/2053951716679679. Acesso em: 18 jul. 2024.

PEIXOTO, Fabiano Hartmann. “Referenciais Básicos”.

Leia também:  Direito Administrativo da organização e as relações organizativas

RUDIN, C. Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead. Nature Machine Intelligence, v. 1, n. 5, p. 206-215, 2019. Disponível em: https://www.nature.com/articles/s42256-019-0048-x. Acesso em: 18 jul. 2024.

RUSSELL, S.; NORVIG, P. Artificial Intelligence: A Modern Approach. 3. ed. Upper Saddle River: Prentice Hall, 2016.

BIERRNEBACH, Juliana. Manto da Invisibilidade. Consultor Jurídico, 2021. Disponível em: https://www.conjur.com.br/2022-jan-07/limite-penal-manto-invisibilidade-uso-ia-processo-penal.

O post Blackbox e manipulação de sistemas de IA na prática forense apareceu primeiro em Consultor Jurídico.