Fonte: Migalhas

 

Nota técnica orientou tribunais a prevenir comandos ocultos capazes de interferir em ferramentas usadas no Judiciário.

 

O CNJ aprovou nota técnica para orientar tribunais sobre riscos de manipulação de sistemas de inteligência artificial no Judiciário.

 

O texto trata de medidas para prevenir, detectar e responder a ataques conhecidos como prompt injection, nos quais comandos ocultos podem interferir no funcionamento de ferramentas usadas para analisar documentos, metadados e outras informações processuais.

 

Comandos ocultos em peças processuais

 

O procedimento foi instaurado de ofício para submeter ao plenário a Manifestação Técnica CNIAJ 1/2026, aprovada pelo Comitê Nacional de Inteligência Artificial do Poder Judiciário. O estudo trata do Proseg-IA - Programa de Segurança Adversarial para Sistemas de Inteligência Artificial do Poder Judiciário Brasileiro, voltado ao enfrentamento de vulnerabilidades associadas a ataques de prompt injection.

 

O documento serviu de base para a criação de diretrizes voltadas à prevenção e mitigação dessas vulnerabilidades, que consistem na inserção de comandos ocultos capazes de influenciar o comportamento de sistemas de IA.

 

Instruções invisíveis nos documentos

 

Segundo o voto do conselheiro Rodrigo Badaró, relator do caso, o problema ganhou relevância com a expansão do uso dessas ferramentas pelos tribunais. Isso porque muitos sistemas processam petições, anexos, metadados, bases de conhecimento e textos extraídos de documentos digitalizados, abrindo espaço para tentativas de manipulação.

 

Ao examinar como esse risco se apresenta no ambiente judicial, o relator apontou que documentos aparentemente comuns podem conter instruções voltadas não ao leitor humano, mas ao sistema que processará aquele conteúdo.

 

“Em tal cenário, conteúdos aparentemente ordinários como simples petições podem funcionar como vetores adversariais, caso contenham instruções ocultas destinadas a alterar o comportamento do sistema.”

 

O voto menciona exemplos como textos invisíveis inseridos em petições, metadados adversariais em arquivos PDF, envenenamento de bases de recuperação de dados, manipulação de laudos e comandos embutidos em links.

 

O documento também cita episódios recentes envolvendo o tema. Entre eles, a identificação de comandos ocultos pelo sistema Galileu, do TRT da 8ª região, em uma petição apresentada em processo que tramitava na 3ª vara do Trabalho de Parauapebas/PA, além de casos semelhantes detectados pelo STJ.

 

Governança e supervisão humana

 

Ao justificar a adoção das diretrizes, o conselheiro destacou que a iniciativa não pretende restringir o uso da tecnologia, mas estabelecer parâmetros para sua utilização.

 

“A Nota Técnica, nesse sentido, não se opõe à inovação; ao contrário, busca criar condições institucionais para que a inovação tecnológica se desenvolva em ambiente seguro, sempre orientado pela estrita observância dos direitos fundamentais dos jurisdicionados.”

 

O conselheiro também observou que a efetividade da supervisão humana depende da existência de mecanismos que permitam identificar, isolar e documentar eventuais tentativas de interferência nos sistemas.

 

“Esses registros recentes também demonstram que a mitigação do risco não se esgota na afirmação formal de que a decisão judicial permanece humana.”

 

Por isso, a nota técnica recomenda que documentos processuais, anexos, metadados, conteúdos extraídos de documentos digitalizados e bases externas sejam tratados como dados potencialmente não confiáveis.

 

O texto também propõe mecanismos de ingestão segura de documentos, segregação de conteúdos suspeitos, filtragem de saída, rastreabilidade, registros auditáveis, capacitação de magistrados e servidores e protocolos de resposta a incidentes.

 

Além disso, o CNJ orienta que sistemas de sumarização, classificação, triagem e pesquisa assistida não produzam respostas com aparência de decisão judicial, evitando manifestações que possam ser confundidas com atos jurisdicionais.

 

Ao final, o plenário aprovou a nota técnica e determinou sua ampla divulgação aos tribunais, além do envio aos órgãos técnicos competentes para adoção das providências administrativas necessárias.

 

Processo: 0004183-33.2026.2.00.0000

 

Confira a decisão.

 

Link da matéria