Detección de manipulación en sistema judicial
El Galileu, herramienta de inteligencia artificial desarrollada por el Tribunal Regional del Trabajo de la 4ª Región (TRT-RS) y nacionalizada por el Consejo Superior de la Justicia del Trabajo (CSJT), identificó una tentativa de manipulación en petición inicial de proceso juzgado por el 3º Juzgado del Trabajo de Parauapebas (PA). El caso es tratado en sentencia dictada este miércoles (12/5) por el juez Luiz Carlos de Araújo Santos Junior.
Al procesar el documento, el Galileu detectó fragmentos ocultos con instrucciones dirigidas a la propia inteligencia artificial. El contenido orientaba al sistema a contestar la petición de forma superficial y a no impugnar los documentos, independientemente del comando que recibiera. La técnica es conocida como inyección de prompt (del inglés prompt injection). Ante la detección, el sistema emitió alerta al usuario, destacado, con la identificación técnica de la ocurrencia. Además, impidió que el contenido insertado de forma maliciosa fuera procesado por la herramienta.
Relato técnico y decisión judicial
El Galileu se limitó a relatar el hecho técnico, sin calificar la conducta ni proponer encaminamiento procesal. El magistrado no decidió apenas con base en la alerta: examinó el contenido señalado por el sistema antes de adoptar cualquier providencia. Solo tras esa verificación humana, el juez evaluó la situación, decidió sobre eventuales consecuencias y fundamentó su decisión, en consonancia con la exigencia de revisión humana en el uso de inteligencia artificial por el Poder Judicial.
Conforme la secretaria general de tecnología e innovación del TRT-RS, Natacha Moraes de Oliveira, el caso muestra la importancia de, al utilizar inteligencia artificial, el usuario dar preferencia a herramientas institucionales que toman todos los cuidados, como hizo el Galileu. "El control de ese tipo de ataque, como inyección de comandos o hasta mismo de datos, en la tentativa de manipular el resultado generado por herramientas de IA, no es tan trivial de ser realizado. Exige la aplicación de técnicas especializadas para ser identificadas", destaca Natacha.
Seguridad por diseño
El comportamiento del Galileu (identificar la anomalía, alertar al usuario y preservar la decisión humana) está en conformidad con las principales directrices técnicas internacionales sobre seguridad en sistemas de inteligencia artificial, que recomiendan exactamente esa combinación de medidas ante tentativas de inyección de prompt (OWASP LLM01; NIST AI 600-1 MS-2.7-007/MS-4.2-001; NCSC/CISA §1; MITRE ATLAS AML.T0051).
El uso del Galileu observa la Resolución nº 615/2025 del Consejo Nacional de Justicia (CNJ), que disciplina el empleo de inteligencia artificial por el Poder Judicial con base en principios como supervisión humana efectiva, seguridad de la información, transparencia y respeto a los derechos fundamentales.