El documento de política nacional destinado a dar forma al enfoque de Sudáfrica hacia la inteligencia artificial (IA) puede haber sido víctima de uno de sus escollos más ampliamente conocidos.

News24 puede revelar en exclusiva que algunos de los artículos de revistas académicas citados en el Borrador de Política Nacional de IA son completamente ficticios. La explicación más probable de cómo ocurrió esto, irónicamente, es que una herramienta de IA los alucinó.

A principios de este mes, el ministro de Comunicaciones y Tecnologías Digitales, Solly Malatsi, publicó el borrador de política en la Gaceta Gubernamental para comentarios públicos. El documento establece que su propósito es establecer prioridades y normas nacionales para la IA, y reconocer "dinámicas específicas del sector".

El borrador de política propone crear una serie de nuevas instituciones para regular la IA. Esto incluye un Consejo de Ética de IA, un Instituto de Seguridad de IA y un Superfondo de Seguros de IA responsable de compensar a personas o entidades "dañadas por resultados impulsados por IA".

News24 revisó las 67 referencias citadas al final del borrador de política. Varias de ellas citaban una revista académica que no existe o un artículo que no aparece en una revista establecida.

Cinco ejemplos de referencias falsas

Babatunde, O., & Mnguni, P. (2023). "Challenges and Opportunities in Regulating AI: Perspectives from South Africa." AI Policy Journal, 2(3), 143-156.

  • News24 no puede encontrar evidencia de que el AI Policy Journal exista. Ningún artículo de revista académica con ese título aparece en ninguna revista importante.

Burman, A., & Sewpersadh, K. (2022). "Legal Frameworks for AI in South Africa: Balancing Innovation and Accountability." South African Journal of Philosophy, 41(2), 207-217.

  • El South African Journal of Philosophy (SAJP) sí existe. Sin embargo, su editor gerente, Dominic Griffiths, dijo a News24 que "ningún artículo de ese tipo fue publicado por nuestra revista". Griffiths dijo que nadie con el apellido "Burman" había publicado nunca en el SAJP. "La referencia es definitivamente una alucinación de IA", dijo.

Karr, V., & Smith, L. (2023). "Digital Rights and AI Governance in Africa." Journal of African Law, 67(1), 95--108.

Cavaliere, F., McGregor, R., & Hersh, M. (2022). "Artificial Intelligence and Ethics in Emerging Economies: The Case of South Africa." AI & Society, 37(4), 565-583.

  • Karamjit Gill, el editor en jefe de AI & Society, dijo que "no puede localizar la publicación de este artículo" en la revista. News24 tampoco pudo encontrar el artículo en Google Scholar.

Smith, M., & Mahomed, R. (2021). "The Impact of AI on Social Justice in South Africa." Journal of Ethics and Social Philosophy, 18(3), 313-329.

  • Louise Simpson, la editora gerente del Journal of Ethics and Social Philosophy (JESP), confirmó que el artículo no existe. "Puedo confirmar que JESP no ha publicado un artículo con ese título o por esa combinación de autores en ese, o cualquier otro número", dijo.

Algunas de las fuentes en la lista eran presentaciones como parte de la investigación del gobierno, o no pretendían ser artículos de revistas académicas.

News24 no pudo verificar más allá de toda duda exactamente cuántas referencias en la lista eran ficticias, pero al menos seis fueron inventadas.

El autor e historiador económico sudafricano de la Universidad de Stellenbosch, Johan Fourie, ayudó a verificar las referencias.

"Hice dos cosas: verifiqué tres citas yo mismo. También concluí que no existen. Luego las probé con una herramienta de IA, y también concluyó que las tres 'no se encontraron en bases de datos académicas comunes'", dijo Fourie.

"En resumen, fueron inventadas".

News24 se puso en contacto con el Departamento de Comunicaciones y Tecnologías Digitales para aclarar si había usado una herramienta de IA para redactar el cuerpo o las citas del Borrador de Política Nacional de IA, o ambos. También pedimos al departamento que proporcionara evidencia de que los artículos de revista existían.

El departamento indicó que estaba revisando la lista de referencias para asegurar la precisión, incluyendo cómo pudieron haber ocurrido las "discrepancias menores de referenciación".

El departamento también indicó que inició el proceso del borrador de política en 2024, y el documento había pasado por muchas iteraciones. Dijo que incorporó investigación, aporte de expertos y compromisos de la industria.

El departamento dijo que necesitaba tiempo para establecer de dónde vinieron las discrepancias, pero minimizó su importancia.

"Podemos confirmar que estos asuntos técnicos de referenciación no afectan la sustancia, integridad o dirección política del Marco de Política Nacional de IA Borrador", dijo.

Irresponsable

Anné Verhoef, director del Centro de IA de la Universidad del Noroeste y profesor de filosofía, dijo que el texto de IA a menudo incluye fuentes y referencias fabricadas.

"Esto ocurre porque las aplicaciones de IA están programadas para siempre proporcionar una respuesta. Como herramientas de predicción basadas en modelos de lenguaje grandes, anticipan qué fuentes y citas harían que un texto parezca creíble, autoritativo y científico", dijo.

Verhoef dijo que incluir fuentes ficticias en trabajo académico y de investigación es "indicativo del uso irresponsable de IA".

"Instancias como el Borrador de Política Nacional de IA que contiene citas y fuentes inexactas, creadas sin divulgación de participación de IA, reflejan posible uso no ético e irresponsable de IA", dijo Verhoef.

Fourie dijo que las alucinaciones de modelos de IA no eran sorprendentes, pero era sorprendente que pareciera no haber supervisión.

"Estas herramientas son poderosas. Las empresas, académicos y gobiernos ya las usan. Su valor, sin embargo, depende de una estrecha supervisión humana.

"Referencias fabricadas de este tipo sugieren que la herramienta no se usó con suficiente cuidado. La consecuencia, lamentable pero comprensible, es que las dudas ahora se extenderán más allá del error mismo a la credibilidad de todo el documento", agregó Fourie.

- Con Katharina Moser