Sistemas de gestión procesal, inteligencia artificial generativa y justicia orientada al dato: retos y desafíos

Procedural Management Systems, Generative Artificial Intelligence and Data Driven Justice: Challenges and Opportunities

Federico Bueno de Mata

Catedrático de Derecho Procesal. Universidad de Salamanca. España

febuma@usal.es 0000-0003-0381-2250

1. Debates jurídicos de partida acerca de la aplicación de inteligencia artificial en la justicia

Nos encontramos en un contexto en el que la inteligencia artificial (IA) no solo evoluciona a un ritmo acelerado, sino que su integración en determinados servicios públicos y privados es cada vez más profunda. De hecho, muchas veces no somos plenamente conscientes de cuán presentes están estas tecnologías en nuestras actividades cotidianas, ya que hemos interiorizado su uso en gran medida apenas sin darnos cuenta. Día tras día, cedemos nuestros datos sin advertirlo, y alimentamos sistemas inteligentes que funcionan de manera imperceptible para nosotros. Este flujo constante de datos es el motor que impulsa el perfeccionamiento de algoritmos y modelos de IA, lo que plantea nuevos desafíos tanto en materia de privacidad como de autonomía individual y que podría afectar también al funcionamiento de determinadas administraciones públicas como puede ser la justicia.

A nivel jurídico, el tema ha ganado notable relevancia en los últimos años, convirtiéndose en una cuestión doctrinal de gran actualidad; casi diríamos, en una especie de tema estrella transversal donde las opiniones son profusas desde muchos ámbitos, con independencia de no contar con conocimientos técnicos especializados, los juristas sí que hemos decidido dar el paso de entender de qué se trata para que el Derecho regule este campo por múltiples razones. En este sentido, uno de los debates más recurrentes e interesantes, y cada vez menos distópicos sobre la IA en el ámbito de la justicia, es si esta tecnología complementará el trabajo de los operadores jurídicos o, en un futuro más lejano, podría incluso llegar a reemplazarlos; (Armenta Deu, 2021). Este último escenario ha generado cierto alarmismo en torno a la idea de que la IA podría «deshumanizar» a lo que entendemos hoy como Justicia en sentido amplio. No obstante, esta preocupación, aunque comprensible, suele estar basada en concepciones excesivas e irreales sobre las capacidades actuales de la tecnología.

Es importante subrayar que el ejercicio, la interpretación y la aplicación del derecho son actividades profundamente humanistas, ligadas a la vez a un fuerte componente ético y contextual que no puede reducirse a simples operaciones matemáticas o algoritmos. Sin embargo, esto no significa que la IA no pueda jugar un papel clave en mejorar la eficiencia del sistema judicial. La incorporación de herramientas de IA podría, por ejemplo, automatizar ciertos trámites rutinarios que actualmente causan dilaciones indebidas sin afectar el fondo de los asuntos judiciales. Asimismo, podrían utilizarse sistemas de IA para asesorar a jueces y abogados en la toma de decisiones, agilizando el procesamiento de grandes volúmenes de información y facilitando la resolución de casos menos complejos. Todo ello nos lleva a un debate candente sobre hasta qué punto estos sistemas permean en el sistema y donde está la línea entre auxilio y sustitución.

Por todo ello, debemos partir de que en lugar de temer una sustitución total de los operadores jurídicos, deberíamos considerar cómo la IA puede complementarlos (Nieva Fenol, 2018). La verdadera cuestión radica en encontrar un equilibrio adecuado que permita a la tecnología optimizar el sistema judicial sin comprometer la esencia humana del derecho. La IA debe ser vista como una herramienta al servicio de la justicia, no como una amenaza a su integridad, y su regulación debe orientarse a garantizar este equilibrio, protegiendo los derechos fundamentales de los ciudadanos frente a posibles abusos tecnológicos.

Además, otro debate jurídico de base que guía cualquier tipo de propuesta futura es que debemos reconocer que estamos trabajando con tecnologías incompletas, ya que estas dependen de datos que rara vez están completamente actualizados. Esto nos lleva a una situación inevitable de sesgo de contenido, al aplicar dichas tecnologías y en las propuestas de decisiones que pueden llegar a sugerir. En otras palabras, actualmente no disponemos de un patrimonio digital judicial completo ni actualizado de manera constante, por lo que las máquinas deciden sin la totalidad de datos vinculadas a decisiones judiciales previas. No todas las sentencias, de todas las instancias y órdenes jurisdiccionales están digitalizadas ni disponibles en las bases de acceso abierto. Asimismo, las resoluciones que se dicten en el futuro, tanto en el corto como en el largo plazo, no se integrarán automáticamente en estos programas, lo que plantea importantes limitaciones a nivel de regulación jurídica.

Otro factor a considerar, e inevitablemente unido a lo anterior, es la fluctuación jurisprudencial en ciertas materias, especialmente cuando la interpretación de una norma cambia a raíz de nuevos contextos sociales o de un cambio en la sensibilidad legal. Estas relecturas no son necesariamente capturadas por los sistemas de IA de manera inmediata, lo que agrava la brecha entre el desarrollo de la tecnología y la realidad judicial. Por tanto, cualquier sistema de IA que se aplique en el ámbito jurídico enfrentará el reto de manejar un conjunto de datos fragmentado y potencialmente desactualizado, lo que aumenta el riesgo de decisiones sesgadas o, directamente, erróneas.

Además de estas limitaciones en los datos, debemos tener en cuenta que, aunque las labores de digitalización y automatización de procedimientos avanzan, la tecnología a día de hoy, finales de 2024, no se ha alcanzado el nivel de madurez necesario para garantizar una aplicación segura y justa en el ámbito judicial y que el mismo se entienda como profundo, es decir, como un verdadero deep learning. Los sistemas actuales no son capaces de comprender el trasfondo contextual y las complejidades humanas que subyacen a la toma de muchas decisiones legales; no indicamos que no se logre en un futuro próximo, pero que no hay una certeza absoluta de que así sea, al igual que tampoco pueden adaptarse con la rapidez suficiente a los cambios en la legislación o a la evolución de los criterios jurisprudenciales. Todo ello parte de que el sistema algorítmico consiste en detectar patrones en los datos que le han sido suministrados y de esa forma entregar un resultado satisfactorio al problema planteado vía un método predictivo basado en correlaciones estadísticas. Es decir, a mayor cantidad de datos electrónicos de los que disponga la máquina, mayor y mejores resultados se van obteniendo ya que el sistema se alimenta de ellos, para la toma de decisiones. La particularidad es que con los nuevos modelos de IA generativa a través de modelos GPT, tal y como veremos, las máquinas aprenden por sí misma (Corvalán, 2023). Si bien, tal y como contextualizaremos a lo largo del presente artículo, este tipo de tecnología se divide en aquella de aprendizaje supervisado, respecto de la de aprendizaje no supervisado, la cual varían principalmente en la interacción humana que es requerida para su desarrollo, siendo la de aprendizaje supervisado en que un ser humano debe entrenar al programa con el objeto de que la máquina obtenga el resultado deseado. Todo ello hace que el debate dependa del desarrollo de este tipo de tecnología que ahora cobra sentido con los sistemas de inteligencia artificial generativa. Pues bien, dichos sistemas ya no son el futuro, sino el presente.

Toda esta situación de base nos lleva a plantearnos si era conveniente o no plantear que la justicia entrara a regular o no la IA. Concretamente, la legislación sobre la IA ha generado un debate importante sobre sus implicaciones éticas y legales en los últimos años, especialmente cuando se trata de proteger derechos fundamentales como la dignidad humana. Esta preocupación podría ilustrarse mediante dos expresiones coloquiales confrontadas que se repetían mucho durante los años noventa cuando se hablaba de regular Internet: «¿quién le pone el cascabel al gato?» y «¿se pueden poner puertas al campo?». Estas preguntas invitan a reflexionar sobre el alcance y la viabilidad de regular una tecnología que avanza a un ritmo vertiginoso. El primer interrogante, «¿quién le pone el cascabel al gato?», nos plantea quién será el encargado de regular eficazmente la IA, mientras que el segundo, «¿se pueden poner puertas al campo?», sugiere que intentar detener o limitar el avance tecnológico podría ser inútil o imposible. Frente a este dilema, se abre la posibilidad de normativizar la situación de manera exhaustiva, o bien optar por una autorregulación del sistema. Sin embargo, creemos sinceramente que la segunda opción podría llegar a ser peligrosa para el sistema judicial, debido a que el avance imparable de algunos sistemas de IA podría favorecer intereses privados empresariales sobre los derechos fundamentales de todos los ciudadanos, teniendo como estandarte además por encima de todos ellos el derecho a la dignidad humana.

Es decir, si no optamos por una regulación adecuada, corremos el riesgo de que los avances tecnológicos superen la capacidad de los sistemas legales para proteger los derechos de los justiciables, poniendo en peligro el propio fundamento de la justicia. En este sentido, Europa fija una posición inicial en diciembre de 2022 tras la presentación en abril de 2021 de un primer borrador sobre el futuro Reglamento de IA, que tuvo que ser revisado en junio de 2023, tras la irrupción en escena de la IA generativa a través de programas como Chat GPT o Bard. En ese momento, asistimos al mismo tiempo a una especie de ensalzamiento del principio de Human in Command, como criterio básico. Es decir, el humano está al mando y es el que tiene el control sobre lo dicho por la máquina; lo que se conectó a su vez con las indicaciones dadas en las Cartas de Derechos Digitales. Entendiéndolo desde otra perspectiva, esto quiere decir que las máquinas, y más en el plano de la justicia, actuarían siempre desde un plano auxiliar pero nunca sustitutivo. Se trata de buscar el equilibrio entre impulsar la innovación y por tanto no frenarla, pero con fiel respeto a los derechos fundamentales de los ciudadanos.

La necesidad de regular el desarrollo de la IA en Europa y en España es cada vez más evidente y urgente (Bueno de Mata, 2022), dado el impacto transformador que esta tecnología tiene en prácticamente todos los sectores, incluido el ámbito judicial. Nos encontramos en un punto de inflexión en el que la regulación de la IA está pasando de ser un tema de debate teórico a una realidad legislativa palpable. La reciente adopción del Reglamento 2024/1689 del Parlamento Europeo y del Consejo, el 13 de junio de 2024, constituye un hito histórico al establecer normas armonizadas para los Estados miembros, buscando una regulación clara y uniforme del uso de la IA en sus diversas aplicaciones. Sin embargo, esta armonización normativa también destaca la complejidad y el potencial riesgo inherente de la IA, especialmente en contextos tan delicados como la administración de justicia.

En el entorno judicial, el desarrollo de programas de legaltech que incorporan IA se está acelerando y promete revolucionar la gestión y tramitación de casos, optimizando el tiempo y los recursos. Aplicaciones como la predicción de sentencias, la automatización de análisis de pruebas y la asistencia en decisiones judiciales, están ganando popularidad en sistemas legales de diversos países. Sin embargo, junto con estos beneficios surgen desafíos éticos y de responsabilidad que requieren una regulación cuidadosamente diseñada. La implementación de IA en la función jurisdiccional plantea interrogantes profundas sobre el equilibrio entre eficiencia y humanidad en la justicia, así como sobre la protección de derechos fundamentales, especialmente la dignidad humana y el derecho a un juicio justo.

Durante los últimos cinco años, hemos sido testigos de un flujo constante de normas y recomendaciones, guías de buenas prácticas, directrices y principios éticos provenientes de organismos nacionales e internacionales que buscan encauzar el desarrollo responsable de la IA. Esta proliferación de «soft law», aunque bien intencionada, ha llevado a una sobrecarga pseudonormativa. La hiperregulación, en lugar de proporcionar claridad, ha generado confusión e inseguridad jurídica al inundar a los operadores jurídicos con un volumen abrumador de reglas y principios no vinculantes que, en ocasiones, generan más preguntas que respuestas. El Reglamento de 2024 representa, en este sentido, un avance significativo hacia una estructura más coherente y vinculante, pero no es el final del camino.

Una cuestión que requiere especial atención en relación con estos programas de legaltech es la capacidad de la IA para influir en la autonomía de los jueces. La implementación de algoritmos en la administración de justicia, si bien podría mejorar la eficiencia y reducir el sesgo humano, también podría introducir sesgos algorítmicos difíciles de detectar, que comprometan la imparcialidad. La dependencia de la IA en la predicción de decisiones judiciales, por ejemplo, plantea el riesgo de que los jueces se sientan condicionados por recomendaciones generadas algorítmicamente, lo que pondría en jaque la autonomía de la función jurisdiccional hacia una «justicia algorítmica» (Barona Vilar, 2021) . Además, los riesgos de los sesgos algorítmicos y la opacidad de los sistemas de IA plantean dudas sobre cómo estos factores pueden afectar a la percepción pública de imparcialidad en los tribunales. La transparencia en el diseño y funcionamiento de los sistemas de IA será fundamental para mantener la confianza del público en la administración de justicia. Es por ello que cualquier iniciativa legal debe ir acompañada de principios estrictos de transparencia, explicabilidad y responsabilidad, que aseguren que las decisiones respaldadas por IA sean comprensibles y auditables.

Por otro lado, la complejidad y el rápido desarrollo de la IA en el sector legal requieren una regulación que pueda adaptarse a los constantes avances de la tecnología sin comprometer la seguridad jurídica, por lo que el equilibrio entre estos dos objetivos es francamente complicado pero no imposible. Este desafío nos lleva a cuestionar en qué medida la IA puede o debe integrarse en la administración de justicia sin desvirtuar la esencia misma de la función jurisdiccional. Así, pensamos que el nuevo Reglamento de 2024, que realmente entrará en vigor en su totalidad en agosto de 2026, es solo el primer paso en la creación de un marco legal robusto y adaptativo que permita la innovación en el uso de la IA en la justicia, pero que también mantenga inquebrantables los valores fundamentales y los derechos humanos[1].

En los siguientes epígrafes, nos proponemos analizar el impacto del RIA sobre los futuros programas de legaltech en el ámbito judicial, enfocándonos en cómo este marco normativo influirá en la gestión procesal, y por ende, en el proceso en sí. A lo largo del análisis, comentaremos los puntos más controvertidos y relevantes del reglamento, destacando aquellos que podrían transformar la forma en que entendemos la administración de justicia y que pueden llegar a tener impacto sobre principios y garantías procesales, e incluso de manera más amplia, sobre lo que hoy conocemos como debido proceso.

2. Los sistemas de gestión procesal ante la IA generativa y la justicia orientada al dato

2.1. Sistemas de gestión procesal informatizada e inteligencia artificial generativa

En el contexto de la rápida evolución de las herramientas de inteligencia artificial generativa, particularmente en el sector de LegalTech y la gestión procesal informatizada, se está produciendo un cambio fundamental en cómo la tecnología puede asistir en la creación y el análisis de contenido judicial. Los avances en IA generativa, sustentados en redes neuronales avanzadas y grandes modelos de lenguaje (LLM, por sus siglas en inglés), permiten la creación de contenido original a partir de extensas bases de datos, al tiempo que logran análisis más profundos y detallados que identifican patrones complejos y relaciones en los datos. Estas técnicas se están convirtiendo ya en un recurso valioso en los sistemas de gestión procesal, pues mejoran la eficiencia en el tratamiento de documentos y la resolución de procedimientos legales (Granieri, 2021).

Las modelos Transformadores Generativos Preentrenados (GPT), conocidos como modelos GPT, diseñados para la generación de texto, permiten una automatización avanzada en la redacción de documentos legales, resúmenes de casos y análisis de contratos, entre otros (Corvalán, 2023). Un ejemplo destacado de esta tecnología y mundialmente conocido es ChatGPT, que no solo permite automatizar tareas legales de carácter repetitivo, sino que también puede colaborar en procesos más complejos, como la generación de informes, la extracción y clasificación de información relevante en grandes volúmenes de documentos, y el análisis de cláusulas contractuales. ChatGPT y otros LLMs son capaces de responder a consultas procesales complejas, realizar recomendaciones basadas en patrones previos y asistir en la resolución de casos. Sin embargo, a pesar de su capacidad para procesar datos textuales a gran escala, estos modelos aún carecen de una comprensión semántica profunda, lo que limita su aplicación en decisiones judiciales autónomas (Fernández Fernández, 2023).

En este sentido, la implementación de IA generativa en el sector legal ha avanzado tanto que creemos que no podríamos considerarla únicamente como una herramienta auxiliar; la línea entre apoyo y sustitución en el trabajo jurídico es cada vez más delgada. Aunque la exactitud y trazabilidad de los resultados generados por IA continúan siendo aspectos controvertidos, la supervisión humana sigue siendo fundamental en el ámbito judicial para garantizar la calidad y precisión en las resoluciones; no obstante, las ventajas en términos de velocidad y precisión que ofrece la IA generativa han revolucionado el procesamiento de documentos, la clasificación y ordenación de archivos judiciales, así como la identificación de términos clave y jurisprudencia relevante. Actualmente, estos sistemas no solo optimizan el acceso a la información, sino que también logran analizar el contexto de cada caso, aportando respuestas ágiles y efectivas que antes requerían semanas de trabajo humano. Por otro lado, en la creación de modelos predictivos, la IA generativa ha demostrado una capacidad significativa para anticipar posibles resultados legales a partir del análisis de datos históricos y jurisprudenciales, lo que permite prever las tendencias en sentencias y facilitar la preparación de estrategias legales. La creciente precisión de estos modelos genera una inquietud razonable: si bien la supervisión humana continúa siendo necesaria, la sofisticación y exactitud de la IA generan un nuevo desafío en el sector legal, donde el apoyo de la tecnología se acerca cada vez más a un nivel de autonomía capaz de competir con la intervención humana en ciertos aspectos de la toma de decisiones.

La implementación de IA generativa en la gestión procesal informatizada enfrenta múltiples desafíos y riesgos significativos que deben ser cuidadosamente considerados para garantizar su confiabilidad y seguridad en el ámbito judicial. Uno de los problemas más conocidos es el fenómeno de la «alucinación algorítmica» donde el sistema de IA genera información incorrecta o ficticia debido a una comprensión incompleta o errónea del contexto de los datos[2]. Este fenómeno, especialmente problemático en un entorno legal, puede llevar a que el sistema emita recomendaciones o respuestas que, aunque aparenten ser precisas, son realmente incorrectas.

En cuanto a la evolución futura de la IA generativa en el ámbito de la gestión procesal, la verdad que es difícil de predecir, pero todo indica que podría dar lugar a sistemas cada vez más integrados y adaptativos, capaces de aprender y ajustarse continuamente en función de cada conflicto jurídico, perfeccionando así su precisión y efectividad a través de análisis de datos aún más profundos y complejos, apoyando en la toma de decisiones judiciales pero defendemos que siempre bajo la supervisión y responsabilidad humana. Sin embargo, esto no será incompatible con reconsiderar algunos conceptos jurídicos fundamentales que vaticinamos irán desde el propio concepto de función jurisdiccional o las garantías del debido proceso.

Conectado con esta cuestión de la IA generativa surge el concepto de «justicia orientada al dato», un enfoque que pone el análisis y la interpretación y explotación de datos en el centro del proceso y cuyo procesamiento y análisis masivo permitirá avanzar hacia un modelo de justicia digitalmente eficiente, de ahí que analicemos este tema a continuación.

2.2. Sistemas de gestión procesal y justicia orientada al dato: del Real Decreto-ley 6/2023 al Reglamento de Inteligencia Artificial de 2024

La relación entre legaltech y los sistemas de gestión procesal informatizada es una conexión que ha evolucionado durante más de una década, tanto a nivel europeo como iberoamericano. En este sentido, a nivel europeo la idea de un sistema de e-Justicia puede rastrearse hasta el programa «Lexecute» en Alemania, basado en el proceso «Mahnverfahren» de cobro monitorio, al que luego se sumaron iniciativas de informatización y automatización completa en países como Suecia, Finlandia o Estonia, marcaron la configuración de los principios del Plan de Acción e-Justicia europeo y a nivel nacional con el desarrollo de la Ley 18/2011, de 5 de julio, reguladora del uso de las tecnologías de la información y la comunicación en la Administración de Justicia[3], y más recientemente con el Real Decreto-ley 6/2023, de 19 de diciembre, por el que se aprueban medidas urgentes para la ejecución del Plan de Recuperación, Transformación y Resiliencia en materia de servicio público de justicia, función pública, régimen local y mecenazgo.

De igual modo, en Iberoamérica, iniciativas pioneras con diversos programas como Prometea en Argentina, Pretoria en Colombia y Calixto en Brasil han abierto nuevas vías para la implementación de tecnologías de inteligencia artificial en la gestión judicial y procesal a través del auxilio en determinadas tareas como la redacción de escritos procesales y generar borradores de decisiones judiciales en tiempo récord, en el caso de argentina, analizar grandes conjuntos de datos para detectar posibles irregularidades en procesos de contratación y licitación pública en el caso colombiano, o avanzar hacia la predicción de sentencias y en el estudio de posibles resultados con base en datos históricos de resoluciones previas en el modelo brasileño.

Estos ejemplos de IA en Iberoamérica y Europa muestran un cambio significativo hacia un paradigma de justicia cada vez más automatizada, en el cual legaltech y las herramientas de IA no solo aceleran y optimizan los procedimientos judiciales, sino que también pueden transformar la manera en que se interpretan y aplican las leyes a través e lo que se ha conocido como la «justicia orientada al dato». Este nuevo modelo representa un cambio en el enfoque tradicional del sistema judicial hacia uno en el que los datos y la IA desempeñan un papel crucial en la toma de decisiones. En este contexto, el uso de legaltech y herramientas de IA en Iberoamérica y Europa no solo valdría para mejorar la eficiencia de los procedimientos judiciales, sino que también conllevaría desde nuestro punto de vista un trastoque en cómo hoy conocemos los sistemas de fuentes auxiliares, como es el caso de la jurisprudencia puesto que al analizar grandes volúmenes de datos provenientes de casos previos, antecedentes judiciales, y normativas, los sistemas de IA pueden identificar patrones y ofrecer recomendaciones que optimizan el proceso de resolución de conflictos.

Este modelo de justicia orientada al dato utiliza algoritmos para procesar grandes cantidades de información de manera precisa y rápida, reduciendo los tiempos de espera y mejorando la precisión en la toma de decisiones. Además, dichos datos permiten desarrollar modelos predictivos que podrían incluso a anticipar el riesgo de reincidencia o, quién sabe, ser capaces de identificar posibles prejuicios en las decisiones judiciales; lo que podría hacer tambalear ciertas garantías judiciales vinculadas a la independencia de la jurisdicción en sentido amplio. Ahora bien, podríamos justamente verlo en el lado contrario, que fuese concretamente esa capacidad de los sistemas de IA para identificar patrones a partir de datos es crucial las que justamente ayudaran a mitigar el sesgo, ya que estos sistemas pueden ayudar a detectar inconsistencias o favoritismos en la aplicación de las leyes, promoviendo una justicia más imparcial.

Pues bien, antes de que el RIA entre en vigor en agosto de 2026, a nivel nacional el Real Decreto-ley 6/2023, de 19 de diciembre, ofrece un espacio para reflexionar y definir cómo implementar la IA en el ámbito judicial de forma ética y efectiva, contribuyendo potencialmente a un sistema más justo y equitativo.

En esre sentido, el principio general de orientación al dato, derivado como principio básico del Real Decreto-ley 6/2023, de 19 de diciembre, establece que los datos constituyen un recurso esencial y estratégico en las políticas públicas modernas. Su adecuada gestión permite avanzar hacia una administración más eficiente, innovadora y fundamentada en la evidencia, maximizando su impacto positivo en la sociedad. Este principio implica que los datos deben ser tratados como activos de alto valor, promoviendo su uso, reutilización y análisis de manera segura, ética y eficiente. Así, su gestión posibilita la interoperabilidad de sistemas, eliminando barreras tecnológicas y administrativas para el intercambio fluido de información, y fomenta la transformación digital mediante la tramitación electrónica, optimizando recursos y tiempos. Además, facilita la búsqueda, análisis y procesamiento de datos para identificar patrones, predecir tendencias y respaldar decisiones fundamentadas. La anonimización y seudonimización son claves para garantizar la privacidad, permitiendo que los datos sensibles se utilicen de forma segura sin comprometer la identidad de las personas. También se promueve la elaboración de cuadros de mando y la visualización de información para evaluar y optimizar políticas públicas, la digitalización de documentos para conservar y reutilizar información de forma eficiente, y la publicación en portales de datos abiertos como herramienta de transparencia, rendición de cuentas y fomento de innovación externa.

Asimismo, el principio impulsa la automatización, asistencia y proactividad en la prestación de servicios, además del uso de inteligencia artificial para diseñar y evaluar políticas públicas mediante modelos predictivos y simulaciones, lo que a su vez impacta directamente en los sistemas de gestión procesal informatizada.

Podemos decir que se realiza una apuesta clara y decisiva por el empleo racional y estratégico de los datos como motor de transformación en el ámbito de la Justicia. Este enfoque tiene como objetivo proporcionar certidumbre al servicio de la planificación, la toma de decisiones y la elaboración de estrategias que coadyuven a una actividad procesal más eficaz, equitativa y centrada en las necesidades reales de la ciudadanía.

Pero no solo se quedará en la mejora puramente administrativa a nivel judicial, sino que toda la ciudadanía se verá favorecida mediante la adopción del concepto de «dato abierto» en la Administración de Justicia, un enfoque que fomenta la transparencia, la rendición de cuentas y el acceso a la información. Esto permitirá a los ciudadanos, empresas e instituciones aprovechar estos datos para generar conocimiento, promover iniciativas y fortalecer la confianza en el sistema judicial.

Si bien, esta cuestión se plantea de manera directa en el art. 35 del RDL, donde sus letras j y k indican: «j) La producción de actuaciones judiciales y procesales automatizadas, asistidas y proactivas, de conformidad con la ley. k) La aplicación de técnicas de inteligencia artificial para los fines anteriores u otros que sirvan de apoyo a la función jurisdiccional, a la tramitación, en su caso, de procedimientos judiciales, y a la definición y ejecución de políticas públicas relativas a la Administración de Justicia».

En este sentido, esta orientación al dato facilitará la implementación de actuaciones automatizadas, asistidas y proactivas, transformando profundamente la forma en que se prestan los servicios judiciales. Las actuaciones automatizadas optimizarán procesos repetitivos, reduciendo tiempos y errores; las asistidas mejorarán la interacción entre la ciudadanía y el sistema judicial, ofreciendo apoyo en tiempo real; y las proactivas permitirán anticiparse a necesidades y problemas, garantizando respuestas más rápidas y personalizadas. Si bien, todas ellas, pero sobre todo las últimas son especialmente polémicas.

En primer lugar, el art. 56 alude a las «actuaciones automatizadas», vinculada a cuestiones procesales que no requieren intervención humana ni interpretación jurídica. Este enfoque representa un avance hacia la modernización y eficiencia del sistema judicial, al posibilitar la automatización de tareas de trámite o resolutorias simples, como el numerado o paginado de expedientes, la remisión de asuntos al archivo, la generación de copias, certificados y libros, la comprobación de representaciones, o la declaración de firmeza según lo dispuesto en la ley.

Si bien, aunque el artículo delimita las actuaciones automatizadas a aquellas de naturaleza simple, en la práctica puede resultar complejo establecer con precisión qué actuaciones cumplen este criterio, especialmente en un contexto de evolución tecnológica donde las capacidades de los sistemas de gestión procesal informatizada tienden a ampliarse. Por ello, la supervisión y gobernanza de los sistemas de gestión procesal exigiría controles internos rigurosos, supervisión humana y auditorías periódicas que evalúen tanto la calidad técnica de los sistemas como su alineación con los principios y garantías procesales. De igual modo, creemos que es fundamental garantizar que los ciudadanos comprendan los procedimientos, la naturaleza de las decisiones automatizadas y los mecanismos disponibles para poder contradecirlas o recurrirlas.

Unido con lo anterior, el tercer punto del art. 56 RDL, regula como un subtipo de decisión automatizad las «actuaciones proactivas», definidas como aquellas iniciadas de manera autónoma por sistemas de información, sin intervención humana, que utilizan datos de expedientes o procedimientos para generar avisos o recomendaciones.

Más polémico es aún lo contenido en el art. 57 RDL, donde se plantea una regulación de lo que denomina como «actuaciones asistidas», en donde su apartado primero se plantea que «Se considera actuación asistida aquella para la que el sistema de información de la Administración de Justicia genera un borrador total o parcial de documento complejo basado en datos, que puede ser producido por algoritmos, y puede constituir fundamento o apoyo de una resolución judicial o procesal». Es decir se reconoce que los algoritmos pueden generar dentro de los sistemas de gestión procesal borradores de documentos judiciales, para después hablar en su punto segundo de manera concreta de un principio de supervisión humana por parte del juez, así se indica que «En ningún caso el borrador documental así generado constituirá por sí una resolución judicial o procesal, sin validación de la autoridad competente», para posteriormente recalcar que necesitará validación del texto por operador jurídico oportuno.

En este sentido, este precepto plantea una interesante, recurrente y compleja cuestión sobre el futuro de la función jurisdiccional tal y como la conocemos hoy en día y la define la Constitución, como tarea exclusiva realizada por jueces y magistrados, y no por máquinas ni IA. Así, existe el riesgo de progresiva deshumanización de la justicia, al ir delegando sin darnos cuenta cada vez más funciones en la IA, puesto que nunca los algoritmos podrían sustituir el juicio y criterio del juzgador, además de que otras garantías aparejadas como la independencia judicial o el sistema de fuentes indirectas como el caso de la jurisprudencia, deberían ser redefinidas. Unido a lo anterior, pensamos que podría calar la peligrosa percepción de que los algoritmos influirían en las decisiones judiciales podría minar la confianza pública en el sistema judicial. Nos encontramos ante un precepto que genera así muchas dudas de constitucionalidad. Todo ello, además cuando estas cuestiones afectan a derechos fundamentales y creemos que deberían haberse desarrollado mediante Ley Orgánica, por lo que pensamos que se ha utilizado una técnica legislativa defectuosa para hablar de actuaciones automatizadas, proactivas o asistidas.

Más allá de las críticas, podemos ver que con este RDL España «rompe el hielo» y deja atrás una pseudo regulación de la IA centrada en soft law: directrices no vinculantes, guías de buenas prácticas y recomendaciones éticas formuladas por organismos nacionales e internacionales. Estos marcos normativos no obligatorios, aunque eran útiles para guiar la implementación de la tecnología y promover el uso responsable de la IA, carecían de fuerza vinculante y de mecanismos de supervisión efectiva, lo que ha permitido que en nuestro país haya existido además una cierta flexibilidad en desarrollo de sistemas de IA que podrían considerarse ilegales en un futuro próximo a través de la entrada en enero de 2025 del RIA respecto a los sistemas prohibidos, al poder afectar a ciertas áreas críticas, como la protección de la dignidad humana y la transparencia en la toma de decisiones automatizadas (Chumbita, 2023). Con todo ello veríamos como el RIA obligaría a reinterpretar o adaptar la norma española.

Con la reciente adopción del RIA estamos ante un cambio fundamental: pasar de meras recomendaciones a un marco regulatorio vinculante y de aplicación directa. A continuación, analizaremos el impacto del RIA sobre los programas de legaltech y los sistemas de gestión procesal informatizada. Este análisis es crucial, ya que el RIA introduce un marco vinculante que busca garantizar el equilibrio entre la innovación tecnológica y la protección de derechos fundamentales, impactando de forma directa en el desarrollo y uso de tecnologías de IA en el ámbito judicial.

Así, podemos decir que el RIA marca un punto de inflexión en el desarrollo y aplicación de sistemas de IA en el ámbito judicial, especialmente bajo el paradigma emergente de justicia orientada al dato. Este marco regulatorio introduce un enfoque innovador de gestión del riesgo que clasifica las aplicaciones de IA en función de su potencial impacto en derechos fundamentales y en la seguridad y transparencia del proceso judicial. Con esta clasificación, el RIA establece categorías de riesgo, desde bajo hasta prohibido inaceptable, que determinan los requisitos específicos de transparencia, seguridad, responsabilidad y trazabilidad que deben cumplir cada tipo de aplicación de IA, especialmente aquellas destinadas a automatizar o apoyar decisiones en el ámbito de la justicia.

En el contexto de legaltech y la justicia orientada al dato, esta regulación es particularmente significativa, ya que busca controlar y regular cómo deben desarrollarse y utilizarse herramientas clave, tales como asistentes de redacción de documentos, sistemas de análisis de datos judiciales y aplicaciones de predicción de sentencias. Estos sistemas son fundamentales para la justicia orientada al dato, ya que emplean grandes volúmenes de información para identificar patrones, generar recomendaciones y optimizar procesos de resolución de conflictos. Sin embargo, dada la naturaleza sensible de las decisiones judiciales, el RIA establece un régimen de cumplimiento robusto que impone salvaguardias fundamentales con el fin de respetar la dignidad humana, la independencia judicial, y aseguran una toma de decisiones transparente y rastreable que pueda prevenir y mitigar los riesgos de sesgos algorítmicos. El RIA aborda esta cuestión al exigir una supervisión y auditoría constante de los algoritmos utilizados, asegurando que la automatización no comprometa la equidad ni la transparencia del sistema judicial.

De este modo, podemos decir que el RIA redefine los límites de la automatización en el sistema judicial, introduciendo normas estrictas que condicionan el diseño, implementación y mantenimiento de estas tecnologías. A través de la incorporación de requisitos de transparencia, los operadores de justicia estarán mejor informados sobre el funcionamiento de las herramientas de IA, comprendiendo sus limitaciones y potenciales riesgos. Con la trazabilidad exigida, cada fase del proceso judicial automatizado debe ser documentada y verificable, garantizando así que las decisiones se tomen de acuerdo con los principios de justicia y equidad.

Si bien, antes de entrar en detalle sobre el impacto del RIA en el ámbito de la legaltech, es necesario establecer una distinción fundamental en la que la doctrina no se detiene suficientemente, pero que resulta crucial para entender la regulación del riesgo en estas tecnologías: los sistemas de IA de alto riesgo estarán sujetos a una serie de obligaciones más estrictas que aquellos considerados de bajo riesgo. La clasificación del riesgo en las aplicaciones de legaltech depende en gran medida del contexto y de quién utiliza la tecnología, ya que el impacto de las decisiones que involucran IA varía considerablemente entre operadores jurídicos, como jueces y magistrados, y otros actores del sistema, como los abogados. En este sentido, el RIA clasificaría las aplicaciones de legaltech en sistemas de gestión procesal en manos de jueces y magistrados como de alto riesgo, mientras que los programas empleados por abogados para la redacción de escritos se considerarían de bajo riesgo. Esta diferencia obedece a las consecuencias y el nivel de influencia que cada rol tiene en el proceso y en la toma de decisiones que afectan directamente los derechos de las personas.

En el caso de la legaltech aplicada por jueces y magistrados en la gestión procesal, los sistemas de IA pueden tener un impacto directo en la resolución de un caso, la toma de decisiones judiciales, y, en última instancia, en los derechos y libertades de las personas involucradas. Esta tecnología incluye aplicaciones de predicción de sentencias, sistemas de análisis de riesgos, o herramientas que sugieren soluciones basadas en patrones extraídos de datos históricos de casos judiciales previos. Dado que estas herramientas operan en el núcleo mismo de la decisión judicial, su uso implica riesgos significativos para la independencia judicial, la equidad y la imparcialidad. La clasificación como de alto riesgo responde a la posibilidad de que estos sistemas puedan influenciar la decisión de un juez de forma inadvertida, ya sea reproduciendo sesgos presentes en los datos de entrenamiento o priorizando patrones históricos que no necesariamente reflejan principios de justicia actuales. Además, el acceso de estos sistemas a bases de datos judiciales extensas incrementa el riesgo de sesgos sistémicos, lo que podría impactar de forma duradera en la jurisprudencia y en la administración de justicia. Para mitigar estos riesgos, el RIA exige niveles elevados de transparencia, trazabilidad y supervisión en estos sistemas, a fin de evitar que la IA sustituya la valoración humana en la interpretación de la ley y la determinación de los hechos judiciales.

Por el contrario, las aplicaciones de legaltech usadas por abogados para la redacción de escritos procesales y la preparación de documentos legales se consideran, generalmente, de bajo riesgo. Si bien estas herramientas pueden influir en la estrategia legal y mejorar la eficiencia de los abogados, su uso no afecta directamente la toma de decisiones judiciales ni impacta de manera inmediata en los derechos fundamentales, pues las mismas solo valen para auxiliar en tareas administrativas de despacho como la organización de información, la redacción de documentos o la búsqueda de jurisprudencia relevante, pero no implican una decisión final que afecte a las partes en un proceso y la IA condicione por tanto el ejercicio de la función jurisdiccional en si misma. Además, los abogados tienen un margen de control y supervisión sobre el producto final generado por la herramienta, y son responsables de revisar y validar la información antes de presentarla ante cualquier órgano jurisdiccional, por lo que esto estaría conectando no con el ejercicio de una función pública, sino con el desarrollo privado de un trabajo en defensa de un particular y en pro del desarrollo de una determinada estrategia procesal.

Podemos decir así que únicamente estaría dentro del alto riesgo los programas de legaltech y los sistemas de gestión procesal informatizada que emplearía IA para automatizar y optimizar decisiones o gestiones que impactan en derechos procesales fundamentales, como el acceso a la justicia y de manera más general, en la tutela judicial efectiva (Martín Diz, 2019). Por esta razón, es fundamental detenernos a analizar en detalle el impacto del RIA en este tipo de programas.

3. Principales incidencias del RIA sobre los programas de gestión procesal informatizada

3.1. La importancia en el tratamiento de los datos y nivel de riesgo

Para entender cómo el RIA incide en la justicia orientada al dato y en los programas de gestión procesal automatizada, es crucial comenzar analizando sus disposiciones y las nuevas exigencias para los sistemas de IA en la administración de justicia–. En este sentido, es fundamental distinguir entre los distintos programas de legaltech, particularmente en lo que se refiere a los sistemas de gestión procesal. Nos enfrentamos a un panorama donde algunos sistemas automatizan tareas específicas, mientras que otros generan propuestas y orientaciones que pueden influir en la toma de decisiones judiciales. El RIA define un sistema de inteligencia artificial de manera diferenciada con respecto a los sistemas de software tradicionales, enfatizando su capacidad de autoaprendizaje y adaptación en función de los patrones extraídos de los datos. Esta distinción es crucial en la administración de justicia, ya que permite identificar la naturaleza de los sistemas empleados.

Un software que simplemente aplica reglas predefinidas, como un sistema de gestión procesal que automatiza trámites sin capacidad de adaptación, no se clasifica como de alto riesgo. En contraste, aquellos sistemas de IA que pueden adaptarse y tomar decisiones informadas basadas en datos judiciales, como las plataformas de predicción de sentencias, sí deben cumplir con los estándares rigurosos establecidos por el RIA. Estos estándares incluyen requisitos de calidad de los datos, transparencia en el funcionamiento del sistema y supervisión continua, con el fin de mitigar los riesgos asociados con la toma de decisiones automatizadas que pueden afectar derechos fundamentales. Es crucial que los operadores judiciales comprendan la diferencia entre estos tipos de sistemas para evaluar adecuadamente su implicación en el proceso.

En este sentido, el RIA establece una regulación exhaustiva, especialmente en su Capítulo III, que detalla las obligaciones específicas para los sistemas considerados de alto riesgo, que serán concretamente en los que nos centremos Dado el potencial de estas tecnologías para influir en decisiones judiciales y, por ende, en derechos fundamentales, el RIA introduce requisitos para asegurar que la IA en el ámbito judicial opere con transparencia, responsabilidad y seguridad, lo que a su vez conecta con el tratamiento propio de los datos que «alimentan» estos programas.

La importancia de los datos como base de los sistemas de gestión procesal informatizada es central para el funcionamiento eficaz de una justicia orientada al dato. En este contexto, las disposiciones del RIA imponen obligaciones específicas para los sistemas de alto riesgo, como aquellos empleados en la administración de justicia, asegurando que la automatización respete los principios de equidad y legalidad. En primer lugar, la calidad de los datos es esencial. Los datos de entrenamiento y prueba deben ser exhaustivos y libres de sesgos para evitar errores o discriminaciones que comprometan la igualdad ante la ley. Dado que el núcleo de la justicia orientada al dato depende de la capacidad de estos sistemas para identificar patrones en grandes volúmenes de datos, el cumplimiento de este requisito permite que los modelos de IA empleados en la administración de justicia reflejen la realidad de manera precisa y justa, para tratar de asegurar que las decisiones basadas en estos datos sean equitativas y motivadas. En este contexto, no se trata de que una máquina revele su código fuente, ya que esto podría comprometer secretos empresariales y el funcionamiento de sistemas considerados «caja negra». En cambio, lo que se busca es explicar y motivar las decisiones que toman estos sistemas de manera que tanto los operadores judiciales como el público puedan entender el proceso detrás de las decisiones automatizadas. Es decir, es esencial que los sistemas de IA en el ámbito judicial sean capaces de proporcionar una justificación clara de cómo se llegó a una determinada conclusión, lo que promueve un entorno en el que las decisiones automatizadas lleguen a ser comprendidas y evaluadas sin necesidad de acceder a información confidencial que podría afectar a la competitividad y a los derechos de propiedad intelectual de las empresas que desarrollan estas tecnologías, y que no estarían dispuestas a ceder de manera altruista.

De igual modo, la calidad y seguridad de los datos son un eje central del RIA, especialmente en el contexto de la justicia orientada al dato. Los requisitos de calidad y representatividad de los datos se aplican tanto a los datos de entrenamiento como a los de entrada y validación, utilizados en los sistemas de IA generativa empleados en la administración de justicia. Estos datos son esenciales para el correcto funcionamiento de los sistemas de inteligencia artificial, asegurando así la imparcialidad y precisión en la toma de decisiones. En este contexto, el RIA, específicamente en su artículo 10.2, establece que los datos de entrenamiento y prueba deben ser representativos, libres de errores y respetar los derechos de privacidad y protección de datos personales (Esparza Leivar, 2021). Este requisito es fundamental no solo para garantizar la efectividad de los sistemas de IA, sino también para su interoperabilidad con el Reglamento General de Protección de Datos (RGPD). La conexión entre el RIA y el RGPD es crucial, ya que ambos marcos normativos trabajan en conjunto para asegurar que el tratamiento de datos y las decisiones automatizadas se alineen con la normativa europea vinculada al uso y tratamiento de datos electrónicos.

3.2. Ámbito de aplicación, transparencia y gobernanza

Respecto al ámbito de aplicación del reglamento, el mismo se extiende más allá de las fronteras de la UE, lo cual tiene importantes implicaciones para proveedores internacionales de software de IA utilizado en la administración de justicia. La normativa exige que cualquier sistema de IA que afecte derechos de ciudadanos europeos debe cumplir con los estándares establecidos, incluso si es desarrollado fuera de la UE. Esta regulación extraterritorial podría resultar en una mayor responsabilidad para desarrolladores de programas de sistemas de gestión procesal que ofrezcan servicios a entidades judiciales europeas. Dicha interpretación extensiva se justifica bajo el argumento de que la tecnología de IA, aunque desarrollada en terceros países, impacta derechos fundamentales dentro de la UE, lo cual aplica tanto a los proveedores de IA como a los responsables de su implementación. Además, el artículo 26 del RIA añade que los responsables de la administración de justicia deben asegurar que la IA sea utilizada conforme a instrucciones que garanticen su seguridad y fiabilidad, incluyendo la asignación de personal calificado para la supervisión de estos sistemas. Esta obligación responde al riesgo inherente a que el «efecto caja negra» en algunos algoritmos pueda obstaculizar la transparencia y dificultar la apelación de decisiones basadas en IA, un desafío crítico en la justicia donde el derecho a un juicio justo y a la no discriminación son esenciales.

Si bien es cierto, el artículo 13 del RIA establece que los sistemas de IA de alto riesgo deben desarrollarse de forma que el proceso de toma de decisiones sea comprensible y justificable, esencial para la credibilidad y responsabilidad en contextos judiciales. La transparencia y explicabilidad se vuelven esenciales en los sistemas de gestión procesal informatizada, especialmente ante el uso de IA en tareas como la clasificación de casos, la predicción de tiempos procesales o el análisis de datos judiciales. Además, el artículo 50 del RIA requiere que los proveedores y responsables de los sistemas de IA brinden información clara sobre la naturaleza de estos sistemas y los datos procesados, en especial para aquellos involucrados en la administración de justicia. Esto implica que los desarrolladores de legaltech no solo deben cumplir con las directrices de transparencia en la creación de sistemas de IA, sino que deben garantizar que los operadores de justicia puedan comprender las decisiones automatizadas y las limitaciones del sistema, un principio que refuerza la responsabilidad y supervisión humanas vinculadas al ya citado principio rector Human in command.

Por otro lado, en el ámbito de la gestión procesal informatizada, la transparencia también implica la capacidad de identificar y etiquetar contenidos generados por IA. En concordancia con el artículo 96 del RIA, los desarrolladores deben implementar mecanismos que indiquen cuando el contenido ha sido producido mediante IA. Este es un punto crucial en el contexto de los sistemas de legaltech que interactúan con personas o manipulan datos sensibles, ya que ofrece una garantía de trazabilidad y protección contra el uso fraudulento o no ético de contenidos en decisiones judiciales. En la otra cara de la moneda, debemos decir que el incumplimiento de estos requisitos de transparencia y explicabilidad se refuerza con sanciones significativas, estipuladas en el artículo 99 del RIA, y con la elaboración paralela de códigos de buenas prácticas a nivel de la Unión Europea, que a pesar de ser presentados como herramientas de soft law, adquieren relevancia y obligatoriedad al aplicarse en el contexto de IA de alto riesgo, incluyendo los sistemas judiciales informatizados.

Unido a lo anterior, es fundamental señalar que el uso de la inteligencia artificial en programas de gestión procesal informatizada conlleva la necesidad de establecer una nueva estructura organizativa adaptada al entorno público, lo que podría dar lugar a la creación de nuevas profesiones y funcionarios públicos especializados. En este contexto, la figura del Chief Artificial Intelligence Officer (CAIO) podría jugar un papel crucial. En el ámbito privado, el CAIO asesora en el desarrollo e implementación de tecnologías de IA, y su integración en el sector público podría ofrecer un liderazgo especializado que mejore la supervisión y el cumplimiento del RIA.

La inclusión del CAIO en la administración pública podría facilitar la supervisión del cumplimiento regulatorio y asegurar que los sistemas de IA operen de acuerdo con los estándares éticos y legales establecidos. Además, esta figura podría encargarse de implementar programas de capacitación para operadores judiciales, garantizando que cuenten con las habilidades necesarias para utilizar eficazmente las herramientas de IA en su labor. Asimismo, el CAIO podría supervisar la implementación de programas de gestión procesal informatizada utilizados por diversos operadores jurídicos, asegurando que se alineen con las directrices del RIA y contribuyan a una justicia más eficiente y equitativa. De este modo, la integración de nuevos roles especializados no solo optimiza el uso de la IA en el ámbito judicial, sino que también refuerza la estructura organizativa necesaria para afrontar los desafíos que plantea la justicia orientada al dato.

Además, el RIA permite a las autoridades públicas ejercer una reevaluación constante del riesgo asociado a cada sistema, con la capacidad de reclasificar aquellos que presenten indicios de categorizarse erróneamente o de generar daños no previstos a derechos fundamentales. Para los sistemas de gestión procesal informatizada, esta dinámica implica que cualquier desarrollo o ajuste en el diseño de estos sistemas debe ser transparente y alineado con la normatividad en constante revisión del RIA. También impone la necesidad de un registro en la base de datos de la UE, promoviendo la trazabilidad y facilitando la identificación de sistemas que requieran ajustes o mejoras para mitigar riesgos en la práctica. De igual modo, el modelo de control y gobernanza planteado por el RIA para controlar el desarrollo de IA de alto riesgo como serían estos programas de Legaltech partiría del Comité Europeo de IA, donde cada Estado miembro designará autoridades responsables de la supervisión del mercado. Esta estructura garantiza que los sistemas judiciales que utilizan IA estén sujetos a controles continuos, asegurando así su conformidad con los requisitos establecidos en el reglamento.

En el contexto español, la Agencia Española de Supervisión de Inteligencia Artificial (AESIA) se erigirá como la autoridad nacional encargada de inspeccionar y verificar el cumplimiento de los sistemas de IA utilizados en la administración de justicia. Esto implica que cualquier programa de legaltech o de gestión procesal informatizada que se implemente deberá pasar por un riguroso proceso de evaluación y supervisión para garantizar que no solo cumpla con los estándares técnicos, sino que también respete los derechos fundamentales y los principios éticos en su funcionamiento.

El RIA está programado para entrar en vigor formalmente en agosto de 2024, aunque su aplicación efectiva se extenderá dos años después, en agosto de 2026. Este período de transición es crucial, ya que la Comisión Europea fomentará un cumplimiento voluntario anticipado a través del Pacto de IA. Este pacto incentivará a las empresas y organismos a alinear sus prácticas con el RIA antes de que la obligación legal entre en pleno efecto, lo que permite que los desarrolladores de legaltech y los operadores judiciales se preparen adecuadamente para el nuevo marco normativo.

Esta estructura de gobernanza y supervisión es esencial no solo para el desarrollo de tecnologías innovadoras, sino también para garantizar que la implementación de estas herramientas en el ámbito judicial se realice de manera segura y ética, por lo que la AESIA y otros organismos similares desempeñarán un papel crucial en la creación de un entorno regulador que fomente la confianza pública en los sistemas de gestión procesal que funcionen con IA.

3.3. Sistemas de gestión procesal basados en IA y sandboxes

Para aprobar el uso de sistemas de inteligencia artificial (IA) de alto riesgo, es esencial realizar lo que se conoce como una evaluación de impacto sobre los derechos fundamentales. Este proceso no se limita a una mera evaluación técnica de la IA; implica un análisis exhaustivo que abarca cómo la implementación de estos sistemas puede afectar los derechos y libertades de los ciudadanos en un contexto específico. La evaluación debe ser llevada a cabo de forma individual por cada país, lo que se alinea con la creación de «sandboxes» o entornos de pruebas controladas. Estos espacios permiten validar y experimentar con estas tecnologías antes de su adopción a gran escala, asegurando así que sean seguras y efectivas en su aplicación práctica. La decisión de implementar sistemas de IA en el ámbito judicial es especialmente arriesgada, ya que cada país está poniendo en juego los derechos fundamentales de sus ciudadanos. Este enfoque plantea un cambio significativo en la técnica legislativa tradicional. A diferencia de lo que podría esperarse, donde la regulación proviene de la Comisión Europea para todos los Estados miembros, aquí cada estado toma la iniciativa de regular y evaluar primero en su territorio. Si el uso de la tecnología resulta exitoso, se comparte y reproduce en otros países. Este modelo innovador y sin precedentes en la legislación europea permite una adaptación más flexible y contextualizada de la tecnología, lo que puede resultar en un enfoque más matizado y ajustado a las necesidades locales. El Reglamento de IA (RIA) contempla la creación de «sandboxes jurídicos» como una medida para innovar de manera segura en la implementación de la IA en el ámbito de la justicia. Estos espacios de prueba permiten desarrollar, validar y ajustar tecnologías de IA en entornos supervisados antes de su despliegue comercial o uso público. Según el Considerando 138 y el artículo 57 del RIA, se establece que los Estados miembros de la Unión Europea deben crear al menos un sandbox jurídico en un plazo de 24 meses. Con todo ello se proporciona a los desarrolladores de IA para la administración de justicia un entorno seguro y controlado para experimentar, permitiendo una identificación temprana de problemas y la posibilidad de realizar ajustes antes de que la tecnología sea utilizada en situaciones críticas.

Un ejemplo destacado de este enfoque es la iniciativa de nuestro país, que en noviembre de 2023 se convirtió en pionera al establecer su propio sandbox para IA, regulado por el Real Decreto 817/2023, de 8 de noviembre, que establece un entorno controlado de pruebas para el ensayo del cumplimiento de la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial[4]. Este entorno supervisado permite evaluar, en condiciones reales, los sistemas de IA aplicados en el ámbito de la justicia, asegurando que cumplen con los estándares europeos de protección de derechos fundamentales. El sandbox español está inspirado en la Carta de Derechos Digitales de 2021 e integra principios humanistas que garantizan que la tecnología no solo sea efectiva, sino que también respete y proteja los derechos fundamentales de los ciudadanos. Este modelo de «sandbox» no solo promueve la innovación responsable, sino que también facilita un aprendizaje colectivo entre países. Al permitir que las tecnologías de IA sean probadas y ajustadas en un entorno seguro antes de su implementación general, se minimizan los riesgos asociados con la adopción de nuevas herramientas en la administración de justicia. Esto refuerza la confianza pública en los sistemas judiciales, asegurando que las decisiones tomadas con el apoyo de la IA se alineen con los valores éticos y los derechos fundamentales que deben ser respetados en toda la Unión Europea.

Los sistemas de inteligencia artificial (IA) que pueden participar en el sandbox deben cumplir con ciertos criterios de admisibilidad y pertenecer a una de las siguientes categorías: Sistemas de Alto Riesgo (HRAIS), clasificados dentro de áreas específicas detalladas en la Convocatoria o regulados por normativas europeas armonizadas, como las relacionadas con sistemas médicos o maquinaria, o Sistemas de Propósito General (GPAIS), que incluyen modelos fundacionales. Estos modelos abarcan una variedad de aplicaciones y pueden adaptarse a distintos sectores.

Los sistemas de gestión procesal informatizada que optaran por esta vía pueden estar en distintas fases de desarrollo o ya operativos en el mercado, con requisitos específicos en cada caso. En el caso de los sistemas en desarrollo, estos deben encontrarse en una fase avanzada, con un Nivel 6 de TRL (Technology Readiness Level), lo que indica que han sido probados en entornos relevantes y están próximos a su implementación. Esto significa que el sistema debería estar listo para ser lanzado o activado durante el transcurso del sandbox o al finalizar el mismo.

Para los sistemas ya en el mercado, se exige que estén en un régimen de ajustes que permita implementar las medidas necesarias para cumplir con el reglamento aplicable. Esto garantiza que los sistemas puedan adaptarse a las normativas vigentes, ajustándose a los estándares de seguridad y ética requeridos sin necesidad de rehacerlos completamente[5].

Con esta iniciativa, España se adelanta a la entrada en vigor del RIA al facilitar ya un marco de pruebas anticipado y regulado. Los requisitos establecidos aseguran que los sistemas de IA participantes en el sandbox estén lo suficientemente avanzados o regulados para que su evaluación y ajuste sean viables, permitiendo a las empresas ajustar sus desarrollos a las futuras normativas europeas antes de que estas sean de obligado cumplimiento. Así, el enfoque fomenta una innovación segura en el ámbito de la IA, minimizando los riesgos asociados a tecnologías inmaduras y contribuyendo a la construcción de un ecosistema de IA confiable y regulado.

4. Conclusión

La creciente incorporación de modelos de IA vinculados a sistemas de gestión procesal informatizada tiene por objetivo alcanzar una justicia mucho más eficiente desde el punto de vista digital, al tiempo que redefine los parámetros de transparencia, responsabilidad y acceso a la justicia. En este sentido, tal y como hemos planteado a lo largo del presente estudio, la tecnologías como la IA generativa y la justicia orientada al dato representan tanto desafíos como oportunidades en la evolución de los sistemas de gestión procesal.

Podemos concluir que la IA generativa, al ser capaz de analizar grandes volúmenes de datos y generar respuestas automatizadas, se erige como una herramienta prometedora en la mejora de los actuales sistemas de gestión procesal y que puede dar un nuevo impulso a lo que hoy en día conocemos como Nuevas Oficinas Judiciales, al tiempo que podrían llegar a liberar a los operadores judiciales de una parte considerable de su carga puramente administrativa, si bien también existen ciertos riesgos que deberían ser controlados respecto y que los mismos deban operar siempre bajo la supervisión humana, evitando que las decisiones automatizadas pasen por alto factores contextuales y éticos fundamentales para una justicia equitativa.

De igual modo, incorporar a su vez a estos sistemas de gestión técnicas de justicia orientada al dato, implica un nuevo enfoque donde los datos se convierten en el centro de la toma de decisiones y en un recurso esencial para optimizar los sistemas de gestión procesal, pues a través de técnicas de big data, machine learning y análisis predictivo, es decir, técnicas tendentes a la explotación del dato, se podrían llegar a robotizar procedimientos tediosos o muy repetitivos, o reutilizar información para lograr un sistema más eficiente. Si bien, este modelo también lleva aparejado tener un control claro en la funcionalidad del dato, es decir, contar con marcos regulatorios nacionales, más allá de las propuestas europeas, que incidan de una manera detallada en la aplicación en la administración de justicia de esta realidad, tendentes a asegurar la transparencia y la protección de los derechos individuales. De igual modo, podemos concluir que este nuevo modelo, unido con lo anterior, es decir, la conexión entre IA generativa y justicia orientada al dato podría tener grandes beneficios para nuestros sistema judicial en términos de eficiencia y eficacia.

Si bien, podemos decir que nos encontramos en los albores de una clara sinergia entre IA generativa y justicia basada en datos amplía las posibilidades de personalización y precisión en la administración de justicia, que deberán responder en último termino al cumplimiento de lo estipulado por el RIA.

Para ello, además de los retos éticos y técnicos que evidentemente tienen aparejados, creemos que nos debemos parar en algo primordial para que el modelo funcione, que además vendrá coligado a tener un buen escenario de seguridad jurídica: la confianza pública. En este sentido, lograr una aceptación social amplia de un nuevo modelo de justicia basado en estas tecnología no es nada fácil pero creemos quees fundamental que los ciudadanos y los operadores judiciales comprendan cómo funcionan estas tecnologías y tengan la capacidad de evaluar y, si es necesario, cuestionar sus decisiones para que nadie piense que la inclusión de las misma supone una merma de derechos de los justiciables (Cotino Hueso, 2017). Así, los criterios, de transparencia en términos de explicabilidad, tal y como hemos apuntado en el punto tercero de este artículo, pueden marcar un punto de inflexión importante para que el modelo cuaje y se consolide. En definitiva, la ciudadanía debe tener la garantía de que estos sistemas cumplen con criterios de calidad, seguridad y respeto a los derechos fundamentales. Si bien, es cierto que también ello se refuerza con la creación de organismos de supervisión, como la Agencia Española de Supervisión de Inteligencia Artificial (AESIA), en respuesta a esta necesidad de gobernanza y transparencia y que resultan fundamentales para generar un marco de confianza donde la tecnología y el derecho puedan convivir en beneficio de la sociedad y en el desarrollo del trabajo de diversas administraciones públicas.

Unido a lo anterior, y como conclusión final, pensamos que uno de los desafíos más importantes es la creación de sistemas de IA que combinen eficiencia con una sensibilidad ética hacia la labor de los distintos operadores jurídicos, con la finalidad de que la tecnología se integre y avance, sin deshumanizar el proceso judicial. Es decir, la prioridad es conseguir una justicia digital humanizada que se apoye en la tecnología para ser más eficaz. De igual modo, vemos esencial establecer marcos de cooperación internacional que permitan una regulación uniforme y adaptable a las particularidades de cada país. La coordinación entre organismos de supervisión, tanto nacionales como internacionales, puede facilitar el intercambio de experiencias y la adopción de buenas prácticas en el uso de IA en la justicia que aseguren una vigilancia continua y que garantice así de manera global el respeto a los derechos humanos.

Bibliografía

ARMENTA DEU, T., Derivas de la justicia: tutela de los derechos y solución de controversias en tiempos de cambio, Madrid, 2021.

BARONA VILAR, S., Algoritmización del derecho y de la justicia. De la Inteligencia Artificial a la Smart Justice, Valencia, 2021..

BUENO DE MATA, F., «La necesidad de regular la inteligencia artificial y su impacto como tecnología disruptiva en el proceso: De desafío utópico a cuestión de urgente necesidad», en BUENO DE MATA, F., El impacto de las tecnologías disruptivas en el Derecho Procesal, Thomson Reuters – Aranzadi, Cizur Menor, 2022, pp. 15-41

BUJOSA VADELL, L.,«ChatGPT y proceso», en Arbitraje y jurisdicción: homenaje a Miguel Ángel Fernández-Ballesteros / coord. por David Arias Lozano Árbol académico, Vol. 1, Tomo 1, 2024 (Tomo I), págs. 295-322

BUJOSA VADELL, L., «Función jurisdiccional e inteligencia artificial», en Inteligencia artificial y derecho: Argentina, Brasil, España y México / coord. por Alberto Enrique Nava Garcés, 2023, págs. 49-7

CHUMBITA, S.C., «Legal prompt engineering. Una nuea habilidade para la era de la Inteligencia Artificial conversacional multimodal y multipropósito», La Ley (Argentina), 31 de mayo de 2023.

CORVALÁN, J.G., «Inteligencia artificial generativa como ChatGPT: ¿Un nuevo Renacimiento? Una explosión de inteligência humana colectiva a hombros de IA», La Ley (Argentina), 5 de junio de 2023.

COTINO HUESO, L., «Big data e Inteligencia Artificial. Una aproximación a su tratamiento jurídico desde los Derechos Fundamentales», Dilema, n. 24, 2017.

ESPARZA LEIVAR, I., «La Inteligencia Artificial y el derecho fundamental a la protección de datos de carácter personal»,”, Justicia algorítmica y neuroderecho: una mirada multidisciplinar, Valencia, 2021, pág. 265-286.

FERNÁNDEZ HERNÁNDEZ, C., «¿Cómo regular los grandes modelos de lenguaje como ChatGPT?», Diario La Ley (España), 5 de abril de 2023.

GRANIERI, M., https://www.obsbusiness.school/blog/que-es-la-inteligencia-artificial-generativa, https://arxiv.org/pdf/1406.2661.pdf https://arxiv.org/pdf/1406.2661.pdf

MARTÍN DIZ, F., «Modelos de aplicación de inteligencia artificial en Justicia: Asistencial o predictiva versus decisoria», en BARONA VILAR, S., (Ed.), Justicia algorítmica y neurodercho. Una mirada multidisciplinar, Valencia, 2021.

MARTÍN DIZ, F.: «Inteligencia artificial y proceso: garantías frente a eficiencia en el entorno de los derechos procesales fundamentales», Justicia: ¿garantías versus eficiencia?, Valencia, 2019, págs. 815-822.

MURILLO FUENTES, J.J., «¿Qué es lo que no funciona en los algoritmos de inteligencia artificial?», en COLOMER HERNÁNDEZ, I., (Dir.), Uno de la información y de los datos personales en los procesos: los cambios en la era digital, Thomson Reuters – Aranzadi, Cizur Menor, 2022, pp. 151-171.

NIEVA FENOLL, J. Inteligencia artificial y proceso, Madrid, 2018.

---