La aplicación de la Inteligencia Artificial en el proceso: ¿un nuevo reto para las garantías procesales?

THE APPLICATION OF ARTIFICIAL INTELLIGENCE IN THE PROCESS: A NEW CHALLENGE FOR PROCEDURAL GUARANTEES?

Cristina San Miguel Caso

Profesora Ayudante de Derecho Procesal

Universidad de Cantabria

sanmiguelc@unican.es 0000-0003-3078-6182

I. Introducción

El auge de la Inteligencia Artificial experimentado en los últimos años coloca a la Administración de Justicia en un nuevo contexto tecnológico marcado por la implementación de los sistemas inteligentes en la investigación y enjuiciamiento de los delitos.

Muestra de ello, es la incorporación en el reciente Anteproyecto de Ley de Enjuiciamiento Criminal, publicado a finales de 2020, de los nuevos medios de investigación basados en datos protegidos. Así, se concede al Juez de Garantías, en el artículo 516, la posibilidad de autorizar la utilización de sistemas automatizados o inteligentes de tratamiento de datos para cruzar e interrelacionar la información disponible sobre la persona investigada, con otros datos obrantes en otras bases de titularidad pública o privada, siempre que concurran los siguientes requisitos:

a) que existan indicios basados en datos objetivos sobre la participación del investigado en los hechos objeto de investigación;

b) que, en base a la naturaleza y características del hecho, resulte necesaria la práctica de la diligencia para esclarecer la responsabilidad del investigado en el mismo;

c) y, por último, que el hecho investigado sea constitutivo de un delito castigado con una pena igual o superior a los tres años de prisión.

Como puede observarse, la utilización de los sistemas de Inteligencia Artificial en el seno de un proceso penal es ya una realidad y se encamina a convertirse en un instrumento decisorio en el engranaje procesal. Por esta razón, el objetivo de este trabajo será identificar los riesgos que entraña el uso de los sistemas de Inteligencia Artificial en relación con los derechos y las garantías procesales de las partes.

Con esta finalidad, se realizará en primer lugar una aproximación en torno al concepto de la Inteligencia Artificial enfatizando aquellas cuestiones más controvertidas sobre el mismo. Seguidamente, se examinarán tanto las ventajas como los inconvenientes que se derivan de su utilización en el ámbito procesal para, posteriormente, relacionarlas con uno de los límites que debe operar, siempre y en todo caso, en el diseño, desarrollo y utilización de los sistemas inteligentes: las garantías procesales.

Por último, y en aras a establecer el contenido esencial de los principios que deben regir en las futuras regulaciones sobre la Inteligencia Artificial, se realizará un exhaustivo análisis sobre los mismos tomando como referencia tanto la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen las normas armonizadas sobre Inteligencia Artificial como el documento creado por la Comisión Europea sobre las directrices éticas para una IA fiable.

II. Reflexiones en torno al concepto: ¿qué es la Inteligencia Artificial?

A la hora de abordar una aproximación conceptual en torno a la Inteligencia Artificial es preciso enmarcarla, en primer lugar, en la denominada Cuarta Revolución Industrial caracterizada, entre otros factores, por la velocidad, el impacto de los sistemas y la amplitud y profundidad de los mismos (Schwab, 2016). No obstante, a pesar de encontrarnos ante una disciplina aparentemente novedosa, su origen se remonta a 1955 cuando John McCarthy, junto con Marvin Minsky, N. Rochester y C.E. Shannon idearon un proyecto fundamentado en la posibilidad de idear máquinas que pudieran realizar tareas a través de una programación previa que imitara las redes neuronales de forma similar al pensamiento humano (Solar Cayón, 2019). Por lo tanto, no se trata de un concepto tan novedoso como a priori pudiera imaginarse, pero, por otro lado, resulta innegable el auge que esta disciplina ha experimentado en la última década debido a dos motivos fundamentales: el progreso tecnológico y su implementación en el ámbito jurídico, facilitando un desarrollo legal y doctrinal sobre cuestiones de índole muy diversa analizadas desde las distintas disciplinas jurídicas.

El imparable avance tecnológico ha propiciado, en esta nueva etapa, una modificación sustancial en diferentes aspectos de nuestra vida cotidiana y, de igual forma, ha generado un cambio de paradigma en el ámbito jurídico que invita a reflexionar sobre el lugar que debe ocupar la Inteligencia Artificial dentro de la propia Administración de Justicia.

Desde el punto de vista terminológico, nos encontramos ante un concepto complejo, amplio, variable y evolutivo sobre el que no existe una única concepción. Así, la transformación y el desarrollo de las tecnologías aplicadas a la Inteligencia Artificial se configuran ciertamente complejas, a medida que avanzan desde una perspectiva multidisciplinar y son implementadas en multitud de sectores, evitando la estanquidad tanto funcional como programática de la misma. Esta circunstancia convierte a la Inteligencia Artificial en un concepto mutable y en constante cambio, que ha imposibilitado ofrecer una definición omnicomprensiva (Anunátegui Perelló, 2020) a efectos de su eventual obsolescencia en un breve periodo de tiempo.

Sin embargo y, a pesar de los distintos matices que se puedan adoptar en las múltiples definiciones sobre el fenómeno que nos ocupa, existe un denominador común que convierte a la Inteligencia Artificial en una combinación de tecnologías que agrupa datos, algoritmos y capacidad informática (Libro Blanco sobre la inteligencia artificial, 2020).

El diccionario de la Real Academia Española lo define como la disciplina científica que se ocupa de crear programas informáticos que ejecutan operaciones comparables a las que realiza la mente humana, como el aprendizaje o el razonamiento lógico. Así, la concepción de la Inteligencia Artificial parte de una dimensión cognoscitiva fundamentada en la capacidad de conocer a través de una programación previa que dota a estos sistemas de una inteligencia sin consciencia pero que, paradójicamente, trata de emular “la forma de aprender y razonar del cerebro humano construyendo simulaciones más o menos complejas en forma de redes neuronales” (Armenta Deu, 2021).

La Inteligencia Artificial depende de una programación previa que actúa en un doble plano; en primer lugar, es preciso que se produzca la instalación de diversos programas o algoritmos que de forma interna ordenen al sistema el desempeño de una función determinada y, en segundo lugar, ese sistema necesita nutrirse de un conjunto de datos que serán objeto de las funciones para las cuales ha sido, con carácter previo, programado. Por lo tanto, esta nueva tecnología basada en la comprensión analítica o estadística de los datos arrojará como resultado el fruto de una operación cuantitativa pero no deductiva, lo que nos lleva a afirmar que la Inteligencia Artificial no debe equipararse al pensamiento humano pues las operaciones que realiza son puramente lógicas (Barona Vilar, 2021) y, además, como señala Martínez García se trata de una inteligencia “que no está en las personas sino en los componentes constitutivos del sistema” (Martínez García, 2018).

Esta cuestión nos invita a reflexionar sobre la comparación que, numerosos autores, han realizado entre la Inteligencia Artificial y la inteligencia humana (Bostrom, 2016). Como apuntaba al inicio de este epígrafe el ser humano se caracteriza por una inteligencia racional, emocional y consciente, características ambas, que no se pueden predicar de la Inteligencia Artificial. Esto no impide ser conscientes de las limitaciones que pueden sufrir ambos tipos de inteligencia y que, sin duda, pueden complementarse hasta llegar a un justo equilibrio.

En torno a esta cuestión es tradicional, aunque ciertamente controvertida, la distinción entre inteligencia fuerte e inteligencia débil que, de forma general, se viene realizando sobre esta disciplina tomando como criterio de referencia el grado de réplica del pensamiento humano que una y otra adquieren atendiendo, en un segundo plano, a la autonomía inteligente que se pueda desprender de ambas.

Así, la denominada inteligencia débil únicamente podrá desarrollar aquella actividad o tarea para la que ha sido previamente programada encontrándose lejos de mostrar cualquier síntoma revelador de estados cognitivos (Solar Cayón, 2019). En contraposición a lo señalado, la inteligencia fuerte es aquella con capacidad para imitar los procesos cognitivos del pensamiento humano, teniendo la facultad de llevar a cabo un aprendizaje autónomo superando los límites iniciales de la programación previa. No obstante, dicha distinción no deja de producir cierta desazón al tratarse de una diferenciación conceptualmente inexacta pues, si como hemos indicado anteriormente, el criterio para diferenciar ambos tipos se fundamenta de forma prioritaria en la equiparación a la inteligencia humana, los sistemas débiles se deberían etiquetar como fuertes debido a que, en la mayoría de los casos, son capaces de analizar multitud de datos realizando operaciones lógicas que, con creces, superan la capacidad y el rendimiento inteligente del ser humano. Por lo tanto, la distinción entre una y otra se debe limitar, en nuestra opinión, al grado de autonomía tecnológico que la máquina es capaz de desarrollar obviando la pretendida equiparación antes mencionada.

La reciente propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen las normas armonizadas sobre la Inteligencia Artificial publicado el pasado 21 de abril, ahonda en el concepto aportando una nueva definición y realizando una distinción que atiende, de forma acertada, a la producción del riesgo que conlleva su utilización.

Conceptualmente los sistemas de Inteligencia Artificial son definidos como el software que se desarrolla a través de unas técnicas concretas con el objetivo de generar diversos resultados de contenido, predicciones, recomendaciones o decisiones que influyen en los entornos con los que interactúan. Concretamente, la aplicación de estos sistemas en el entorno jurídico ha sido clasificado de alto riesgo, por la citada propuesta, en virtud de los derechos y garantías que pueden resultar menoscabados no solo para el sujeto titular de los mismos, sino también, para la propia Administración de Justicia señalando, de forma literal, que tendrán dicha consideración “todos los sistemas de Inteligencia Artificial destinados a ayudar a una autoridad judicial en la investigación, interpretación y aplicación de la ley en unos hechos determinados” (Proposal for a regulation laying down harmonised rules on artificial intelligence, 2021, Anexo III,).

Con la finalidad de evitar que esa potencialidad del riesgo se materialice de forma efectiva en un proceso judicial, el anexo al Reglamento propuesto por el Parlamento Europeo y el Consejo lleva a cabo una enumeración detallando de forma concreta y exhaustiva en qué casos los sistemas de Inteligencia Artificial aplicados en entornos jurídicos pueden suponer la generación de un riesgo alto:

• En primer lugar, cuando los sistemas de Inteligencia Artificial realicen evaluaciones del riesgo sobre la reincidencia de un sujeto o sobre las víctimas de un delito.
• En segundo lugar, cuando se utilicen sistemas de Inteligencia Artificial para detectar el estado emocional de una persona.
• En tercer lugar, cuando los sistemas de Inteligencia Artificial se utilizan para ponderar la fiabilidad de las pruebas presentadas.
• En cuarto lugar, cuando dichos sistemas sean utilizados para para predecir la ocurrencia o recurrencia de un delito penal real o potencial basado en la elaboración de perfiles de personas físicas o evaluar rasgos y características de la personalidad o antecedentes de comportamiento delictivo de personas físicas o grupos.
• Finalmente, cuando los sistemas de Inteligencia Artificial permitan a las autoridades policiales buscar interacciones complejas en grandes conjuntos de datos disponibles provenientes de distintas fuentes para identificar patrones desconocidos o descubrir relaciones ocultas en los datos analizados.

A la vista de lo expuesto, la aplicación de la Inteligencia Artificial en las distintas fases de un proceso no se encuentra exenta de controversia en virtud de los eventuales riesgos que su utilización conlleva para todas las partes involucradas en un asunto judicial. Estos riesgos aumentan, aún más, cuando nos encontramos ante sistemas de aprendizaje autónomo que, con el paso del tiempo, evolucionan hasta desarrollar una inteligencia autónoma y singular, indescifrable, en ocasiones, para el ser humano.

III. Ventajas e inconvenientes de la aplicación de la Inteligencia Artificial al proceso

La irrupción de la Inteligencia Artificial en el ámbito jurídico está modificando, de forma paulatina, los patrones tradicionales de actuación en las diferentes etapas de un proceso, conduciéndonos, así, hacia un nuevo escenario procesal en el que los derechos y las garantías de las partes se encuentran amenazados ante la aparición de nuevos riesgos asociados al uso de los sistemas de Inteligencia Artificial.

Sin embargo, a la vez que surgen nuevos riesgos- que más adelante serán objeto de una sosegada reflexión- afloran una serie de ventajas dirigidas, todas ellas, a una mejora generalizada en la impartición de la justicia.

Desde una perspectiva procedimental, la Inteligencia Artificial presenta una utilidad indiscutible en todas aquellas labores que se realizan de manera casi automática, lo que implicaría atajar tres de los problemas más acuciantes de nuestro sistema judicial; la excesiva burocratización de la justicia, el tiempo en la tramitación y la escasez de recursos propiciando que “en el futuro los procedimientos se sustancien más rápidamente y sobre todo que sean previsibles en cuanto a su desarrollo, tiempo de espera y resultados, lo que permite una eficiencia que es realmente necesaria en el tráfico comercial, y que sobre todo descargaría relevantemente a los juzgados” (Nieva Fenoll, 2018).

Por otro lado, a nivel institucional la e-Justicia propulsó un proceso de actualización interno en el que la inclusión del uso de las nuevas tecnologías en la Administración de Justicia modificó los tradicionales modos de actuación favoreciendo una justicia más rápida y eficaz, no exenta a día de hoy de diversas disfunciones que atestiguan la aparición de ciertos obstáculos para su definitiva y real implantación en la práctica (Bueno de Mata, 2020). Sin embargo, el uso de la Inteligencia Artificial ha favorecido la creación de entornos más tecnológicos en la investigación de los delitos y en la valoración de las pruebas, añadiendo en determinados casos una mayor eficiencia.

Además, los beneficios de los sistemas inteligentes traspasan la mera investigación y se convierten en una herramienta indispensable para la configuración de estrategias procesales de defensa más eficaces, encaminadas a lograr la plena satisfacción del cliente. En consecuencia, el abogado podrá, a través de estos sistemas, dibujar nuevas estrategias de defensa diseñadas de forma inteligente y que además le proporcionen, en función de las características del caso, diversos datos estadísticos sobre la jurisprudencia aplicable y el perfil del juez encargado de dictar el caso, entre otros.

Sin embargo y, a pesar de todos los beneficios procesales y procedimentales que se pueden extraer de la aplicación de los sistemas inteligentes, no debemos obviar aquellas vicisitudes intrínsecas a los mismos que, indudablemente, abren un nuevo debate sobre la conveniencia de su utilización y los límites que estos deben observar.

Por lo tanto, en sentido opuesto a lo señalado, nos encontraremos con una serie de obstáculos que será preciso poner de manifiesto para evaluar, cómo haremos posteriormente, la conveniencia o no de su puesta en marcha en el entramado judicial.

En primer lugar, y como acabamos de mencionar, la Inteligencia Artificial puede configurarse como una herramienta en el diseño de la estrategia de defensa, sin embargo, el principal problema que se deriva de ello es el elevado coste de la implantación de esta tecnología en los despachos profesionales, por lo que únicamente podrán optar por este método aquellos que tengan los recursos económicos suficientes para hacer frente a unos gastos considerables. Esta circunstancia implica, de forma indirecta, la distinción entre unos despachos y otros, suponiendo esta inversión tecnológica un criterio diferenciador y, a su vez, un nuevo método de captación de clientes con un perfil altamente definido.

Ese criterio diferenciador equivaldrá procesalmente a una desigualdad manifiesta entre las partes o, formulado de otra forma, supondrá la ventaja de una parte sobre la otra al contar con mayores recursos para elaborar una estrategia porcentualmente más adecuada y efectiva.

En torno a la “defensa inteligente” surge otro problema que, a la larga, deberá replantearse en un escenario procesal desarrollado tecnológicamente de forma plena. Si asumimos la utilización generalizada de los sistemas inteligentes a la hora de plantear la estrategia de defensa, pudiera darse el caso de que esto generase el menoscabo de la defensa técnica para algunos investigados y, en consecuencia, producirse cierta indefensión cuando los sistemas predictivos arrojasen unos resultados muy reducidos de éxito. Así, se crearía un motivo que podría llevar al abogado a declinar la aceptación de la defensa del cliente y, en ocasiones, eludir la búsqueda de nuevas soluciones si, en todo caso, se acepta el resultado del sistema como algo irrebatible.

Este último extremo debe tratarse con sumo cuidado y, a pesar de la fiabilidad que puedan presentar las técnicas predictivas, ello no debe nunca socavar la profesionalidad de los operadores jurídicos y, tampoco, las oportunidades de defensa de los ciudadanos pues, esos resultados pueden tener definidos unos parámetros determinados que no contemplen otras circunstancias que revistan una especial trascendencia para cada caso concreto.

Por otra parte, los sistemas tecnológicos aplicados al ámbito jurídico se basan en un conglomerado de datos que pertenecen al pasado, siendo esta circunstancia sumamente llamativa pues, sin lugar a dudas, supondrá un problema para el avance del derecho. El automatismo de las decisiones predictivas nos dirige hacia la estandarización de pautas y argumentos jurídicos implicando, indirectamente, la eliminación de los criterios de interpretación, lo que podría conllevar a resultados indeseados, erráticos e insatisfactorios (San Miguel Caso, 2019).

De esta forma, pasaríamos de una interpretación aplicada al caso concreto a una interpretación automática y pretérita que, basada en datos que pertenecen al pasado, estaría condicionando el futuro de los sujetos sometidos a estas técnicas.

Esta cuestión no es baladí pues existe el riesgo de bloquear las tentativas de cambio (Armenta Deu, 2021) conduciéndonos hacia un sistema aparentemente muy tecnológico, pero paradójicamente muy estático y conservador en el que cualquier atisbo de modificación rompería con la estructura programática de los sistemas de Inteligencia Artificial al no ser las bases, donde se alojan esos datos, sensibles a las renovaciones sociales y jurídicas.

Tal y como indica Borges Blázquez “predecir el futuro mirando al pasado conlleva el riesgo de que en el futuro se sigan repitiendo los mismos estereotipos” (Borges Blázquez 2020) que, por otra parte, ya han sido superados por la sociedad en su conjunto, lo que contribuye a generar una mayor incertidumbre en el sistema judicial y un claro detrimento en la imagen global de la Administración de Justicia.

En este sentido Barona Vilar habla de una “merma ineludible en la capacidad decisoria del juez, cercenando el razonamiento lógico deductivo desplegado en la formulación de la sentencia” (Barona Vilar 2019) para hacer referencia a la eventual petrificación de las decisiones judiciales que no solo se plasma en el resultado final, sino que conlleva, entre otras muchas cuestiones, a la constricción de la labor judicial y a una despersonalización del sistema judicial.

Este último aspecto conlleva la necesidad de realizar una breve reflexión que, de forma inevitable, debe hacerse al hablar de la aplicación de la Inteligencia Artificial en un proceso judicial. La cuestión que gira en torno a la sustitución del juez por la máquina inteligente reviste, en opinión de quien suscribe, una vital importancia y trascendencia por las consecuencias adversas que se podrían desencadenar para todos los implicados en un proceso. La aplicación del derecho no es una ciencia exacta y tampoco debería convertirse en una ciencia experimental, por lo que, se debería primar, siempre y en todo caso, la labor interpretativa, argumentativa y consciente que realiza el juez a la hora de fundamentar una decisión judicial, aspecto que desde la perspectiva intrínseca de los sistemas artificiales no se podrá conseguir de modo alguno. De esta forma, debe abogarse por una utilización restrictiva de estos sistemas que sirvan como herramienta colaborativa en la función judicial pero nunca como un instrumento que derive en la despersonalización del sistema judicial y en el quebranto de las garantías procesales que, como se verá a continuación, sufren un serio detrimento debiendo conceptuarse como un límite en la configuración, diseño y utilización de aquellos.

IV. La Inteligencia Artificial: el desafío de las garantías procesales

Abordar la cuestión de la Inteligencia Artificial desde la perspectiva procesal comporta, necesariamente, llevar a cabo una reflexión sobre los riesgos que esta tecnología genera en los derechos y garantías procesales de las partes. En primer lugar, porque se trata de un asunto que ha sido advertido, de forma constante y reiterada, en los distintos textos o propuestas que se han ido realizando sobre la materia objeto de estudio; de esta forma, y sin ánimo de realizar una enumeración exhaustiva que desvirtúe la finalidad de este trabajo, en el año 2016 la Comisión Europea para la Eficacia de la Justicia puso de manifiesto la acuciante necesidad de garantizar y preservar las garantías procesales ante los riesgos que entraña la utilización de sistemas automatizados dentro de un proceso penal. En idénticos términos, se pronunció dicha comisión en el año 2018 en la Carta Ética Europea sobre el uso de la Inteligencia Artificial en los sistemas judiciales y su entorno donde conceptúa el respeto a los derechos fundamentales como uno de los pilares esenciales en el diseño, desarrollo y utilización de los sistemas inteligentes. Ese mismo año, un grupo independiente de expertos de alto nivel sobre Inteligencia Artificial elaboró un documento sobre las directrices éticas para una IA fiable en el que, nuevamente, el respeto a las garantías y derechos de las partes viene contemplado como una exigencia de imperativa observancia. Más recientemente, en el año 2021, la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas sobre la Inteligencia Artificial no solo contempla la preservación de las garantías procesales frente a la utilización de los sistemas inteligentes, sino que cataloga, como riesgo elevado, cualquier implementación de estos que se produzca en entornos jurídicos.

Por otra parte, esto nos lleva, en segundo lugar, a realizar una ponderación sobre la eficiencia y la eficacia que la Inteligencia Artificial incorpora al proceso. En términos de eficiencia, deberemos analizar la relación existente entre los recursos y los resultados, pues el término alude a una cuestión puramente economicista, encontrándonos, en este sentido, ante una justicia eficiente si, tal y como indica Barona Vilar, se obtienen unos resultados proporcionales a los recursos que la sociedad pone a su disposición (Barona Vilar, 2019). En este sentido compartimos la opinión de la doctrina al considerar “prioritario el asentamiento de la Inteligencia Artificial y su aplicación al ámbito del derecho procesal con garantías por delante de su eficiencia, más aún cuando por su innegable grado de avance tecnológico, y por lo que pudiera servir en futuras décadas como elemento de asistencia a abogados y de predictibilidad a jueces, la eficiencia se le presume” (Martín Diz, 2019).

A su vez, desde el punto de vista de la eficacia y, a pesar de la fiabilidad que estos puedan presentar, por encima de ello, se encontrará siempre la preservación y salvaguarda de las garantías procesales y, como veremos a continuación, la tutela de las mismas presenta visos extremadamente complejos relacionados con el derecho a un juicio justo, la imparcialidad judicial, la presunción de inocencia y el derecho de defensa.

Los sistemas de Inteligencia Artificial aplicados al proceso se basan en técnicas predictivas, las cuales, gravitan sobre la obtención y el análisis estadístico de diversos datos que permiten, a través de una programación previa y determinada, arrojar unos resultados porcentuales como consecuencia del cruce de algoritmos inteligentes.

Al referirnos al análisis estadístico de los datos y los algoritmos que componen el sistema, todo pareciera indicar que, en términos puramente probabilísticos, los resultados obtenidos serían fruto de unas complejas operaciones aritméticas que no traerían, en definitiva, mayores problemas. Sin embargo, la experiencia nos ha demostrado todo lo contrario y, por ello, no debemos obviar uno de los principales obstáculos para la salvaguarda de las garantías procesales: los sesgos derivados de la Inteligencia Artificial.

El diseño de las técnicas predictivas requiere, como cualquier otro sistema inteligente, de la elaboración e implementación de los algoritmos necesarios los cuales, no están exentos de la parcialidad del validador. Por lo tanto, la objetividad de estos sistemas debe ser cuestionada desde el primer momento en el que se produce la recogida de esos datos, encontrándonos con bases de datos sesgadas “por no ser una muestra aleatoria estadísticamente válida de la población de interés, o porque, en algunos casos, contienen el historial de decisiones anteriores tomadas por seres humanos, basadas en los factores que se reflejan en ellas” (Azuaje y Finol, 2020). Sobre esta cuestión Martínez Garay afirma “que los algoritmos son un mero reflejo de los datos con los que se los alimenta, de modo que si esos datos incorporan sesgos el algoritmo los reproducirá, o peor aún, los exacerbará” (Martínez Garay, 2018). En consecuencia, nos encontramos con sesgos propios e inherentes al sistema que únicamente, conducirán a resultados erráticos y subjetivos. Esta circunstancia, puede suponer una quiebra de la presunción de inocencia y, a su vez, la pérdida de la apariencia de imparcialidad judicial pues, si consideramos que los algoritmos contienen fallas determinantes que impiden afirmar su objetividad y estos, son una herramienta en la que se puede apoyar un juez para fundamentar una decisión judicial ponderando la inocencia o culpabilidad de un sujeto, pasaríamos de la eventual subjetividad del juez a la parcialidad del desarrollador del algoritmo, lo cual, abre la vía a un debate interesante sobre la legitimación de los sesgos de este último en un proceso judicial y la falta de control sobre aquellos.

El problema de los sesgos parece un mal endémico generado en los sistemas inteligentes con efectos perniciosos en el sistema judicial que muestra, además, escasas posibilidades de solución pues, como indica Bueno De Mata nunca habrá datos suficientes para garantizar la ausencia de sesgos y, en ocasiones, el volcado de esos datos no estará ni tan siquiera a nuestro alcance (Bueno de Mata, 2020).

No obstante, el problema no cesa aquí, ya que este se verá acrecentado con los denominados algoritmos de aprendizaje o machine learning, esto es, aquellos que desarrollan un aprendizaje autónomo, superando las barreras de la programación previa y resultando indescifrables para el ser humano. La opacidad de los algoritmos es, por lo tanto, un obstáculo más en la tutela de los derechos de las partes generando una lesión irreversible en el derecho de defensa.

Este hecho, no puede pasar desapercibido o entenderse como uno de los efectos que, en ocasiones, se podrán producir asumiendo la concurrencia de unos riesgos inherentes a la utilización de los sistemas de Inteligencia Artificial. Nos encontramos ante la quiebra de un derecho fundamental y, en definitiva, del menoscabo a la tutela judicial efectiva, al situar al perjudicado en una clara situación de indefensión pues, difícilmente podrá defenderse de algo que desconoce. No obstante, es preciso aclarar que este desconocimiento no solo incumbe al ciudadano perjudicado, sino también al abogado y al propio juez ya que, situándonos en un escenario en el que la aplicación de estos sistemas se realice de forma cotidiana será necesario tanto el conocimiento del derecho como también una comprensión acorde al funcionamiento del sistema inteligente en cuestión, para lo cual, será conveniente “que el fabricante de la herramienta desclasifique esa información, porque de lo contrario no podrá ser utilizada la aplicación en el ámbito procesal” (Nieva Fenoll, 2018).

En sentido opuesto, los resultados intermedios del sistema formarían parte de las denominadas “cajas negras” que serían absolutamente inaccesibles e indescifrables para el ser humano ya que como indica la doctrina, en estos casos, “no puede establecerse como el sistema evalúa y pondera los datos y la información que procesa” (Corvalán, 2018). Es decir, conocemos los valores que se han introducido en el sistema y, también, el resultado final arrojado por este pero, en ningún caso, podemos comprender el funcionamiento interno de la máquina ni el cruce ponderativo que ha realizado hasta llegar al resultado final.

Abordar esta cuestión, dentro de un sistema judicial garantista, supone un reto de enorme calado tanto para la Administración de Justicia como para los propios desarrolladores de esta tecnología teniendo en cuenta el conflicto de intereses que, sin duda, subyace de la solución que se podría plantear para hacer frente a este óbice.

Así, un remedio viable, óptimo y plausible es el que propone el citado autor al instaurar los denominados principios de transparencia algorítmica y de imparcialidad del validador en virtud de los cuales “la inteligencia artificial debe ser transparente en sus decisiones, lo que significa que se pueda inferir o deducir una explicación entendible acerca de los criterios en que se basa para arribar a una determinada conclusión, sugerencia o resultado” (Corvalán, 2018).

En definitiva, se trata de visibilizar todo el proceso interno del sistema inteligente de forma que se pueda rastrear el cruce de datos, las ponderaciones realizadas y someter a dichos sistemas a una evaluación diferida en distintas fases con una única premisa fundamental: el desarrollador del algoritmo no podrá, con posterioridad, participar en la fase de validación del mismo. De esta forma, consideramos acertado que, en las distintas fases de intervención o evaluación de la Inteligencia Artificial, participen sujetos distintos con la finalidad de garantizar una mayor fiabilidad de estos sistemas.

No obstante, este planteamiento genera un interesante debate sobre una cuestión que se verá afectada por la consolidación de la propuesta señalada: el secreto comercial que se cierne sobre el sistema inteligente. Sin embargo, la solución a este conflicto se hallaría en la ausencia de privatización sobre el algoritmo que debería ser público atendiendo al entorno jurídico en el que se desarrollaría. Es decir, en un sistema público de justicia la inclusión de tecnología privada que, en cualquier caso, responde a unos intereses absolutamente distintos a los propios de la Administración de Justicia no solo supone, de forma parcial, la externalización de un servicio (Gascón Inchausti, 2019), sino que, además, implica un riesgo añadido en el derecho a un juicio justo.

V. Los principios éticos y garantistas aplicables a la Inteligencia Artificial

Tras analizar, de forma somera, el escenario que dibuja la integración de la Inteligencia Artificial en la Administración de Justicia, podemos afirmar que su implementación en el ámbito jurídico entraña la aparición de una serie de riesgos que deben ser atajados sin demora.

Estos riesgos, tal y como indica Barona Vilar, pueden ser el resultado de defectos en el diseño general de los sistemas computacionales de Inteligencia Artificial o del uso de datos que puedan ser sesgados sin una corrección previa, entre otros (Barona Vilar, 2021).

No obstante, y con independencia de su origen, los riesgos asociados al uso de la Inteligencia Artificial precisan no solo ser corregidos con la finalidad de lograr su absoluta supresión sino, también, ser objeto de una regulación rigurosa, exhaustiva y sectorial que permita abarcar con la profundidad debida las vicisitudes que se generan en cada ámbito de aplicación.

Esta cuestión invita a reflexionar sobre la concurrencia necesaria de una serie de principios que, con carácter general y transversal, deben ser tenidos en cuenta en las futuras y eventuales regulaciones sobre la materia objeto de estudio.

En este sentido y teniendo como objetivo lograr la consecución de una Inteligencia Artificial lícita y, en suma, garantista, el Parlamento Europeo publicó el 20 de octubre de 2020 una resolución con recomendaciones destinadas a la Comisión sobre los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas, en las que se recoge una propuesta legislativa para la tramitación de un reglamento sobre los principios éticos para el desarrollo, despliegue y uso de las mismas (Lazcoz Moratinos, 2020). No obstante, y como ya se ha indicado en apartados anteriores, durante la redacción de este trabajo se publicó la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen las normas armonizadas sobre la Inteligencia Artificial. Este último documento inicia un camino fundamental en la pretendida regularización de unos sistemas de Inteligencia Artificial fiables.

Debe ponerse de manifiesto que la fiabilidad a la cual hacen referencia ambos documentos responde, en nuestra opinión, al efecto que se pretende asentar en la sociedad frente a la inseguridad o incertidumbre que despierta actualmente esta tecnología en el ámbito jurídico. En numerosas ocasiones se ha advertido, desde distintas instancias nacionales e internacionales, que los sistemas de Inteligencia Artificial deben garantizar que su funcionamiento no menoscabe las garantías procesales y, en consecuencia, ser respetuosos con los derechos fundamentales de los ciudadanos, pues no debemos olvidar que, como puso de manifiesto la Organización para la Cooperación y el Desarrollo Económico (OCDE) la tecnología aplicada a la Inteligencia Artificial debe encontrarse al servicio de las personas impulsando, de esta forma, un crecimiento inclusivo (San Miguel Caso, 2019).

Desde otra perspectiva, estrechamente vinculada a la fiabilidad de la Inteligencia Artificial, se hace preciso ahondar en la idea que gira en torno a la confianza de los ciudadanos en la Administración de Justicia. Ambos conceptos, fiabilidad y confianza parten de un mismo denominador común que pretende situar al ciudadano frente a un sistema judicial público, transparente y garantista. Por ello, cuando los sistemas de Inteligencia Artificial se implementan en un proceso debe tenerse en cuenta que, si dicha tecnología comporta los estándares necesarios para ser fiables, ello reportará en una mayor confianza en el sistema judicial pues la imagen que se pueda transmitir a la sociedad se verá reforzada por la fiabilidad antes aludida de estos sistemas.

Sin embargo, para que este paradigma tenga un reflejo real en la concepción social, es preciso la estandarización de unos principios éticos y garantistas cuya observancia será necesaria en las futuras regulaciones sobre esta materia.

Al hilo de lo indicado, debemos realizar una distinción teórica que nos permita abordar la cuestión con mayor exactitud; para ello, debemos analizar, en primer lugar, los principios éticos que, desde una perspectiva general, deben ser transversales y aplicables en todos los ámbitos en los que la Inteligencia Artificial pueda ser utilizada y, al mismo tiempo, examinaremos la implementación de aquellos en el entorno jurídico.

Desde un punto de vista ético, la Comisión Europea realizó la enumeración de cuatro principios que, a continuación, pasaremos a detallar no sin antes advertir al lector que ambos deben concurrir de forma simultánea en el desarrollo, despliegue y utilización de los sistemas de Inteligencia Artificial al considerarse un imperativo ético.

El principio del respeto de la autonomía humana:

El avance imparable de la tecnología ha abierto un debate en torno a la preponderancia, cada vez más notable, que los sistemas de Inteligencia Artificial van adquiriendo en los distintos ámbitos, llegando incluso a elevarse la cuestión hacia la autonomía de la máquina frente al ser humano.

No obstante, y a pesar de que los desarrollos tecnológicos nos situarán en un periodo de tiempo relativamente corto en un escenario muy diferente al que nos encontramos en la actualidad, es necesario resaltar que el diseño de la Inteligencia Artificial debe estar al servicio de las personas y, en ningún caso, esta relación debe tornar a la inversa. Por lo tanto, la autonomía humana frente a la máquina conlleva el deber de la supervisión y el control del ser humano sobre los procesos “inteligentes” que los distintos sistemas puedan desarrollar para, de esta forma, convertirse en un instrumento que complemente y potencie las aptitudes cognitivas de las personas sin llegar, en ningún caso, a condicionarlas o constreñirlas.

La controversia se suscita, en relación con este principio, en determinar el grado de intervención humana que se debe ejercer sobre estos sistemas ya que no solo se deberá tener en cuenta el grado de autonomía que la Inteligencia Artificial puede adquirir, sino que, también, será oportuno analizar los tres momentos -desarrollo, despliegue y uso- en los que la intervención humana puede tener cabida. En este sentido, la propuesta del Parlamento Europeo y del Consejo adjetiva en su artículo 7 que la supervisión humana debe ser integral y, en consecuencia, puede abarcar el periodo completo de la Inteligencia Artificial con la capacidad de restablecer en todo momento el control humano sobre aquella cuando sea necesario, incluso mediante la alteración o la desactivación de dichas tecnologías.

La reciente propuesta del Parlamento Europeo y del Consejo por el que se establecen las normas armonizadas sobre inteligencia artificial ahonda con más detalle sobre esta cuestión en su artículo 14, pudiendo obtenerse las siguientes premisas:

En primer lugar, el diseño y desarrollo de los sistemas de alto riesgo debe realizarse de forma que puedan ser supervisados de manera efectiva por personas físicas durante el período en que el sistema de Inteligencia Artificial esté en uso, ya que la supervisión humana tendrá como objetivo paliar los posibles riesgos que puedan surgir cuando se utilice un sistema de IA de alto riesgo de acuerdo con su finalidad prevista o en condiciones de uso indebido razonablemente previsible.

En segundo lugar, la supervisión humana engloba una serie de recomendaciones que, en función de las circunstancias, se deberán observar unas u otras. Entre la enumeración descrita en el citado artículo 14 cabe destacar las siguientes:

• Comprender plenamente las capacidades y limitaciones del sistema de IA de alto riesgo y poder supervisar debidamente su funcionamiento, de modo que los signos de anomalías, disfunciones y rendimientos inesperados puedan detectarse y abordarse lo antes posible.
• Ser conscientes de una eventual tendencia a depender de los resultados arrojados por un sistema de IA, particularmente cuando estos son utilizados para proporcionar información o recomendaciones sobre las decisiones que deben tomar las personas físicas.
• Ser capaz de interpretar correctamente los resultados del sistema de IA de alto riesgo, teniendo en cuenta las características del sistema y las herramientas y métodos de interpretación disponibles, lo que indirectamente induce a una modificación de paradigma en relación con la transparencia de estos sistemas.
• Tener la autonomía suficiente para poder decidir sobre la conveniencia o no de su utilización, así como de cuestionar, ignorar o incluso revertir el resultado obtenido a través de dichos sistemas.
• Finalmente, la supervisión humana debe poder intervenir en el funcionamiento del sistema de IA de alto riesgo o, directamente, interrumpir el sistema sin mayores dificultades.

Como puede observarse, la autonomía humana se manifiesta como un principio ético y jurídico indispensable no sólo en momentos posteriores a la utilización de estos sistemas, sino que su configuración, diseño y desarrollo debe tener en cuenta la intervención humana al configurarse la supervisión como un método garante para la evitación de los riesgos que puedan generarse y, también, para la salvaguarda de los derechos de las personas.

El principio de prevención del daño

Este principio invoca y asume la posibilidad de la creación de un daño como consecuencia del funcionamiento de los sistemas de Inteligencia Artificial. La prevención, en este caso, opera en un doble plano ya que no debe provocar daños nuevos o agravar los ya existentes y tampoco debe provocar efectos adversos debido a asimetrías de poder o de información. El obstáculo que encontramos en este principio radica en la falta de concreción y determinación en torno al concepto del daño pues, al diferenciarlo del concepto “efecto adverso” debemos plantearnos si este último puede producirse sin generar un daño.

Desde una perspectiva procesal la producción de un daño sería equiparable al quebranto de las garantías procesales, mientras que, la producción de un efecto adverso podría, decantar la convicción judicial hacia un lado de la balanza sin que ello suponga la producción finalista del daño, siendo concebido tan sólo como un obstáculo en el éxito de la estrategia procesal para una de las partes.

El principio de equidad

El concepto de equidad tiene, en nuestro lenguaje, múltiples acepciones. No obstante, en el ámbito jurídico la equidad alude a la concepción de una aplicación justa del derecho o como indica el diccionario de la Real Academia consiste en la disposición del ánimo que mueve a dar a cada uno lo que merece. El desarrollo de la Inteligencia Artificial se encuentra estrechamente vinculado al concepto de equidad pues, representa, desde un punto de vista sustantivo, el compromiso de asegurar una aplicación igualitaria que evite la discriminación directa o indirecta de colectivos determinados como consecuencia de la aparición de sesgos injustos. Por otra parte, y esta vez, desde una perspectiva procedimental, la Comisión Europea ha puesto de relieve la capacidad que tienen los sujetos de oponerse a las decisiones adoptadas por los sistemas de IA y por las personas que los manejan, así como tratar de obtener compensaciones adecuadas frente a ellas.

Esta cuestión, resulta de sumo interés en el marco de esta investigación ya que, como venimos afirmando en epígrafes previos, se hace preciso a nivel internacional establecer un sistema de responsabilidad que sea eficaz frente a los posibles errores que se deriven del uso de los sistemas de Inteligencia Artificial en el proceso. A través de la fundamentación ética de la equidad se enfatiza sobre la capacidad -mermada en la actualidad- que tiene aquel a quien se le haya generado un daño o perjuicio derivado de su utilización. El problema que debe ser resuelto ahora es determinar la manera en que esta premisa debe ser desarrollada. No obstante, para la consecución de este objetivo nos encontramos con enormes vicisitudes íntimamente relacionadas con el principio de explicabilidad que será analizado a continuación.

El principio de explicabilidad

El principio de explicabilidad es, en nuestra opinión, el pilar más importante sobre el que debe asentarse la futura regulación que se disponga a nivel internacional en materia de Inteligencia Artificial. Son varios los motivos que invitan a considerar esencial llevar a cabo una labor informativa que revele aquel conocimiento que sea primordial para salvaguardar las garantías y derechos de las partes dentro de un proceso judicial:

En primer lugar, por una cuestión de confianza no solo en la Administración de Justicia sino también, en el propio sistema de Inteligencia Artificial. Como se apuntó anteriormente, el desarrollo e implementación de esta tecnología en un proceso penal es, en la actualidad, una realidad. Por esta razón, es importante tanto para las partes, como para los operadores jurídicos, que conozcan, entiendan y comprendan tanto el funcionamiento de estos sistemas como el proceso interno de los mismos, que conlleva a la producción de un resultado final y, en ocasiones, ciertamente vinculante (Estévez Mendoza, 2020; Marínez García et al., 2021) en las distintas etapas del proceso.

En consecuencia, debemos aclarar que este principio, estrechamente vinculado al principio de transparencia algorítmica, debe abarcar todos los extremos tecnológicos que se encuentran unidos, de forma intrínseca, a la producción de un resultado. A tenor de lo dispuesto por la Comisión Europea, el grado de explicabilidad que debe ofrecerse dependerá de dos factores diferenciados; el contexto y las consecuencias que se deriven de un resultado erróneo o inadecuado (Directrices éticas para una IA fiable, 2019). Con toda seguridad, no se generarán las mismas consecuencias en los distintos contextos o ámbitos que son susceptibles de utilizar sistemas inteligentes y, del mismo modo, resulta innegable que el daño que se puede generar en un proceso penal como consecuencia de un resultado equívoco conlleva a exigir, sin duda alguna, que el grado de información que deben recibir las partes sobre el uso de estas tecnologías debe ser lo más amplio posible con la finalidad de no provocar ningún perjuicio insalvable en su derecho a la tutela judicial efectiva.

En segundo lugar, cuanto mejor conozcamos los entresijos tecnológicos que conllevan a la producción de un resultado concreto- al cual se le dota de una cierta veracidad- mayor será la seguridad jurídica que envolverá los derechos de ambas partes. En caso contrario, es decir, si su funcionamiento fuera inaccesible o incluso, indescifrable para el ser humano, nos encontraríamos ante una situación de absoluta indefensión que rompería con el principio de igualdad de partes inclinando la balanza hacia la parte menos perjudicada.

En este orden de cosas, la falta de comprensión o la ausencia del principio de explicabilidad pueden conllevar, dentro de un proceso penal, a la vulneración de las garantías y derechos de las partes, generando más riesgos que beneficios.

Por ello, es oportuno, y a todas luces conveniente, que los procesos desarrollados por los sistemas de Inteligencia Artificial sean transparentes y lo que es aún más importante, que las decisiones arrojadas por dichos sistemas sean explicables de tal forma que se pueda conocer qué datos han sido elegidos para la toma de esa decisión, cuáles han sido los parámetros empleados y, finalmente, cómo se ha llevado a cabo el cruce de datos y la ponderación global de los mismos.

VI. Conclusión

Los sistemas de Inteligencia Artificial no deben ser una herramienta para formar la convicción judicial cuando de su utilización se desprenden una serie de riesgos inasumibles en un sistema judicial garantista. En este nuevo escenario procesal debe primar, por encima de la eficiencia de la Administración de Justicia, la salvaguarda de los derechos y las garantías procesales pues, en sentido contrario, estaríamos situando a las partes en un contexto procesal tendencialmente inquisitivo e incriminatorio sin posibilidad alguna de defensa.

Por esta razón, es preciso, con carácter previo a su utilización, contar con una regulación garantista que proteja a todos los intervinientes en un proceso judicial de los eventuales fallos sistémicos que se pudieran derivar de su utilización en el ámbito procesal.

La solución pivotaría en torno a la creación de sistemas inteligentes diseñados a través de algoritmos públicos que permitieran, en virtud del principio de transparencia algorítmica, conocer los entresijos internos del sistema y los parámetros escogidos en la elaboración del algoritmo de forma que se garantice un derecho de defensa plenamente eficaz.

Ello conllevará, por otro lado, la necesidad de utilizar un lenguaje claro, sencillo y, en consecuencia, accesible para todos los ciudadanos a través de una comunicación transparente que no añada más complejidad a la cuestión.

Finalmente, y con el objetivo de evitar no solo la petrificación judicial del derecho, sino también, la denominada deshumanización judicial será preciso observar, como punto de partida, el principio y respeto de la autonomía humana frente a los sistemas inteligentes, siendo oportuno, en tal carácter, fomentar la participación del ser humano en el desarrollo, despliegue y uso de estos sistemas como una garantía de control en aras al fortalecimiento de un sistema judicial garantista e imparcial.

Bibliografía

Amunátegui Perelló, C. (2020). Arcana Technicae. El derecho y la inteligencia artificial. Tirant lo Blanch.

Armenta Deu, T. (2021). Derivas de la justicia. Tutela de los derechos y solución de controversias en tiempos de cambio. Marcial Pons.

Azuaje Pirela, M., y Finol González, D. (2020). Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones. Revista La Propiedad Inmaterial, núm. 30, 111-146. https://doi.org/10.18601/16571959.n30.05.

Barona Vilar, S. (2021). Algoritmización del derecho y de la justicia. De la Inteligencia Artificial a la Smart Justice. Tirant lo Blanch.

Barona Vilar, S. (2019). Cuarta revolución industrial (4.0) o ciberindustria en el proceso penal: revolución digital, inteligencia artificial y el camino hacia la robotización de la justicia. Revista Jurídica Digital UANDES, vol. 3, núm. 1, 1-17. https://doi.org/10.24822/rjduandes.0301.1.

Borges Blázquez, R. (2020). El sesgo de la maquina en la toma de decisiones en el proceso penal. Revista Ius et Scientia, vol. 6, núm. 2, 54-71. https://doi.org/10.12795/ietscientia.2020.i02.05.

Bostrom, N. (2016). Superinteligencia. Caminos, peligros, estrategias. Teell.

Bueno De Mata, F. (2020). Macrodatos, inteligencia artificial y proceso: luces y sombras. Revista General de Derecho Procesal, núm. 51, 1-31.

Comisión Europea (2020). Libro Blanco sobre la inteligencia artificial - un enfoque europeo orientado a la excelencia y la confianza. Recuperado el 20 de abril de 2021, de https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_es.pdf.

Corvalán, J.G. (2018). Inteligencia artificial: retos, desafíos y oportunidades. Prometea: la primera inteligencia artificial de Latinoamérica al servicio de la Justicia. Revista de investigaÇoes Constitucionais, vol. 5, núm. 1, 295-316.

Estévez Mendoza, L. (2020). Inteligencia artificial y violencia contra las mujeres: ¿funcionan los sistemas automatizados de evaluación del riesgo?. Perspectivas. Revista de Ciencias Jurídicas y Políticas, núm. 3, 127-141.

Gascón Inchausti, F. (2019). Desafíos para el proceso penal en la era digital: externalización, sumisión pericial e inteligencia artificial. En J. Conde Fuentes y G. Serrano Hoyo (Dirs.), La justicia digital en España y la Unión Europea: Situación actual y perspectivas de futuro, (pp.191-206). Atelier.

Grupo independiente de expertos de alto nivel sobre Inteligencia Artificial (2019). Directrices éticas para una IA fiable. Recuperado el 21 de abril de 2021, de https://op.europa.eu/es/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1.

Lazcoz Moratinos, G. (2020). Análisis de la propuesta de reglamento sobre los principios éticos para el desarrollo, el despliegue y el uso de la inteligencia artificial, la robótica y las tecnologías conexas. Revista Ius et Scientia, vol. 6, núm.2, 26-41. Martín Diz, F. (2019). Inteligencia artificial y proceso: Garantías frente a eficiencia en el entorno de los derechos procesales fundamentales. En F. Jiménez Conde y R. Bellido Penadés, (Dirs.). Justicia ¿Garantías vs eficacia?, (pp. 815-827). Tirant lo Blanch.

Martínez Garay, L. (2018). Peligrosidad, algoritmos y due process: El caso State v. Loomis. Revista de Derecho Penal y Criminología, núm. 20, 485-502.

Martínez García, E., Borges Blázquez, R., y Simó Soler, E. (2021). Inteligencia artificial y perspectiva de género en la justicia penal. Diario La Ley, núm. 47, 1-17.

Martínez García, J.I. (2018). Derecho inteligente. Cuadernos electrónicos de filosofía del derecho, núm. 37, 95-114. https://doi.org/10.7203/cefd.37.11440.

Nieva Fenoll, J. (2018). Inteligencia artificial y proceso judicial. Marcial Pons.

Propuesta del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas sobre inteligencia artificial (2021). Recuperado el 24 de abril de 2021, en, https://eur-lex.europa.eu/legal-content/BG/ALL/?uri=CELEX:52021PC0206.

San Miguel Caso, C. (2019). Las técnicas de predicción judicial y su repercusión en el proceso. En J. Conde Fuentes, y G. Serrano Hoyo, (Dirs.), La justicia digital en España y la Unión Europea: Situación actual y perspectivas de futuro, (pp. 41-49). Atelier.

Schwab, K. (2016). The Fourth Industrial Revolution. Debate.

Solar Cayón, J.I. (2019). La inteligencia artificial jurídica. El impacto de la innovación tecnológica en la práctica del Derecho y el mercado de servicios jurídicos. Aranzadi.