La inteligencia artificial (IA) como aplicación jurídica y razonable: la cuestión sanitaria

ARTIFICIAL INTELLIGENCE (AI) AS A LEGAL AND REASONABLE APPLICATION: THE HEALTH ISSUE

Jesús Esteban Cárcar Benito

Facultativo No Sanitario del Servicio Murciano de Salud

jesuse.carcar@gmail.com 0000-0001-7428-2192

I. Introducción

Desde agilizar el lento y costoso desarrollo de nuevos fármacos a analizar el genoma de un paciente, las aplicaciones que ya están en marcha son numerosas. Pero la IA se perfila, sobre todo, como una herramienta capaz de aprender y analizar con rapidez enormes cantidades de información de los historiales de pacientes, de las pruebas de imagen y de los avances científicos para ayudar a los profesionales a ofrecer mejores diagnósticos y tratamientos. La IA es un asociado que les liberará también de algunas tareas monótonas, como el análisis de las imágenes médicas. Es decir, algoritmos para analizar e interpretar imágenes, y trabajar en el aprendizaje de las máquinas (machine learning) para extraer la información clínica útil. Así, la IA se aplica para entender mejor el desarrollo del cerebro, optimizar el diagnóstico de pacientes, por ejemplo, con demencia, que hayan sufrido un ictus o daños cerebrales, o bien realizar diagnósticos en personas con enfermedades cardiovasculares. Hay muchas cosas que se pueden hacer de forma automática para auxiliar a los profesionales. Estos sistemas prometen ayudar a estos a evaluar a los pacientes de manera más eficiente y menos costosa (Rodríguez P., 2018).

Al analizar miles de exámenes oculares, por ejemplo, una red neuronal puede aprender a detectar signos de ceguera diabética. Este aprendizaje automático ocurre en una escala de enormes proporciones. Pero el comportamiento humano se define por ofrecer innumerables datos dispares, lo que puede producir un comportamiento inesperado por sí mismo, y esa debe ser la pretensión de la maquina

En el ámbito de la asistencia especializada, la IA médica, entre otros objetivos, pretende aumentar las capacidades y el trabajo del cirujano para mejorar los procedimientos quirúrgicos. Es una herramienta más que trata de compensar las posibles limitaciones que puedan tener los profesionales en ciertas intervenciones. El robot cirujano ha dispuesto de valiosos avances recientemente. Los robots se han descubierto como excelentes ayudantes en operaciones delicadas, como el implante coclear, que pide en cierto momento trepanar un conducto en las profundidades del oído interno. Al robot no le tiembla el pulso, y los datos muestran que sus resultados superan al cirujano humano en esa y otra tareas. Todavía estamos muy lejos del robot cirujano totalmente autónomo- la mayoría de los ingenieros los consideran aún ciencia ficción-, pero ya disponemos de una clasificación de los pasos a seguir para llegar allí. El nivel cero se refiere a los robots que dependen por completo de los humanos, y el nivel cinco designará, si algún día existe, el robot cirujano totalmente autónomo.

Los robots médicos actuales, como el del implante coclear, “andan por el nivel dos, con aspiraciones a tres” (Sampedro J., 2018). Sin embargo, hay una cuestión que preocupa desde hace tiempo a los ingenieros responsable del diseño: si sale mal la operación, la culpa es del profesional interviniente, ¿del robot cirujano o del ingeniero que lo programó? Hay una gran cantidad de asuntos a tratar. En este sector, se ha abierto un campo de investigación basado en el análisis de datos retrospectivos (Martínez Martínez, 2017) que introduce cambios y oportunidades antes prácticamente inexistentes. Así, en primer lugar, la investigación clínica de carácter retrospectivo podría acceder a un enorme volumen de datos digitalizados por los sistemas de salud. Empero, a diferencia de los ensayos clínicos generalmente confinados a universo limitado de pacientes caracterizados por padecer una patología, es posible superar un enfoque limitado por un modelo en el que analizar todas las interacciones posibles. En segundo lugar, el siguiente avance cualitativo vendrá definido por el diseño de programas de inteligencia artificial capaces de ofrecer modelos diagnósticos que funcionen como apoyo a la decisión final del facultativo.

Por ello, el Derecho tendrá que ocuparse de esta tecnología disruptiva que revolucionará la asistencia sanitaria. Hay además grandes interrogantes sobre cómo se diseñarán y funcionarán estas tecnologías una vez que lleguen al ámbito sanitario. Una regulación eficaz creará confianza en el uso de los dispositivos y aplicaciones, así como garantías éticas y jurídicas, lo cual es esencial para los ciudadanos, los pacientes y los proveedores de servicios, (instituciones y autoridades). Otro problema es si un robot (IA) sustituye a un humano aparece un problema económico y ético. De ahí que las instituciones, empresas y gobiernos se están apresurando a establecer en el ámbito sanitario códigos internos, manifiestos e incluso normas que controlen estas tecnologías.

En consecuencia, en este trabajo son reseñables los siguientes asuntos:1) el papel que ha jugado hasta ahora la IA y los conflictos jurídicos que surgirán en el derecho sanitario; (2) la definición de la IA y sus posibles aplicaciones en nuestro ámbito; (3) los principales problemas que deben resolverse para obtener una aplicación óptima en el ámbito sanitario; y (4) conclusiones sobre el futuro.

Ahora bien, siguiendo a Recasens, “la lógica de lo razonable es una lógica diferente a la formal porque dentro del ámbito jurídico se deben de tomar en cuenta las valoraciones; es decir, el campo axiológico provoca que se haga una interpretación diferente de la lógica material. Aplicando la lógica de lo razonable, una lógica práctica y estimativa, lo que se busca es la solución correcta” (Recasens, 2013). Por cierto, si nos preguntásemos, ¿qué es lo razonable en el derecho sanitario para el uso de la IA?; en último término, habríamos de responder: depende del caso. Los conceptos jurídicos indeterminados aparecen. Así es como los jueces, y la futura jurisprudencia, a través de sus decisiones, dará respuesta a este interrogante (Bazán et al ,1991). Por ello, resulta de especial interés el uso que los Tribunales hacen de esta noción, los sentidos que le han dado, el campo, en nuestro caso de la IA que intenta abarcar.

II. La IA: la solución a los conflictos jurídicos

A la vista de estas novedades, parece interesante y quizás útil, reflexionar sobre la situación actual y las perspectivas de la IA en su relación con el derecho sanitario (el derecho sanitario es una rama del Derecho público que comprende una extensa materia legislativa que parte desde la codificación del derecho a la salud hasta la regulación del Sistema Nacional de Salud y sus componentes) (Antequera Vinagre,. 2006). De ahí, hasta qué punto la maquina es capaz de afectar o condicionar en un futuro próximo el trabajo, ¿aplican estas Derecho? Y, en la medida de lo posible, avanzaremos en alguna conclusión sobre si alguna vez veremos a una máquina resolviendo conflictos jurídicos, que surgen en el ámbito sanitario.

Desde que a finales de los años 40 del pasado siglo resultaran las primeras ideas sobre la computación legal, y desde que en los años 70 del mismo salieran las primeras propuestas de lo que se denominaron sistemas legales expertos, la tecnología informática ha sido usada para el tratamiento de la información legal y clínica. Particularmente, ha sido en el campo de la recuperación de información en el que ha sido necesario realizar los más innovadores y complejos desarrollos (Casellas, 2008).Es decir, el primer paso de las máquinas construidas por los humanos corresponde a la creación de instrumentos que les ayuden a realizar tareas básicas, para posteriores desarrollos.

En el progreso de estas técnicas en la aplicación del derecho sanitario se han reconocido, desde el principio, varios tipos de problemas recurrentes: a) la dificultad de presentar resultados sobre una búsqueda (generalmente por la falta de concordancia entre los términos utilizados para definir la búsqueda y los documentos disponibles en la base de datos) b) o, por el contrario, mostrar un número excesivo de documentos sanitarios sobre la misma (generalmente por el empleo de criterios muy genéricos o por el tratamiento que de los mismo realiza el buscador). Ninguna de esas posibilidades complace las necesidades de los juristas (y, desde luego, cada una de ellas plantea a su vez una serie de problemas en los que no vamos a entrar ahora). Por otra parte, y como señala Niblett (1981), lo que estos sistemas de recuperación de información hacen realmente es suministrar documentos al usuario, cuando lo que los usuarios generalmente necesitan es una información (en forma de dato correcto o de criterio de aplicación) (Etzion. & Niblett ,2011). Ahora bien, repetidamente esta se encuentra dispersa o diseminada entre varios documentos precedentes, tanto clínicos como jurídicos.

Esta evidencia hizo que, como indicó Suskind en 1986, y McCarthy, desde los albores del desarrollo de las tecnologías de la información empezó a denominarse “inteligentes” o “expertas” (Suskind,2005), capaces de ir más allá. Básicamente de poder generar un razonamiento a partir de un núcleo básico de información y de unas reglas de trabajo. Esto lleva directamente a abordar nuevos problemas relacionados con lo que se denomina IA. ¿Qué significa este avance en la aplicación del Derecho para el ámbito sanitario?

Digno de mención es que, aun así, el sector privado ha revelado herramientas al servicio de la judicatura, tanto para proporcionar análisis probabilístico, servicios de búsqueda jurídica, formación de documentos y predicción de decisiones judiciales. Los sistemas de análisis predictivo son capaces de analizar una ingente cantidad de información y documentación jurídica en fracción de segundos (Villalta, 2020: 167).

III. El derecho y la IA: el análisis

1. A la búsqueda de un concepto

Hay muchas y posibles acepciones de IA, a mi juicio, es preferente aquella que se define como “la ciencia y la ingeniería de fabricar máquinas inteligentes, en especial programas inteligentes de computación”, entendiendo por inteligente: “la parte de la informática orientada a obtener resultados” (Mccarthy et al 1955).,.Es decir, debe destacarse desde el principio, que este concepto de IA está relacionado con la inteligencia humana, pero no tiene porqué limitarse a criterios observables biológicamente. Idealmente, un sistema basado en la IA debe disponer de un sistema codificado de reglas para resolver los supuestos que se le plantean, a partir de la comprensión de la expresión de esa tarea. Así, estamos haciendo un diseño de “patrones de reconocimiento” y “automatización o automatización artificial”. También la IA debe ser capaz de interactuar con el usuario.

Son necesarios, por tanto, cambios conceptuales estructurales: determinar la naturaleza de los sistemas algorítmicos, inclusive su consideración como posible fuente del Derecho. Habrá que reflexionar sobre las actuaciones automatizadas.

2. Posibles fines de la IA aplicada al Derecho Sanitario

Se han sucedido múltiples trabajos y análisis sobre esta especialidad. Para hacerse una idea de la evolución teórica de esta materia podríamos afirmar que la IA supone la creación de un sistema que trata de emular o imitar la racionalidad del ser humano; en el sentido de que es capaz de dar respuestas lógicas basándose en una serie de datos, reglas o instrucciones que recibe para poder alcanzar una solución. Es probablemente la disciplina técnico-científica con más potencial en los últimos años.

Desde el principio el Derecho tendría, así pues, la finalidad de solucionar un conjunto de problemas específicos del mundo sanitario, aplicando la IA. Algunos de estos problemas son conocidos y permanecerán: la organización de grandes bases de datos clínicos, y por otro lado reunir la IA y el Derecho. Se deben desarrollar tecnologías capaces de resolver eficientemente los problemas y consultas propuestos desde tres aspectos diferentes: “el sistema o herramienta debe ser capaz de comprender e interpretar el lenguaje natural, la modelación de las reglas y pautas jurídicas de nuestro ordenamiento; debe ser capaz de procesar toda la información e interpretar una consulta” (Lets law. 2019). Por ejemplo, si nos encontramos ante un supuesto jurídico que requiere una respuesta inmediata, podemos dotar a un sistema o herramienta con una serie de datos asistenciales (como los hechos, las personas implicadas en el suceso clínico, el plazo tanto asistencial como jurídico) y ponemos a su disposición una gran base de datos, como la jurisprudencia, la doctrina, la legislación y toda la documentación referente a nuestro asunto. La herramienta aglutinará toda esa información clínica y el acervo del ordenamiento jurídico sanitario para dar una respuesta jurídica que sirva para apoyar y desarrollar la resolución de un caso concreto, por ejemplo, la responsabilidad sanitaria o acceso a una prestación.

Los seres humanos no somos capaces de navegar y analizar toda la documentación que se encuentra digitalizada, entonces lo que nos permite la IA es analizar toda esa información elaborada para llegar antes a las opciones que se plantean y poder elegir.

3. Racionalidad y razonabilidad en la IA: su aplicación al derecho sanitario

Según señala Alexy, “el auditorio universal se compone de los hombres en cuando seres racionales, entendiéndose por tales quienes entran en el juego de la argumentación” (Alexy, 2008) ¿Habría, por lo tanto, que ampliar el auditorio con la IA? En este estudio, nos preguntamos sobre la racionalidad y la razonabilidad en el uso de la IA, como herramienta del derecho sanitario. El TC ha empleado el término en diversos sentidos cercanos entre sí. Así, ha entendido lo razonable como lo justificado, lo no arbitrario, sobre todo en todos aquellos supuestos en los que resulta relevante el principio de igualdad (art. 14 CE) (Bazán et al,1991). La razonabilidad ha aparecido, asimismo en la jurisprudencia constitucional para designar “proporción “y “ajustamiento” entre dos términos. En estos supuestos se está apelando, en definitiva, al concepto de medida. Así, por ejemplo, el TC exige una “razonable proporción” (STC 84/87, STC 30/87). El término razonable aparece en la IA como medida de tiempo: proporción entre tiempo y proceso (derecho a su uso dentro de las cuestiones sanitarias), y su utilización para que la concreta valoración de los conceptos jurídicos indeterminados no sea arbitraria, sino que siempre existen criterios objetivos, cuya concreta aplicación es prudencial, dependiente de las circunstancias del caso clínico. Lo cual excluye, de entrada, la contingencia de una determinación apriorística de cuál ha de ser la solución justa en el caso analizado.

Por último, estaría lo razonable como lo ordinario, normal esperable. Este es el significado de lo razonable y, por lo tanto, de exigible cumplimiento, salvo causa justificada. Lo que habría que señalar es la exclusión, en cuanto a su exigibilidad de la conducta extraordinaria. De allí que la idea de consenso, como expresión de la voluntad subjetiva y libre de contenidos a priori, es cuanto más necesaria para abordar la IA en la aplicación del Derecho en cuestiones sanitarias. En este contexto, Recasens señala que la lógica de lo razonable estaría limitada por la realidad concreta a la que nos enfrentamos. (Recasens, 2013:25 ss.)

IV. LA INTERPRETACIÓN Y LA LÓGICA EN EL DERECHO SANITARIO CON MOTIVO DE LA IA

1. Los criterios del lenguaje en las profesiones sanitarias

El lenguaje jurídico posee algunas características propias que aumentan la dificultad de comprensión de las consultas formuladas. Estas dificultades se deben, principalmente, a la vaguedad, ambigüedad y textura abierta del derecho. La máquina no puede saber cuál es el significado correcto sin haber sido programada para ello.

La vaguedad es una característica de las palabras/conceptos, carentes de firmeza o sin precisión. Sin embargo, la ambigüedad se presenta cuando un determinado contexto puede entenderse de varias maneras o modos, admitiendo distintas interpretaciones que podrían originar ciertas confusiones en una determinada pretensión (Hidalgo, 2017). La textura abierta del derecho sanitario supone un vicio potencial debido a los lenguajes y jergas profesionales del ámbito sanitario. Reside en la posibilidad de que surjan dudas acerca de la aplicabilidad de una palabra que en la actualidad tiene un significado preciso, y en circunstancias futuras insólitas o imprevistas no sería así (Fernández Hernández C.; Boulat P, 2019).

La variedad enorme de significados posibles, que serían entendidos, a través de un proceso de inferencia, es una realidad inmediata. Extraer un juicio o conclusión a partir de hechos, proposiciones o principios, sean generales o particulares, es el objetivo. Si un significado concreto no constara como programado, no sería posible que la maquina lo entendiera. El problema sintomático, sin embargo, es más general: ¿Cómo programar la inferencia y el sentido común en el mundo del derecho sanitario?

2. La modelización de las reglas de la IA en el derecho sanitario

Con lo afirmado, la modelización de reglas y pautas jurídicas para hacerlas comprensibles por la máquina que debe aplicarlas en el ámbito sanitario supone un problema a la hora de construir un sistema de IA aplicado a su regulación. Y, hasta fecha, este obstáculo no se ha podido superar satisfactoriamente. La sustantividad de los conceptos del derecho sanitario nace de la posesión de un objeto propio. De donde surge también la sustantividad de la misma disciplina, como rama del Derecho. Parece fuera de toda duda que el objeto propio del derecho sanitario es el derecho a la salud. Esta característica hace sumamente complejo crear una ontología o diseño del sistema de reglas asociado al mismo capaz de ser comprendidas por la máquina. Por otro lado, la subjetividad del autor de la modelización condiciona notablemente su lógica y estructura.

En este contexto, la IA y el Derecho, en un sentido amplio, se codifican en la función del error que deseamos minimizar (Latorre, 2019). Programar, por ejemplo, el derecho nos lleva a las siguientes preguntas: ¿Qué derecho o pretensión debemos programar?, ¿cómo debemos aplicar el derecho? Hay una tercera pregunta de consecuencias inmediatas: ¿Quién escribe la subrutina[ 1 ] ética o jurídica?

Esto nos traslada a evitar dos peligros obvios para la IA: a) la ética y su juridificación programada en la práctica debe ser supervisable; b) los responsables de un programa real deben ser identificables; c) son tanto en la valoración de los hechos que pone en marcha la actividad como en la determinación de la concreta respuesta que corresponde conforme a derecho; d) da un variable y margen de apreciación o de discrecionalidad. Es decir, surge la operación por la cual cierta instancia (en particular un tribunal) determina los hechos que el derecho define in abstracto en normas generales e individualiza las consecuencias previstas (ordenando su ejecución) (Cárcar Benito, 2019).

3. La capacidad de proceso (el motor de inferencia) y la experiencia

Pero otra dificultad adicional, para el caso de que se pudiese llegar a disponer de una modelización eficiente de un ordenamiento como el sanitario en materia de IA, reside en la capacidad de los actuales sistemas de proceso para ser capaces de interpretar la consulta, por ejemplo de acceso a una prestación sanitaria, y explotar las reglas de razonamiento aplicables. Por esto, existen varias posibilidades en esa relación Derecho e IA: a) casos normativamente difíciles de conflictos (ético-jurídicos) por la indeterminación semántica y vaguedad conceptual de los términos del propio ámbito jurídico-sanitario; b) casos epistémicamente y metodológicamente difíciles en los que el hallazgo de la respuesta precisa un notable esfuerzo profesional; c) casos pragmáticamente difíciles por causas ajenas al derecho sanitario, por ejemplo por razones de trascendencia y conflicto político y social; d) casos tácticamente difíciles o que plantean dudas sobre la calificación jurídica de los hechos, muy corriente en el derecho a la salud; e) casos moralmente difíciles o de justicia distributiva, en los que la respuesta jurídicamente correcta comporta resultados injustos. Los sistemas más avanzados no repiten mandatos, sino que se adaptan interactivamente a las circunstancias, y tienen capacidad de aprendizaje (Barrio Andrés, 2018). Es decir, como señala Churmin (2011), ante esto, la estructura y flexibilidad, son los dos requisitos fundamentales. Puede afirmarse de forma incontestable que las máquinas, como son capaces de cálculos matemáticos complicados de forma constante, seguramente serían más ostensibles en cuanto a la ética y a un comportamiento ajustado a la Ley que muchos seres humanos. Por eso, las únicas experiencias llevadas a cabo se han dirigido a áreas muy concretas del Derecho (como el arbitraje) en los que precisamente, el valor del precedente, con independencia de la norma y su interpretación, cobra mayor importancia.

4. La introducción de la lógica jurídica a la máquina

A la hora de resolver estos retos debería existir un trabajo previo en materia jurídico-sanitaria, por medio de un sistema que reconozca preguntas formuladas en lenguaje natural, que sea capaz de emplear reglas de relevancia a la documentación analizada mediante criterios médicos. Y, por otra parte, los propios del ordenamiento aplicable, mostrando por lo menos mínimamente los criterios empleados y con posibilidad de aprendizaje.

La Lógica Jurídica no puede ser, por tanto, otra cosa distinta a la aplicación del conocimiento racional al estudio, elaboración, interpretación y aplicación del derecho sanitario. El sistema, a través de la IA, se basa en un triple eje: 1. “El empleo de un sistema basado en conocimiento permite al usuario experto en el dominio definir las comprobaciones a realizar durante la validación y las acciones más adecuadas a seguir en cada caso., utilizados por el usuario y los amplía gracias a una red de sinónimos estrictos” (Díaz-Casillas et al, 2010).; 2. Un sistema de codificación de los criterios de relevancia basado en los metadatos disponibles en los documentos de la base de datos.;3. Un sistema de anticipación de resultados (con unas sugerencias avanzadas de documentos) y de depuración de los obtenidos a través de una búsqueda (a través de criterios refinados de relevancia).

Los desarrollos referenciados que en la actual coyuntura han empeñado un alto nivel de eficiencia han abierto nuevos caminos y perspectivas en la obtención de información (no simplemente documentación) jurídica. Sin embargo, no están pensados como un sistema experto capaz de razonar con un sistema complejo, dentro del ámbito sanitario, que parte desde la confirmación del fundamental derecho a la salud. Hasta la regulación del Sistema Nacional de Salud y sus componentes. No hay reglas jurídicas (aunque utilice un conjunto básico de las mismas) capaces de brindar diversas alternativas razonadas al usuario.

En consecuencia, por ejemplo, sería provechoso indicar si un médico-robótico procura consejos óptimos sobre diagnosis y tratamientos a enfermos. Es decir, debido a un mal funcionamiento, recomienda un tratamiento adverso. Como resultado, el enfermo muere: ¿Quién tiene la culpa y, por tanto, la responsabilidad? La Lógica Jurídica nos lleva a que no hacen falta grandes cambios jurídicos. Los principios para atribuir la responsabilidad se mantienen iguales, aunque sea necesario refinarlos o incluso ampliarlos (Churmins, 2011:108).

V. EL NIVEL REGULATORIO DEL DERECHO SANITARIO

1. La normatividad

La IA, concebida como la capacidad de las máquinas para actuar emulando la inteligencia humana, está presente en nuestro día a día. Cuando todavía no habíamos completamente asimilado la revolución de Internet, nos hallamos ante una nueva revolución industrial (la cuarta) en la que, gracias al crecimiento exponencial derivado de los impresionantes avances en el procesamiento y almacenamiento de datos (la ya legendaria Ley de Moore), los algoritmos son capaces de realizar actividades antes reservadas exclusivamente a la mente humana. Los plazos para alcanzar la singularidad pronosticada es lo que es preocupante,

El problema con el que nos encontramos en la actualidad es que ese proceso de adaptación es bastante más lento que los avances tecnológicos que van apareciendo. Para ello, para garantizar que la IA ayude a mejorar el bienestar de los seres humanos, es fundamental un marco regulatorio adecuado (De Asís Roig, 2006:41). Ello exige una revisión de todos los asuntos de Derecho afectadas que, a mi modo de ver, debe estar guiada por cinco principios, a mi juicio: a) principio de intervención mínima; b) actuación a nivel supranacional; c) promoción de la innovación; d) respeto de los derechos fundamentales; e) garantizar la ciberseguridad.

Desde estas el derecho sanitario, y con la mirada puesta en el ser humano, debemos partir de las reflexiones avanzadas por la ética desde la óptica de los derechos humanos que se proyectarán necesariamente sobre el aspecto regulatorio del derecho a la salud. El Derecho precisa de la ética para fundamentar sus normas y la ética necesita del Derecho para hacer más fuertes sus conclusiones (Veruggio, 2006).La Roboética es entendida como el conjunto de criterios o teorías para dar respuesta a los problemas éticos derivados del diseño, creación, desarrollo y uso de robots. Estamos ante una cuestión que despliega un colosal camino, las relaciones entre seres humanos y máquinas, y el estatus moral de los robots (su consideración como agentes morales);cuando éstos son o poseen ciertas características que los aproximan a los humanos. De Asís Roig (2006) los sintetiza destacando a los efectos de este estudio: “la afectación del mercado de trabajo; y los resume en los dos siguientes: usos y límites de la robótica y trato al robot, en este caso y de forma singular planteando si el robot siempre ha de ser tratado como objeto avanzando hacia su consideración como agentes morales o incluso como sujetos”

2. Regulación a nivel internacional

Cualquier actuación legislativa debe llevarse a cabo a nivel europeo o internacional. Y ello al menos por tres razones. Primero, los proyectos relacionados con la IA (ya sean negocios empresariales o proyectos de investigación) tiene como objeto bienes intangibles (contenidos digitales, datos o software) o servicios que se prestan en la nube. Segundo, la ubicuidad es total: empresas y centros de investigación tienen la posibilidad de actuar con un total desconocimiento de las fronteras. Tercero, para que esto sea posible es preciso que el marco legislativo esté armonizado. De lo contrario las empresas se opondrían a obstáculos legislativos y un grado de inseguridad jurídica que podría desincentivar muchas iniciativas.

El Comunicado nº. 318.-de la ONU (fecha de publicación 26 de noviembre de 2018) adopta la Resolución “Impacto del cambio tecnológico rápido en la consecución de los Objetivos de desarrollo sostenible y de sus metas”, promovida por México. La resolución hace una llamada a todos los Estados y agencias del sistema de las Naciones Unidas a fomentar políticas públicas y compartir mejores prácticas para que las nuevas tecnologías auspicien la consecución de la Agenda 2030; incorpora las 169 metas de los 17 Objetivos de Desarrollo Sostenible al análisis del impacto del cambio tecnológico rápido. Crea la coordinación, hasta ahora inexistente, entre el mecanismo de “facilitación” de Tecnología creado por dicha Agenda y sus tres componentes con la Comisión de Ciencia y Tecnología para el Desarrollo y otros foros. En consecuencia, identifica la IA como una de las tecnologías emergentes de enorme impacto en el desarrollo sostenible; pretende que se reflexione sobre el cambio tecnológico en la revisión cuatrienal del progreso mundial de la Agenda 2030; e incita a un debate de alto nivel sobre el tema para el plenario de la 74° sesión de la AGONU, en septiembre de 2019, que se espera sea a nivel de mandatarios.

En resumen, el Estado no puede competir en solitario. Es preciso sumar fuerzas en el seno de las organizaciones supranacionales, y, aun así, el reto es indudablemente complejo. Por ello, esta actuación a nivel europeo está consentida por la necesidad de acumular conocimiento, como vamos a ver: cuantos más sean los expertos involucrados en el diseño de esas normas, mayores posibilidades tenemos de adoptar una regulación que tolere a nuestras empresas competir en mejores condiciones en el escenario internacional.

3. Intervención regulatoria mínima

Si los plazos para que la sociedad se adapte a los cambios tecnológicos son largos, los del Derecho lo son todavía más. Conviene recordar el largo proceso de adopción del nuevo Reglamento general de protección de datos personales (7 años desde la presentación de la propuesta hasta su aplicación efectiva), o de la propuesta de Directiva de derechos de autor en el mercado único digital (iniciada en 2016 y con un plazo de transposición que, en el mejor de los casos, nos llevará a 2021).

El progreso de la ciencia y la tecnología en el terreno de la salud, así como las inquietudes que genera la utilización y la manipulación del cuerpo, consecuencias imprevisibles que a largo plazo pueden tener, sitúan a las sociedades en un dilema: regular procesos, como la IA, cuya dinámica se abandona o arriesgarse a que la falta de controles produzca efectos adversos. ¿Es el Derecho la mejor y/o única respuesta a todos estos problemas?

La adaptación del ordenamiento jurídico a los retos de la IA debe venir de la mano de la interpretación los textos actualmente existentes de acuerdo con la nueva realidad social por parte de las autoridades competentes. Los jueces y otros aplicadores del Derecho tienen un reto enorme: adecuar sus conocimientos y destrezas a la nueva realidad (Sánchez-Urán et al,2018).

El desafío es participado por toda la sociedad para sobrevivir en el nuevo escenario sanitario que nos propone la introducción de herramientas de IA en todos los ámbitos del derecho a la salud Es necesario renovar constantemente nuestros conocimientos. Por ahora, solo un mínimo número de entidades (en realidad, un número reducido de empresas tecnológicas) posee los conocimientos necesarios para poder entender el impacto y las participaciones globales de los servicios que utilizan. Es necesario romper ese monopolio. La Unión Europea se ha preocupado sobre esta realidad; un ejemplo de esto es la resolución del parlamento destinada a normar el derecho civil sobre robótica (2015/2013 (INL), el Europena Civil Law Rules in Robotics, en los que se recogen nueve principios como: “1. Proteger a los seres humanos de los daños causados por robots. 2. Respetar el rechazo de la atención por parte de un robot. 3. Proteger la libertad humana frente a los robots. 4. Proteger a la humanidad contra las violaciones de la privacidad cometidas por un robot. 5. Gestión de datos personales procesados por robots. 6. Proteger a la humanidad contra el riesgo de manipulación por robots. 7. Evitar la disolución de los vínculos sociales. 8. Igualdad de acceso al progreso en robótica. y 9. Restringir el acceso humano a las tecnologías de mejora”.

Esta conmoción conlleva nuevos desafíos a los que la regulación existente no da respuesta. Parece necesario afrontar no sólo cuestiones jurídicas, sino también sociales, económicas, éticas y sanitarias con el objeto de garantizar la libertad, la autonomía y la seguridad de los seres humanos, esclareciendo cuestiones tales como cuál es la condición jurídica del robot, si deben tener o no un régimen especial de derechos y obligaciones, quién toma la responsabilidad de las acciones y omisiones de los sistemas autónomos e impredecibles, o el conjunto mínimo indispensable de medidas organizativas, técnicas y legales en el ámbito sanitario para avalar su desarrollo seguro y minimizar los riesgos a los que están referidas las personas. La dificultad es establecer en detalle los derechos y deberes de las máquinas inteligentes; no se puede resolver inmediatamente, pero es un error no discutir a fondo este tema.

Es verdad, que no debemos tardar en elaborar una regulación avanzada en el mundo sanitario, que pueda impulsar el desenvolvimiento de la robótica y de la IA; y asegurar un desarrollo congruente con los valores propios de las constituciones y de la Carta de los Derechos Fundamentales de la Unión Europea. Entre las distintas iniciativas reguladoras, cabe destacar la importante Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de “Derecho civil” sobre robótica, que reúne las principales líneas de trabajo para el legislador al respecto entre las que destacan los principales problemas de la IA y el Derecho. La perspectiva de desarrollar tecnologías capaces de resolver eficientemente estos problemas como los propuestos se basa en tres premisas: “a) que el sistema sea capaz de entender la consulta efectuada por el usuario en lo que se denomina su lenguaje natural; b) que disponga de la expresión informatizada del conjunto de reglas de Derecho aplicables y, por último, c) el que sea capaz de relacionar la consulta con ese conjunto de reglas sanitarias, en nuestro caso, y jurídicas, para poder identificar opciones, elaborar conclusiones y ofrecer respuestas al usuario”.

Ante este inconveniente y favorecer normas que no devenguen obsoletas al poco tiempo, otros recursos importantes para facilitar la adaptación del ordenamiento jurídico son los instrumentos de soft law, es decir, aquellos que sirven para denotar acuerdos, principios y declaraciones que no son legalmente vinculantes Un buen ejemplo es la labor que lleva a cabo el Comité Europeo de Protección de Datos o la Agencia Española con sus guías e informes, los cuales aportan seguridad jurídica. Como se ha señalado, hay acuerdo de que en ciertos campos son necesarias las menos leyes posibles, porque en materia fluctuante y siempre singular, como es la IA, no se presta a un tratamiento uniforme (Zapatero Gómez, 2009).

Sin duda alguna, es preciso un análisis pormenorizado del ordenamiento jurídico, pero las modificaciones legislativas deben ser mínimas por lo que tardan en adoptarse, y lo poco que tardan en desactualizarse. Baste un ejemplo, por extraño que parezca, en la propuesta de Directiva sobre derechos de autor, anteriormente citada, no aparece ninguna referencia a la IA. ¿Es preciso abrir un nuevo proceso legislativo para regular los problemas que la IA implica para los derechos de autor? ¿Sería preferible interpretar las normas actualmente vigentes de acuerdo con el nuevo marco tecnológico?

La Unión Europea necesita ofrecer el marco apropiado para reforzar la democracia y los valores de la UE; el marco de la inteligencia artificial y la robótica debe explorarse no sólo a través de aspectos económicos y legales, sino también a través de sus impactos sociales, psicológicos y éticos(Comisión Europea, 2018).

VI. El problema del profesional responsable con motivo de la IA: la información

Desde hace unos años la sociedad científica está empezando a demandar la necesidad de determinar las responsabilidades legales, éticas y morales, que se derivan del uso de los robots, y aunque dibujar una línea divisoria entre humanos y robots hoy en día no parece complicado, las últimas tecnologías están difuminando los aspectos diferenciadores a nivel externo entre persona y robot. Cada vez hay más voces que solicitan a los gobiernos la creación de un marco legal que delimite las responsabilidades de la robótica, ya que si bien los robots en principio no podrían ser acusados de intencionalidad, según algunos juristas sí que pueden ser considerados en cierta medida responsable de sus acciones en el sentido legal del término. Los robots inteligentes cuentan con la destreza de ejecutar algunas operaciones comparables con la mente humana, como el aprendizaje o el razonamiento lógico. Sin embargo, a fecha actual, carecen de otras habilidades como la inteligencia emocional para reconocer el entorno y la intuición. Carecer de intuición y sentimientos es un elemento clave que determina la imposibilidad de configurar a un robot como una persona, ya que su forma de entender y actuar se articula de modo diferente (Santos González, 2017).

1. El profesional sanitario

En este escenario, el análisis jurídico de la robótica podría abordarse enmarcándola dentro de una nueva rama jurídica autónoma, el Derecho de los Robots (Robot Law), para dar respuesta a los nuevos desafíos que se van a ir planteando y a situaciones disruptivas del mundo sanitario. No obstante, no todo resulta comprensible sin hacer una breve alusión a los profesionales sanitarios responsables de la información desde el punto de vista de la legislación actual. En nuestro ordenamiento jurídico, La Ley 41/2002 creó la institución del “médico responsable”, individualizando el elemento subjetivo de la prestación sanitaria permitiendo atribuirle sus correspondientes deberes. El concepto de “médico responsable debe entenderse en sentido amplio, englobando a otros profesionales sanitarios en el ejercicio de sus funciones. La institución del médico responsable permite ofrecer una serie de consideraciones jurídicas, siguiendo a Ricardo de Lorenzo y Montero (2019 al respecto, serían:

1. Las funciones básicas del mismo consisten en la coordinación de la información y en la coordinación de la asistencia sanitaria, con lo cual el legislador equipara legalmente el deber de asistencia con el deber de información.
2. El médico responsable se erige en el interlocutor por excelencia del paciente.
3. Que, aun siendo el médico responsable el interlocutor principal del paciente, debemos enseguida matizar que pueden intervenir otros profesionales de la salud, los cuales no quedan exonerados de sus obligaciones legales por la presencia del médico responsable.
4. Que el deber de información asistencial tiene carácter universal y se extiende a la totalidad de la atención sanitaria, no pudiendo el médico responsable limitar su alcance, pues existe un contenido legal predeterminado, cuya extensión ya no pertenece a la discrecionalidad del facultativo.
5. Que el deber de información no es puntual y aislado, sino que, por el contrario, se desarrolla de modo continuado y sucesivo en el tiempo (durante el proceso asistencial, dice la Ley 41/2002).

El fundamento objetivo del régimen jurídico de información al paciente lo constituye la respuesta a la cuestión sobre “qué se debe informar al paciente”. La Ley 41/2002, define el contenido de la información en diversos artículos que, para mayor claridad expositiva, y siguiendo la terminología legal, podemos sistematizar como el contenido ordinario, el contenido mínimo y, finalmente el contenido básico, éste último para aquellos supuestos en que se exige un consentimiento informado por escrito.

Por lo que se refiere al contenido ordinario (artículo 4.1 de la Ley 41/2002), la norma jurídica dispone que los pacientes tienen derecho a conocer, con motivo de cualquier actuación en el ámbito de la salud, toda la información disponible sobre la misma, salvando los supuestos exceptuados por la Ley. Ya no es el profesional sanitario quien delimita “qué se debe informar”, sino que, por el contrario, es el paciente quien le puede reclamar “toda la información disponible”. Al médico le será exigible que conozca en el ámbito de su actuación el estado actual de la ciencia médica a los efectos de atender la información que demande el paciente.

Los supuestos en que el paciente no tiene derecho a la información se concretan por la vía de una remisión (“salvando los supuestos exceptuados por la ley “) que, al ser genérica y abierta, alcanza no solamente aquéllos exceptuados en la Ley 41/2002, de 14 de noviembre, sino los exceptuados en cualquier otra ley, así como los que, en el futuro, logren ser objeto de restricción legal.

En lo que respecta al contenido mínimo, corresponde señalar que el legislador, reproduciendo casi literalmente lo establecido al efecto en el Convenio de Oviedo, y atendiendo a la doctrina jurisprudencial, ha fijado el contenido mínimo del derecho a la información en los términos siguientes: “ la información … comprende como mínimo, la finalidad y naturaleza de la intervención, sus riesgos y consecuencias”.

En fin, en lo atinente al contenido básico se alude a la información que debe recibir el paciente antes de prestar su consentimiento (artículo 10.1 de la Ley 41/2002). A diferencia del derogado artículo 10.7 de la Ley General de Sanidad, que exigía la formalización del consentimiento por escrito, la Ley 41/2002 establece que, como regla general, el consentimiento será verbal.

Ahora bien, existen tres supuestos (intervención quirúrgica, procedimientos diagnósticos y terapéuticos invasores) y, en general, procedimientos que suponen riesgos o inconvenientes de notoria y previsible repercusión negativa sobre la salud del paciente, exceptuados del consentimiento oral, para los que se exige un consentimiento por escrito. Para estos supuestos de consentimiento por escrito el legislador establece también, y en paralelo, una información específica que califica como “información básica” y que se concreta en las consecuencias relevantes de la intervención, los riesgos personales y profesionales, los riesgos probables y las contraindicaciones (Sánchez Saro ; J. Abellán F.,2003).

En lo atinente a la tercera clase de información, es decir la información terapéutica, la misma se narraría a los pacientes no hospitalizados, y su objeto sería el modo de vida, las precauciones que tendría que guardar el paciente, los modos alimenticios, los análisis y pruebas periódicas a los que debería que someterse, etc. La finalidad de la misma es facilitar el deber de colaboración en el tratamiento que corresponde, desde luego, al paciente, pero también a quienes deben, moral o jurídicamente, prestarle asistencia.

2. El profesional sanitario-robótico

Quizás, después de esta descripción, es preciso revelar la correspondencia de la tecnología, IA, con el empleo sanitario y, sería importante concretar si los robots pueden tener una personalidad jurídica propia y precisar quién debe de asumir la responsabilidad de sus acciones en caso de negligencia por omisión de funciones o fallo en su actuación, y quién tiene la responsabilidad en el caso de robots autónomos, ya que entonces ya no se les puede pensar como simples instrumentos en manos de personas; lo que hace insuficiente la normativa general actual sobre responsabilidad y se precisan de nuevas normas y regulaciones que nos marquen a nivel legal en qué manera un robot o incluso sus diseñadores y programadores pueden considerarse en manera total o parcial responsable de bien sus actos o sus omisiones.

Existe la necesidad de revisar la regulación aplicable; no es razón suficiente para crear una nueva categoría de persona, para el ámbito sanitario. Parece difícil extrapolar la personalidad -física o jurídica- al ámbito de los robots, y calificarlos como sujeto, ya que tanto las personas físicas o las jurídicas tienen como base una persona humana o un grupo de ellas. a diferencia del robot, cuya realidad física es material de base tecnológica (Lambea Rueda,2018). Lo que nos puede parecer de ciencia ficción ya es una realidad; en nuestro mundo actual; un estudio del Gobierno británico publicado en el 2006 vaticinó que en los próximos 50 años los robots demandarían los mismos derechos que actualmente ostentan los humanos, donde ya hay leyes y normas específicas para robots.

En nuestro Parlamento Europeo también se ha debatido: “se planteaba la creación de un estatuto jurídico específico de modo que al menos los robots autónomos más complejos puedan ser considerados personas electrónicas con derechos y obligaciones específicos, incluida la obligación de reparar los daños que puedan causar, y que los robots autónomos sofisticados pudieran tener la condición de personas electrónicas con una personalidad jurídica específica” (Delvaux , 2015).

Dicha personalidad electrónica se aplicaría a los supuestos en que los robots puedan tomar decisiones, como son las sanitarias, autónomas inteligentes o interactuar con terceros de forma independiente. También se propuso la creación de un seguro obligatorio para fabricantes y propietarios para poder responder por los daños causados por los robots y la creación de un régimen de responsabilidad limitada para el fabricante, el programador, el propietario o el usuario en la medida en que los robots inteligentes autónomos dispondrían de un fondo de compensación generado a través de la remuneración de los servicios realizados. Así, se crearía un registro específico de la Unión que garantice la asociación entre el robot y el fondo del que depende, y que permita que cualquier persona que interactúe con el robot esté al corriente de la naturaleza del fondo, Habrá que especificar los límites de su responsabilidad en caso de daños materiales, los nombres y las funciones de los participantes. También se habla de la creación de un canon, bien único al introducir el robot en el mercado o mediante pagos parciales periódicos a lo largo de la vida útil del robot.

El escritor Isaac Asimov, describió en su día, las tres Leyes de la Robótica, que aparecen formuladas por primera vez en 1942, en el relato “Círculo vicioso”. Estas leyes son formulaciones matemáticas, en los senderos positrónicos del cerebro de los robots, siendo un conjunto de normas impresas que tienen diseñadas para cumplir y que básicamente dicen: 1ºUn robot no hará daño a un ser humano o, por inacción, permitir que un ser humano sufra daño; 2º Un robot debe hacer o realizar las órdenes dadas por los seres humanos, excepto si estas órdenes entrasen en conflicto con la 1ª Ley; 3º Un robot debe proteger su propia existencia en la medida en que esta protección no entre en conflicto con la 1ª o la 2ª Ley(Asimov, 1989).

Los robots y la IA empiezan a plantear ya en el momento actual debates jurídicos, económicos, sociológicos y morales, y por ejemplo destacan las siguientes cuestiones: la propiedad industrial e intelectual; la legalidad del uso masivo de datos o Big Data, mediante algoritmos avanzados; el valor determinante sobre los datos; y lo importante es el algoritmo para obtener los resultados y como proteger el algoritmo.

La propia Unión Europea ha financiado el Proyecto Robot-Law para el estudio y sistematización de las fundamentos éticos y jurídicos sobre los que fundar la normativa que regulará esta materia, la relación entre IA y Derecho, y en vista de que los robots se hacen fuertes en las empresas y están revolucionando los entornos de trabajo, para adelantarse a un futuro con puestos totalmente automatizados. Sobre la mesa del Parlamento Europeo descansa una propuesta, conocida como Informe sobre Personas Electrónicas, que procura que las máquinas inteligentes paguen impuestos y coticen a la Seguridad Social, y también se estudia la posibilidad de gravar a ciertas máquinas como si fueran personas ante el avance de la IA en las empresas, aunque eso exigiría una profunda revisión de las leyes comunitarias.

El proyecto Robolaw , marzo de 2012, por la Comisión de Asuntos Jurídicos de la Unión Europea, podría decirse que fue el primer antecedente de regulación jurídica de los robots en la Unión Europea al tratar de estudiar y comprender las implicaciones legales y éticas de las tecnologías robóticas emergentes. La finalidad de este proyecto, denominado realmente “Regulación de las tecnologías emergentes en Europa: Robótica frente a la ley y la ética”, era la de realizar un estudio íntegro del “estado” legal de la robótica y establecer las bases para un futuro marco legal regulatorio de esta tecnología. Con este estudio, se elaboró una serie de directrices dirigidas a los responsables políticos europeos y dedicadas a promover una base técnicamente viable, pero también ética y jurídicamente sólida para futuros desarrollos de robótica.

El resultado final del proyecto se concluyó en la compilación de una sucesión de directrices para regular la robótica. Se estructuró un documento en una parte general y cuatro apartados en los que trató sobre la problemática de los coches sin conductor, los robots cirujanos, las prótesis robóticas y los robots para el cuidado de personas ancianas o discapacitadas.

Así, a primera pregunta sería: ¿Qué es un robot en el ámbito sanitario? Existe una abundancia de tecnologías que, en la práctica, denominamos como robots. Tenemos softbots, nanorobots, biorrobots, biónica, androides, humanoides, cyborgs, drones, exoesqueletos, etc. Debido a la dificultad a la hora de definir qué se entiende por “robot”, en el proyecto robolaw se optó por intentar establecer las principales características que debe reunir para ser considerado como robot. Así, un robot debía de:” a) estar destinado para realizar un uso o tarea específica; b) operar en un entorno (environment); c) definir la naturaleza del robot que normalmente será como robot incorporado (máquinas, sistemas biónicos híbridos y robots biológicos), o no incorporado (software o inteligencia artificial); d) el robot debe de tener interacción con los seres humanos; d) y, por último, tener cierto grado de autonomía” (Proyecto robo-law).

El informe se plantea como problemática fundamental el de la responsabilidad frente a los daños ocurridos en relación a la acción de los robots. ¿Quién responde ante una negligencia sanitaria? Si el profesional ya no tiene responsabilidad alguna, ¿quién ha de contratar el seguro de responsabilidad? ¿El fabricante? ¿El programador? ¿El paciente por haber dado du consentimiento? ¿La Organización sanitaria? Estás y otras son algunas de las cuestiones que se plantea a la hora de hacer frente a esta complejidad. Hay que tener en cuenta que la cuestión de la responsabilidad es muy importante de cara a la futura inversión en este tipo de tecnología robótica. Si se deja plenariamente la responsabilidad en los fabricantes o programadores, es posible que éstos no quieran asumir riesgos y la inversión en esta tecnología se frene.

Por ello, una primera propuesta va en este sentido, al plantear la limitación de responsabilidad excluyendo que los fabricantes tengan que asumir la responsabilidad total de los riesgos que no podrían evitarse a pesar del cuidado en informar y diseñar los productos. Los precedentes, como el mismo informe reseña, serían los de los fabricantes de armas, que no se hacen responsables del uso que de éstas hagan los compradores (Feliu et al, 2017).

Una segunda propuesta que se hace en el informe, más compleja, es la de la creación de una personalidad jurídica propia para los robots, similar a la actual personalidad jurídica de las empresas. Con esta personalidad jurídica propia, los robots serían responsables de sus propios actos. Dicha propuesta se hace de la observación de que los “robots” e IAs cada vez son más inteligentes, siendo, actualmente, capaces incluso de aprender y de llevar a cabo tareas cada vez más humanas e, incluso, comportamientos no previstos, por lo que podrían reaccionar de maneras no previstas en función de los estímulos que recibieran del entorno.

Por último, se esboza la posibilidad de que la responsabilidad recayera sobre el propietario (titular) del robot, en base a la negligencia del mismo y en el cuidado debido. Dicha posibilidad es la que se utiliza actualmente en gran parte, por ejemplo en el uso día a día de los vehículos, patinetes eléctricos o, incluso, frente a los daños causados por los hijos y por los animales.

El ciudadano en general está preparado para aceptar estos nuevos cambios sociales en el entorno sanitario y debe acostumbrarse a que la IA y la robótica va a aportarles beneficios y aceptar la presencia de la IA y la robótica en el campo sanitario igual que se han habituado y han admitido la evolución tecnológica junto con otras facetas de la vida cotidiana, pero se necesita que por parte de los gobiernos se creen estándares de calidad y se fije un marco de referencia regulatorio que sea aplicable y obligatorio en este nuevo sector; así como incentivos adecuados para fomentar la implementación de estas nuevas tecnologías y desarrollos. De manera que la IA y la robótica sean examinados como elementos facilitadores para hacer los cuidados de salud más accesibles y más asequibles, eficientes y sostenibles. También se precisa qué por parte de los profesionales de los cuidados de salud se entienda que la IA y la robótica no vienen a sustituirlos en sus puestos de trabajo sino a trabajar para y con ellos.

El sector industrial y de investigación y desarrollo (I+D) deben de centrarse en el adelanto de tecnologías que den soluciones prácticas reales a la gran demanda existente en el sector salud de manera que estas puedan ser aceptadas e implementadas por fases, por parte de los responsables políticos y administrativos de las instituciones sanitarias.

La innovación en IA y en robótica está en el centro de nuestra posibilidad de redefinir como proporcionar cuidados de salud de calidad a nuestros ciudadanos hacia una medicina más equitativa y personalizada. Hay que crear oportunidades para transformar lo que ha sido la provisión de salud por medio tradicionales a través de los clínicos en los hospitales, y empezar a cambiar las infraestructuras legales y los incentivos gubernamentales para potenciar el cambio.

En cambio, paciente en general está listo y receptivo para el cambio y la adopción de estos modelos tecnológicos. El poder transformativo de la tecnología tiene la potencialidad de desarrollar lo fundamental y necesario para cambiar el cuidado de salud agudo y reactivo hacia un cuidado más personal y proactivo.

VII. El proceso de personificación de la IA sanitaria: su abandono

Los conceptos de originalidad, invención y autoría (especialmente, en sede del derecho de autor) encajan mal con el desarrollo y resultados creativos e inventivos obtenidos mediante algoritmos de IA. Es previsible que, como ya ha ocurrido a lo largo de la historia, los conceptos fundamentales sobre los que descansan tales regímenes de protección se terminen amoldando a la nueva realidad tecnológica, lo primero que se puede señalar al respecto es que los propios científicos y tecnólogos se plantean la cuestión de si el logro de una verdadera IA “fuerte” o de tipo general, homologable a la del ser humano (con la flexibilidad, adaptabilidad, creatividad, y eso tan importante que conocemos como “sentido común”, que caracterizan a la inteligencia humana). Sólo es posible en el ámbito de la IA ubicada, por la razón ya indicada de que sólo desde una corporalidad individual se puede erigir una verdadera inteligencia, en particular una inteligencia autoconsciente (Copeland, 1996). De manera que todos los desarrollos de IA no situada, no alcanzarían a traspasar nunca el ámbito de la IA débil o de tipo específico, de los llamados “programas expertos”.

La condición “digital” de la IA la hace transparente, reprogramable y replicable. Pero, yendo un poco más allá, lo que hemos de exponer es que, situada o no situada, fuerte o débil, de propósito general o específico, la IA que llegamos a desarrollar y que consideramos actualmente concebible se basa precisamente en la tecnología informática y, por tanto, termina concretándose siempre en información y programas digitalizados, como he indicado antes. Y esta es una cuestión técnica que tiene unas implicaciones jurídicas que no podemos arrinconar (code is law).

La inteligencia y la conciencia humana, por definición, está corporeizada y como consecuencia de ello individualizada, singularizada. Podríamos decir: un cerebro, una inteligencia. Y eso singular o peculiar que guarda en su interior cada cerebro humano es algo que nos mantiene, y llega a un resultado fundamentalmente opaco (y que sólo llegamos a conocer parcialmente mediante esas exteriorizaciones que son los actos lingüísticos y la comunicación no verbal). Por mucho que hayan evolucionado la psicología cognitiva, la neurofisiología, la biología molecular o la física de partículas (y también las tecnologías de resonancia magnética o de tomografía TAC), lo cierto es que los científicos siguen reconociendo que no saben realmente cómo funciona nuestro cerebro. Más allá del asunto de que unos estímulos bioeléctricos que transitan por las intrincadas redes de conexiones interneuronales cuando destacan determinados umbrales de intensidad y activan ciertos grupos de neuronas, “omitimos por completo cómo se salva el precipicio entre mente y materia, cómo se registra y opera a un nivel celular y molecular una información tan múltiple como la que somos capaces de procesar y maneja” (Fanni, 2020).

Sea como sea, la cuestión que es que, frente a la que podríamos llamar inextricabilidad, intangibilidad o inaprensibilidad de cada cerebro y de cada mente humana particular, las tratadas mentes artificiales –aunque a veces se discuta de ellas como de “cajas negras” o “elementos transparentes”, y ello por el sencillo hecho de que el código digital con el que en último término operan lo hemos establecido nosotros. Y un aspecto decididamente esencial de la codificación digital es que toda la información que se registra y procesa en este código es perfectamente copiable y reproducible en cualquier otro dispositivo de naturaleza análoga.

Y así, a diferencia de lo que –al menos de momento- sucede con el contenido informativo y las rutinas de procesamiento de un especifico cerebro humano individual, el contenido de la memoria de cualquier dispositivo informático (desde un teléfono móvil al más gigantesco superordenador) y cualquier programa informático, en la medida en que en último término no son más que secuencias de ceros y unos;se pueden copiar y reproducir con absoluta exactitud y fidelidad (y además celeridad) una inmensidad de veces y en un sinfín de dispositivos.

La consecuencia elemental de esto es que la vinculación que calificaríamos como intrínseca o necesaria entre una mente humana y un determinado cuerpo humano no cesa en absoluto en el ámbito de las mentes artificiales (Warwick, 2010). Y esto a su vez, tiene muchas implicaciones desde un punto de vista jurídico. Además, la IA puesta en un determinado dispositivo no sólo es susceptible de borrado y reprogramación, sino también de trasplante, replicación o incluso multiplicación. Como ya he indicado, cualquier información digitalizada –y a esta cualidad pertenece cualquier ámbito comprendido o estado de una mente cibernética- es susceptible de copiado y reproducción absolutamente y exacta. Y por ello, la mente real en un momento dado en un concreto robot o androide se puede copiar y replicar ad infinitum, se puede incorporar a cualesquiera otros dispositivos. ¿Supone todo esto –la posible discontinuidad radical o la posible clonación o replicación de las mentes artificiales- un problema para una pretendida personificación jurídica, que es algo que parece presuponer una suficiente individuación del agente dotado de IA?

Si pensamos que esa personificación no es algo que se cimente en una pretendida “dignidad” individual del agente artificial, sino que se trata de un mero instrumento jurídico para pretender la protección de los seres humanos avalando que existe un patrimonio responsable por las actuaciones de este ajeno tipo de agentes autónomos; esta que podríamos calificar como fluidez o fungibilidad de las mentes artificiales no debería ser un problema. Porque lo que propongo en mi trabajo no es un problema de culpa y reparación, lo que presupone individualidad y continuidad psíquica, sino una mera demanda de imputación instantánea, a los meros efectos de responsabilidad, de una acción acaecida en un lugar y momento determinados. Que la mente artificial que contribuyó en la causación del daño haya sido con posterioridad borrada del dispositivo en cuestión o que sea semejante a las mentes de otros dispositivos es irrelevante a tales efectos. Lo que debería subrayarse es que fue un explícito e identificable dispositivo físico regido en ese momento por una mente artificial capaz de actuación autónoma el que ejecutó la acción que causó el daño, por ejemplo, que un determinado vehículo autónomo atropelló a un peatón.

Si es así, de forma no diferente de lo que sucede con los seres humanos y sus acciones, la identificación del agente artificial a efectos de responsabilidad vendría dada por su “cuerpo”, por el hardware físico mediante el que operó este agente. Si unificamos debidamente este cuerpo mediante un número de serie y llevamos un registro de estos números de serie a cada uno de los cuales está vinculado a su vez un contrato de seguro de responsabilidad civil o un determinado fondo patrimonial, entonces no habría un notable problema para hacer efectiva una responsabilidad; por mucho que -como he señalado- la vinculación entre una inteligencia o mente artificial y un cuerpo determinado no lleve esos rasgos de necesidad, inherencia y singularidad que son privativos de la inteligencia humana.

Por supuesto, que el tema de la responsabilidad se puede complicar mucho más. Que un concreto robot, androide o dron identificable físicamente haya intervenido de alguna manera en el proceso de causación de un daño sanitario no quiere decir que ese dispositivo deba en todo caso ser jurídicamente responsable del daño de manera que su patrimonio afecto deba sostener su reparación. Puede haber intervenido dolo o negligencia por parte de la víctima, concurrencia de culpas, una relación de causalidad muy remota entre la actuación del agente artificial y el daño, incidencia de una fuerza mayor. Incluso -¿por qué no?- podríamos pensar en un fundamento subjetivista de esta responsabilidad del robot, como es la regla general en el caso de la responsabilidad humana, de manera que el patrimonio del robot no expresaría si el resultado dañoso era razonablemente imprevisible para éste dadas las circunstancias. Como también podríamos concebir el problema de que ese patrimonio o fondo afecto a responsabilidad por las acciones de un concreto robot puede resultar insuficiente para dar satisfacción a todas las víctimas, de manera que habría que aplicar también a los robots criterios propios del derecho concursal. Ya he indicado como, pese a la identificación popular entre IA y robótica, esta segunda sólo representa una parte del variado y extenso ámbito de la primera. La IA tiene, ya hoy, manifestaciones omnipresentes y de gran relevancia que no tienen nada que ver con los robots.

En relación con estos interrogantes adquiere relevancia el significado último de la digitalización. Las aplicaciones, los programas, las bases de datos (la computación) son mera información o procesos de manipulación de la información, y como tales, fenómenos etéreos, ubicuos, no localizados. Están en muchos sitios a la vez y en ninguno en particular: “en la nube”, en el sentido más literal de la expresión.

Uno de los rasgos de la tecnología basada en IA, que incide en su complejidad es la interdependencia de diferentes factores en su desarrollo y funcionamiento. Estos factores pueden provenir de diferentes sujetos: los fabricantes de los dispositivos físicos, tales como el hardware o sensores de funcionamiento; los desarrolladores del software o componentes del mismo. En otros términos, no parece complicar el sistema con la personalidad jurídica electrónica para cumplir con los que el derecho sanitario ya hace adecuadamente, mediante, por ejemplo, la imputación objetiva en el caso de las negligencias médica.

En definitiva, hay una IA -de cada vez mayor relevancia- cuya actuación autónoma no se concreta en una manipulación física del mundo por medio de un cuerpo diferenciado, sino en la mera manipulación o gestión de la información (COM/2020/64 final). Un programa recoge unos determinados datos como inputs o insumos, aplica sobre estos unos determinados algoritmos o rutinas de procesamiento, incluyendo la consulta y análisis de unas determinadas bases de datos, y lanza como resultado o output unos nuevos datos. En la medida en que este proceso se lleve a cabo por un “sistema” apto de proceder con una cierta autonomía y sin un control humano directo, se puede explicar de una IA (Beltrán et al, 2014). Esta IA, que consiste en un mero sistema de tratamiento de información, ejecuta físicamente en uno o varios servidores que no se sabe exactamente dónde están y que no tienen por qué ser de titularidad de la empresa o el sujeto que provee o hace uso de la aplicación. Y las consecuencias prácticas de la ejecución de un programa de este tipo pueden ser muy notables y en ocasiones hasta catastróficas, aunque no se resuman en una acción física ejecutada de forma directa por el propio sistema inteligente desde un diagnóstico clínico etc.. Gravita, por tanto, en un conjunto de tecnologías computacionales que inspira el sistema nervioso (Fasan, 2020).

¿Cómo tratamos jurídicamente estas situaciones, cuando la IA autónoma no se concreta en un robot, sino en eso tan evanescente como puede ser un programa o un sistema? Por razones puramente técnicas, aquí la personificación jurídica del agente inteligente como instrumento de una posible responsabilidad implica algo mucho más difícil, por no decir, inviable ( Liability and New Technologies , 2019).

¿Cómo individualizar a un agente, cuya actuación no es localizable en el espacio? En definitiva, “esta IA sobrehumana completamente desubicada, capaz de servirse de la percepción de todos los sistemas sensores, de todas las bases de datos y de todos los recursos de computación disponibles en la red, se cristianizaría en una especie de super-yo, casi una deidad, que simplemente superaría y desbordaría todas nuestras concepciones jurídicas” (Damasio, 2018).

VIII. Promoción de la innovación: cambios regulatorios

Toda actuación jurídica, ya sea mediante la adopción de nuevas normas o mediante la interpretación de las existentes, debe estar destinada a promover la introducción de herramientas de IA y la innovación en el sector sanitario. Con ello no se pretende beneficiar a las empresas del sector, sino al ciudadano, pues no debe perder de vista el fin último de la IA: favorecer el bienestar de los seres humanos. El marco regulatorio debe resultar un incentivo para que las empresas especializadas en IA pongan su sede en la Unión Europea. Ello exige adoptar medidas muy diversas como facilitar la creación de instituciones coadyuvantes, revisar el régimen fiscal, facilitar el acceso a financiación, etc.

En este aspecto, la normativa sobre propiedad intelectual tiene mucho que decir por el papel que se le presume de precursor de la innovación y la creatividad. No obstante, la pregunta siempre está encima de la mesa: ¿Qué resulta más beneficioso para la innovación, un sistema de propiedad intelectual muy protector, o uno más flexible que fomenta el dominio público? Este dilema se representa especialmente en relación con el control de eso que se ha dado en llamar combustible de la cuarta revolución industrial: los datos. De manera generalizada, la doctrina se ha mostrado contraria a la génesis de un nuevo derecho de exclusividad (el derecho de los productores de datos) y a favor de facilitar el acceso a los datos en sectores específicos, o con carácter general para evitar los monopolios de datos.

El Reglamento general de protección de datos personales y el reciente Reglamento 2018/1807 sobre la libre circulación de datos no personales señala que deben reflexionase igualmente como pro-innovadores por cuanto crean un área donde los datos pueden surgir libremente de acuerdo con un régimen normativo unificado. Se impiden, con ellos, los requisitos de localización dentro de la Unión Europea (aunque no fuera de ella).

El software produce una conclusión, en base a la cual acciona, que definiremos como verdad artificial, dado que elabora elementos de razonamientos artificiales creados por humanos a través de programas informáticos. En consecuencia, la Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103(INL) considera que la IA tiene potencial para transformar el modo de vida y las formas de trabajo, aumentar los niveles de eficiencia, ahorro y seguridad y mejorar la calidad de los servicios, y que se espera que, a corto y medio plazo, la robótica y la IA traigan consigo eficiencia y ahorro, no solo en la producción y el comercio, sino también la asistencia sanitaria. De ahí que resulte fundamental precisar cuál es el valor jurídico de esta verdad precitada y quién el responsable de sus efectos.

En esta promoción, el objetivo no es duplicar el cerebro humano: no se intenta suplir el pensamiento humano del profesional sanitario o el jurista de la salud por el pensamiento de la máquina, sino de ayudar a la toma de decisiones sobre procesos o situaciones donde hay múltiples opciones y posibilidades. No procura ser una tecnología sustitutiva de las personas, sino ser un complemento para la adopción de decisiones y su actividad de razonamiento. Con todo, no deja de ser atrayente que no se haya verificado ninguna presentación pública de las capacidades que brinda este sistema, lo que no arroja cierta sombra de duda, al menos provisional, sobre su eficacia real.

Por ello, “cabe afirmar que los robots y los sistemas de IA son uno de los grandes inventos verdaderamente disruptivos del entorno digital, y constituyen, sin duda, un vector de cambio vertiginoso de nuestras sociedades que apenas si hemos comenzado a vislumbrar” (Barrio Andrés, 2018).

IX. El respeto de los derechos humanos

Pero la promoción de la innovación no puede ser un objetivo para aprehender a cualquier precio. Existen límites inquebrantables establecidos por nuestros principios ético-jurídicos y valores fundamentales. Dichos principios ya coexisten. Plantearse la necesidad de actualizar dichos principios como consecuencia de la generalización de las herramientas de inteligencia no tiene sentido, y menos aún adoptar principios fundamentales basados en un deber ser (Sánchez García, 2018).Lo que es preciso avalar es que el diseño y la utilización de herramientas de IA respeten los principios éticos que sirven de pilar a los derechos fundamentales consagrados en la Constitución Española, la Carta Europea de Derechos Fundamentales y demás normativa. En especial, como nos recuerda el Grupo de Alto Nivel de la Comisión Europea sobre IA (Abogacía Española,2018) el respeto por la dignidad humana, la democracia, la libertad individual, la igualdad, la solidaridad y la no discriminación.

Así, por ejemplo, la Unión Europea no debería, a mi juicio, sucumbir en la tentación de rebajar la protección que se ofrece a los ciudadanos europeos en materia de privacidad por favorecer la utilización de datos personales por parte de las empresas para hacerlas más competitivas a nivel mundial. Pero la privacidad no es el único derecho fundamental que debe preocuparnos. Asistimos diariamente a ejemplos en los que las variables utilizadas para que un algoritmo adopte decisiones enmascaran una discriminación por muy variados motivos: racial, sexual, económica y, por supuesto, jurídico.

Al margen de este factor, el otorgamiento de derechos ha estado limitado al ser humano no sólo por una cuestión ontológica, o porque se trate de un sistema de reglas ideadas por y para seres humanos, sino porque se ha fundamentado, además del principio de capacidad, entendida como facultad del ser humanos de “responsabilizarse” y adquirir compromisos exigibles.

EL Derecho deberá considerar el grado de ponderación de los principios utilizados hasta ahora para el otorgamiento de derechos, de forma que en la definición de sujeto de derecho primen los elementos de naturaleza sobre los de una teórica capacidad de obrar. Para Agote Eguizábal, “junto a otras cuestiones, en esta definición está en juego el mantenimiento del equilibrio histórico de igual capacidad y necesaria interdependencia entre seres humanos” (Agote Eguizabal,2018).

Ahora bien, algunos derechos cobran mayor relevancia según vaya cambiando la sociedad y nuestra relación con la IA. Incluso se podría afirmar que nacerán nuevos derechos, según vayan creciendo la influencia de la IA y, por tanto, vaya variando la estructura social (Churmin, 2011: 114) Desde el punto de vista ético, son cuestionados, principalmente, los aspectos relativos a la aceptabilidad social de la IA, el acceso a la misma por los criterios no discriminatorios y fundados en el Estado social, y la integridad de la investigación sanitaria en terrenos límite. Pero estas trazas no son propios de la reflexión ética y filosófica de la IA, sino del debate crítico sobre la innovación tecnológica en general, la discusión asume diversos puntos de vista y se concentra sobre temas característicos de este sector. La IA es también principalmente la ética de los investigadores, de los fabricantes y de las personas involucradas en el uso de los robots. Una de sus ramas definidas estudia la ética de la conducta humana en la interacción con dispositivos robóticos y el impacto que este vínculo engendra en los planos de la identidad y de lo emocional. En esta relación, sobre la base de que los robots son máquinas diseñadas frecuentemente para evocar, a partir de similitudes y de reacciones a los estímulos del ambiente, a un ser viviente, humano o animal, se generan consecuencias, por un lado, la ficción y la simulación de emociones, y por el otro, la proyección de significados en las relaciones.

Por su parte, el interés del jurista se suscita por la entrada de la IA en ambientes cotidianos y por la variedad de relaciones que de ellos se derivan y que, como es posible imaginar, serán la regla en el futuro. Las modalidades de interacción son distintas entre sí –daños, relación contractual, injerto o implante en el cuerpo–.Evocan otras ramas del sistema jurídico. El robot diseñado para la asistencia en el hogar o en una clínica hospitalaria, entra en íntimo contacto con la persona que lo utiliza (con frecuencia un paciente o, en general, una persona en condiciones de fragilidad debido a su edad, a una enfermedad o a una incapacidad), también sus familiares y sus operadores de ese ambiente. Produce de forma inevitable la ocasión para la ocurrencia de accidentes, lesiones o perjuicios. La IA tiene la capacidad de actuar con autonomía o, incluso, de experimentar o de actualizar el propio sistema operativo de manera no controlada; se encuentra, por otra parte, en los albores de una posible fricción con los criterios comunes (Poch Peguera, 2020). “En búsqueda de un marco normativo para la Inteligencia Artificial” Retos jurídicos de la Inteligencia Artificial, Cizur Menor, Thomson Reuters, Aranzadi, pp.51-52.de imputación de la responsabilidad por los daños causados por cosas o productos y, por lo tanto, consiguen su análisis a fondo en relación con su impacto real sobre el actual sistema de derechos.

El uso de los derechos humanos como referentes para la regulación de las nuevas tecnologías, que ya era una constante en el ámbito biomédico, es un hecho en el campo de la IA, y se desarrolla en otros campos como el de la neurociencia. Para un estudioso de los derechos humanos resulta de especial interés el análisis de estos derechos y su caracterización general, con el fin de encontrar su lugar en la Teoría General de los Derechos, ya que esboza retos interesantes para la Teoría del Derecho, el Derecho Constitucional y el Derecho Internacional, entre otras disciplinas (Rebollo; Zapatero, 2019)[ 2 ]. Dos de estos retos, que tienen que ver con atributos de los derechos, coinciden con dos de los déficits más importantes que tiene la satisfacción de los derechos humanos en el escenario contemporáneo: su incidencia en el ámbito de las relaciones privadas y su necesaria protección a nivel internacional. Los derechos son los referentes en la IA también de las relaciones privadas y económicas, y por otro, que los sistemas de protección internacional deben ser eficaces y tomados en serio.

X. El reto normativo y la razonabilidad

Ahora bien, en relación con el punto anterior, la razonabilidad ha de manifestarse en razonamientos que no excluyen la posibilidad de la existencia de valores absolutos y de meros sentimientos de injusticia. La razonabilidad, por tanto, “resulta impensable y jurídicamente inconcebible si se rechaza una evaluación de impacto sobre la dignidad”. Las violaciones de la dignidad nunca son razonables, si bien la privación de razonabilidad por sí sola no constituye necesariamente una violación de la dignidad. Inversamente, la razonabilidad de una elección y, en concreto, el reconocimiento de que una acción se fundamenta en una ponderación razonable y completa, autoriza excluir que el mismo entrañe una violación de la dignidad.

Si bien los sistemas basados en IA son capaces de proporcionar indudables beneficios a la ciudadanía y a la sociedad en su conjunto, suscitan también espinosas cuestiones jurídicas en términos de equidad, igualdad, seguridad jurídica, transparencia y rendición de cuentas, que no pueden ser pasados por alto. Y son estos rasgos lo que cambia a la robótica en su conjunto en un campo relevante para los reguladores y los operadores jurídicos en el mundo sanitario. ¿Son nuestros marcos jurídicos en vigor adecuados para hacer frente a los avances en la sanidad de la robótica?, ¿pueden regularse las nuevas tecnologías robóticas, en particular, si se caracterizan por un comportamiento autónomo cada vez mayor en el mundo sanitario, dentro de los marcos legales y éticos existentes o, en caso contrario, deben hacerse más genéricas las normas jurídicas existentes para que incluyan también a las tecnologías robóticas aplicadas?, o más bien, ¿debemos aspirar a una disciplina jurídica autónoma y propia para los robots que operan en el ámbito sanitario? Se impone crear una rama jurídica nueva, el derecho de la IA que a la vez adaptará el derecho sanitario. Esto se está trasfigurando en parte para la profesión sanitaria, y llevará a cambios sustanciales en el mundo sanitario; en breve, esperamos ver a los robots desempeñar todo tipo de tareas y cuidados de las profesiones sanitarias (El economista, 2019).

Estamos ante cuestiones nucleares acarreadas en el mundo sanitario por el despliegue extensivo de la robótica y de la IA en la sociedad, mediante un estudio interdisciplinar que incluye los aspectos éticos, científicos, jurídicos y médicos. El sistema sanitario necesita de un marco legal que contemple los diferentes instrumentos y recursos que hagan posible la mayor integración de los profesionales en el servicio sanitario, en lo preventivo y en lo asistencial, con la IA, tanto en su vertiente pública como en la privada. Es decir, facilitando la corresponsabilidad en el logro de los fines comunes y en la mejora de la calidad de la atención sanitaria prestada a la población, garantizando, asimismo, que todos los profesionales sanitarios, incluidas la IA, cumplen con los niveles de competencia necesarios para tratar de seguir salvaguardando el derecho a la protección de la salud.

En definitiva, el Derecho ya brinda herramientas para dar respuesta a este fenómeno disruptivo, si bien queda naturalmente mucho por hacer en un campo todavía incipiente. Abordar estas cuestiones de manera organizada es una empresa ardua, la cual obliga un diálogo permanente y profundo que debe implicar a las disciplinas jurídicas, éticas y científicas, si se quiere que sea fecundo y útil para permitir a los diseñadores de los dispositivos evitar los problemas legales y éticos concernientes a los mismos. Y todo ello en una rama jurídica nueva, el derecho de la IA que a la vez ajustará el Derecho general -en cuanto que previamente vigente- y, en la medida de lo necesario. Además, creará un derecho nuevo que encuentre los principios estructurales de dignidad, libertad e igualdad en el marco del sostenimiento de la democratización total de los sistemas robóticos y de IA. En todo caso, y como aclara Friedrich, la razonabilidad y lo racional no son características propias de ciertas elites intelectuales, sino que se trata de cualidades inherentes a lo que él denomina “hombre común” (Friedrich, 1964). Por eso, la razonabilidad del Derecho es algo que se vincula más al sentido común, que apuntan al mismo objetivo de evitar la arbitrariedad, lo cierto es que un estudio más detenido de ambos llevaría a concluir cuál es el sentido común de la IA. La exigencia de razonabilidad resulta de especial importancia respecto de la creación de Derecho, en particular del derecho sustantivo y del judicial, aunque este último está en una cierta posición de privilegio, pues es l el llamado a enjuiciar la razonabilidad de la solución normativa del derecho sanitario.

XI. La IA y la justicia

Es cierto que durante más de tres décadas los avances en la tecnología de la información y la comunicación (TIC) irrumpieron en los procedimientos de los tribunales, prometiendo transparencia, eficiencia y cambios radicales en las modalidades de trabajo, como. El desarrollo de la IA permite vislumbrar un futuro no muy lejano de sistemas inteligentes con capacidades y soluciones impensables y del hombre dependerá que la IA acontezca ser una competidora o una leal colaboradora. Los efectos que tienen tales tecnologías en el funcionamiento de los sistemas judiciales y los valores avalados nos lleva a un contexto de claro propósito ético, en favor de las libertades individuales, “del interés general y bajo criterio de responsabilidad última de las personas por el hecho que algo sea posible desde un punto de vista tecnológico no se desprende necesariamente que resulte deseable” (Villalta, 2020:174).

La más reciente ola tecnológica está basada en la inteligencia artificial (IA) y promete cambiar las condiciones en las que se toman las decisiones judiciales. Este objetivo se persigue sobre todo a través de la tecnología concreta conocida como “aprendizaje automático”, que hace predicciones a partir de evaluaciones de los expedientes judiciales, tanto de los documentos procesales como de las decisiones judiciales correspondientes. Este conjunto de datos, conocido como “datos de entrenamiento”, se analiza para elaborar correlaciones estadísticas entre los casos y las decisiones judiciales correspondientes. El algoritmo, mientras más datos procese más preciso se vuelve para predecir las decisiones de las causas nuevas. Por esta razón, estos sistemas “aprenden” (incluso si solo se trata de una precisión estadística mejorada) para replicar los resultados a los que llegaron los jueces en causas similares. A diferencia de las herramientas tecnológicas ya implantadas que digitalizan el intercambio de datos y documentos, esta tecnología de “justicia predictiva” (como muchas veces se la llama erróneamente) tiene como objetivo influenciar la toma de decisiones judiciales. No está claro si esta tendencia trasciende en decisiones más justas o si está socavando el funcionamiento correcto de la justicia.

El impacto potencial de la IA en la administración de la justicia y la aplicación del derecho puede explorarse al considerar los problemas que presenta en el ámbito sanitario. Desde la posición original –como la denomina Rawls– y bajo el velo de la ignorancia –nadie sabe en qué situación le colocará la vida–, se está en condiciones para definir los principios y normas exigibles en la construcción de esa sociedad justa. Dichas condiciones, según Rawls, son las siguientes: a) Principio de libertad: Toda persona tiene igual derecho a un régimen de libertades básicas compatible con un régimen similar para los demás; b) Principio de igualdad de oportunidades: las desigualdades sociales y económicas debe estar abiertas a todos en condiciones de igualdad de oportunidades) Principio de la diferencia: hay que procurar el máximo beneficio para los menos desfavorecidos por la lotería de la vida. Una evaluación de los costes, de las consecuencias, es imprescindible en el nuevo marco de la asistencia sanitaria, como consecuencia de la IA. ¿Acaso maximizar las consecuencias buenas y buscar el máximo beneficio para todos no es justo? Parece que la respuesta es afirmativa pues no se puede negar que la primera obligación del sistema público es el de dar y garantizar prestaciones eficaces y eficientes, en nuestro caso, a través de la IA. El problema es la aplicación en sí, y las razones por las cuales en los sistemas inteligentes permiten alcanzar un alto grado de eficacia en la actividad de gestión y obtener mayor precisión y legitimidad en la fase decisoria cuando la decisión del juez o tribunal se vea corroborada con el resultado del propio sistema sanitario (Zúñiga Fajur, 2010).

1. La transparencia en la resolución judicial

La tecnología de los tribunales da acceso a cantidad de datos para enjuiciar y aumentar la transparencia, pero es difícil acceder a la forma en la que los sistemas internamente hacen el análisis y hacerlos rendir cuentas. Por eso, una pregunta general es cuáles son las posibilidades de implementar controles efectivos sobre los funcionamientos internos de las TIC y los algoritmos que procesan la información. Otra pregunta es, por lo tanto, cómo garantizar la correcta supervisión y rendición de cuentas sobre el funcionamiento de la tecnología y si la IA (más precisamente, el aprendizaje automático) es un caso peculiar en este ejercicio de rendición de cuentas. Efectivamente, el problema se plantea porque no siempre la IA mejora la calidad de las decisiones como sería lo deseable. Investigaciones como la que lleva a cabo la organización algorithmwatch ponen de relieve los riesgos de que la IA multiplique errores, sesgos o introduzca limitaciones de derechos, y fomente conductas directamente discriminatorias. Dado que el programa es capaz de aprender a partir de los datos que se le facilitan, detectando patrones, estándares o rasgos comunes si estos datos presentan sesgos o errores lo que ocurre es que la IA los multiplicará y producirá soluciones y resultados erróneos a una velocidad y a una escala desconocida para los seres humanos.

Pensemos, por ejemplo, en el hecho conocido de que en general para realizar los diagnósticos médicos se suelen utilizar muchos más datos clínicos de hombres que de mujeres. Si se utiliza la IA en estos casos se pueden multiplicar los errores de diagnóstico. De ahí la necesidad de aplicar un concepto como el de la transparencia en el ámbito de la IA. Hay que saber conocer cómo se ha alimentado la IA, es decir, qué tipo de datos emplea y también cómo se incluye en los procesos de toma de decisiones. La desconfianza surge siempre de la opacidad y del desconocimiento acerca de cómo se toman las decisiones que nos afectan y esto ocurre de la misma forma cuando se utiliza la IA (Cárcar Benito, 2015). Ahora bien, dado que la principal característica de la IA es su capacidad de aprendizaje a partir de la información que se le suministra y de las conexiones que establece la transparencia en este ámbito va a requerir del apoyo de expertos en su diseño, en los datos que la han alimentado, además en los algoritmos que utiliza.

La transparencia exige también conocer cuál ha sido exactamente el grado de intervención de la IA en el proceso de toma de decisiones concreto. Lógicamente no es lo mismo su intervención en procesos totalmente automatizados (en los que se prescinde de la intervención humana siendo la IA el único fundamento de la decisión que se adopta) que en procesos parcialmente automatizados, donde coexiste la intervención de la IA con la de los seres humanos a los que la complementa o auxilia. En la actualidad este tipo de procesos parcialmente automatizados es el más numeroso. Esto significa que hay que delimitar en qué medida interviene la IA y en qué medida intervienen los seres humanos a efectos, básicamente, de determinar cuál es el papel de cada uno en el resultado de la decisión final, que en todo caso será imputable a la persona física o jurídica que la adopte, al menos mientras no reconozcamos personalidad jurídica a las máquinas u ordenadores.

La integración de IA necesita el acompañamiento de rigurosos controles de transparencia que garanticen la calidad de los datos, algoritmos y proceso intelectivos que permita conocer si los datos están contextualizados, teniendo en cuenta todas las circunstancias relacionadas y, por otra parte, si datos, algoritmos o procesos han podido verse afectados por algún error o inclinación de costado. Y en concreto si los algoritmos son equitativos cuando afecten a consumidores o usuarios de la sanidad

En efecto, para identificar problemas de seguridad, la existencia de sesgos, etc., es imprescindible la transparencia e inteligibilidad de los sistemas de IA y, asimismo, la posibilidad de acceso y verificación de los mismos, ya que de otro modo pueden quedar ocultos y resultar indetectables tanto para sus creadores como para los usuarios, sin que fuese posible remediarlos. Se basan los sistemas de IA en una condición de partida que concierne, en primer lugar, a sus diseñadores y desarrolladores. En efecto, aunque pueda resultar extraño, los sistemas de IA en su proceso de aprendizaje pueden derivar en el manejo de unos códigos que sean incomprensibles, incluso, para sus propios creadores y que solamente entendibles para las propias máquinas (Vida Fernández,2018).Por lo tanto, es imprescindible que los sistemas de IA sean siempre transparentes y comprensibles de modo que sea posible acceder en todo momento a sus procesos y descifrarlos, sin que puedan dejarse que los sistemas se conviertan en una caja negra que funcione al margen de toda supervisión, lo que conecta con la cuestión del principio del control humano (human-in-command) que se ha analizado anteriormente.

Pero además del carácter transparente y comprensible del funcionamiento de los sistemas de IA, se plantea la necesidad de que sea posible el acceso y verificación de estos procesos para ejercer un control externo que permita velar por su adecuado funcionamiento. En este sentido, se propone la utilización de un sistema de normalización para la verificación, validación y control de los sistemas de IA, asentado en un amplio espectro de normas en materia de seguridad, transparencia, inteligibilidad, rendición de cuentas y valores éticos (Cárcar Benito, 2014). Asimismo, se propone el reconocimiento de un derecho de acceso y verificación de los sistemas de IA por parte de los usuarios para que estos ejerzan un mayor control de los procesos de toma de decisiones automatizados y basados en algoritmos

2. La rendición de cuentas

La rendición de cuentas (accountability) hace visible el proceso de toma de decisiones, así como el método aplicado y los resultados obtenidos. Un ejemplo claro en política sanitaria son las decisiones sobre la utilización o la distribución de recursos, y el catálogo de prestaciones y cartera de servicios. Las decisiones que se toman, la manera en que se conforman y sus partícipes determinan su grado de justicia y equidad. No hay duda de que esta rendición pública de cuentas tiene implicaciones a diferentes niveles: macro (gobierno, parlamento, otras instituciones), meso (centros sanitarios y aseguradoras públicas y privadas, diferentes servicios y unidades dentro de la institución) y micro (profesionales sanitarios y pacientes). Sin embargo, mientras a nivel micro los elementos están bastante establecidos (consentimiento, decisiones informadas y compartidas, protección de la privacidad, integridad profesional), menos claros están en los otros niveles.

La regulación de la transparencia constituye un elemento primordial en la mejora de los resultados de los centros sanitarios y del propio sistema, pues garantiza la competencia por comparación en efectividad y eficiencia, a la vez que permite corregir las deficiencias del mercado (información asimétrica, externalidades, incertidumbre, creación de monopolios, etc.).Cada vez son más las organizaciones que publican sus códigos de transparencia y de acceso a los datos sobre sus procesos y resultado, señalando que la Administración deberá desarrollar su actividad y la gestión pública garantizando tanto su publicidad y acceso a la información por parte de los ciudadanos como la mejor comprensión de las normas y procedimientos administrativos por parte de estos; y, por otro lado, al destacar como principios la responsabilidad, la transparencia y la rendición de cuentas en la gestión de los asuntos públicos (Cárcar Benito, 2020). Pero la transparencia no solo se configura como un principio, sino también como un requerimiento concreto en relación con la evaluación de la calidad de los servicios públicos o como una de las finalidades a lograr con la implantación progresiva del uso de medios electrónicos en la gestión administrativa. Finalmente, la transparencia aparece como uno de los extremos a los que necesariamente deberán adecuarse las disposiciones legislativas o reglamentarias que la Administración pretenda proyecta.

En el sector público, sector sanitario público, tener acceso a los datos de la Administración garantiza la transparencia, la eficiencia y la igualdad de oportunidades, a la vez que se crea valor. Esto significa los siguientes criterios evaluativos: 1) La transparencia, porque pueden consultarse y tratarse datos que vienen directamente de las fuentes oficiales; 2) la eficiencia, porque ciudadanía y organizaciones pueden crear servicios más allá de lo que la propia Administración es capaz; y 3) la igualdad de oportunidades, ya que el acceso es el mismo para todos los interesados, al mismo tiempo y en el mismo lugar a través de un único portal que agrupa el catálogo de datos de cada organización.

3. La predicción

Pero más allá de la imputación jurídica de la decisión, es importante detectar en qué medida el resultado final ha sido condicionado o facilitado por la IA, dado que (sobre todo cuando se originan vulneraciones de derechos o intereses legítimos, o vulneraciones del ordenamiento jurídico) habrá que proceder, en su caso, a precisar la responsabilidad de cada uno de los intervinientes, expertos en datos, diseñadores, implementadores, evaluadores, etc. Se trata en primer lugar de corregir los errores advertidos, pero también de atribuir las correspondientes responsabilidades en su caso. En este sentido la transparencia, como he indicado, es imprescindible de la rendición de cuentas, ya que permite averiguar quién ha diseñado, implantado, evaluado o auditado la IA para localizar las responsabilidades jurídicas correspondientes si se producen decisiones ilegales, erróneas o lesivas de derechos e intereses.

La tecnología, ya sea empleada para la gestión de causas, los formularios online simples, o tareas más complicadas basadas en la IA, debe integrarse en los procedimientos judiciales solo si se establecen los mecanismos adecuados de rendición de cuentas. El problema de la rendición de cuentas es aún más serio con los sistemas de IA que se basan en el aprendizaje automático. En este caso, la predicción se basa en algoritmos que cambian a lo largo del tiempo. Con el aprendizaje automático, los algoritmos “aprenden” (cambian) a partir de su propia experiencia. A medida que los algoritmos cambian, no sabemos cómo funcionan o porqué hacen cosas de cierta forma. Si no podemos implementar mecanismos efectivos de control, ¿cómo podemos garantizar una rendición de cuentas adecuada? El debate aún no se termina y el principio de precaución debe acordarse hasta que estas preguntas hayan recibido una respuesta desde un punto de vista técnico e institucional. Es por ello, que un sistema predictivo se vuelve más importante cuando tenemos que considerar muchas más variables (Solar Cayón, 2018).

Este principio sigue la misma línea que la de la Carta Ética Europea sobre el uso de IA en los sistemas judiciales del Consejo de Europa (Carta ética europea sobre el uso de la inteligencia artificial en los sistemas judiciales y su entorno adoptado por el CEPEJ durante su 31 S t-Reunión plenaria de Estrasburgo, 3-4 de diciembre de 2018), especialmente los principios del respeto por los derechos fundamentales y del control de los usuarios. Sin embargo, la forma de implementar estas directrices todavía no está clara (principio de precaución). Los abogados, las partes de la causa y los jueces definitivamente no pueden ser los responsables de llevar a cabo esa tarea. Además, ahí es donde se debe utilizar un sistema predictivo. Y para ser más puntuales, un sistema predictivo puede implementarse en Medicina sirve para reconocer y ajustar procedimientos médicos sobre medicamentos y tratamientos que han sido efectivos o no. Para diagnosticar enfermedades con una visión mucho más amplia de la información del paciente y su entorno. Además, las posibilidades de interacción entre el experto y el algoritmo de aprendizaje activo que brinda la codificación predictiva están comenzando a examinarse en otras esferas de la práctica jurídica. En esta dirección, se está ensayando la aplicación de herramientas de codificación predictiva al ámbito del análisis normativo (la determinación de si una norma es aplicable a un caso, cómo se aplica y cuál es el efecto de su aplicación) para realizar la tarea de identificar las disposiciones relevantes (Ashley,2017). Es un problema que debe afrontarse aunando competencias multidimensionales, monitoreando el funcionamiento de los sistemas, y comparando la IA.

XII. Conclusión: el derecho sanitario ante la IA para abordar la razonabilidad del derecho en el mundo sanitario

Cada vez resulta más claro que la situación, ante la IA, va a necesitar la elaboración de un nuevo contrato social para un nuevo derecho sanitario, pues el anterior, era pensado para el pleno empleo y una esperanza de vida más corta (Ortega A.,2018), además no incluía la IA. Pues bien, puede afianzar sus preceptos en los principios constitucionales y en la impronta ética. Para ello, es fundamental la recuperación de la confianza por parte de los pacientes, ciudadanos, instituciones y gobiernos. En otras palabras, al objeto de garantizar el respeto de las normas subordinadas -orientadas por valores compartidos y esenciales para la sociedad y la IA-, desde un enfoque más integral el uso de esta llevará a su institucionalización. Es decir, un complejo de reales expectativas de comportamiento actualizadas en el contexto social. Si bien, podemos preguntar: ¿sería mejor preocuparnos por riesgos más urgentes? (Diéguez ,2018).

Los nuevos procesos sanitarios (Covid-19) están produciendo más necesidades económicas y mejora asistencial, aunque la cuestión sería como repartirlo. Tal contrato social sanitario tiene, en primer lugar, que abordar los ingresos públicos, pues sin ellos no existirían los servicios públicos y la protección asistencial. En segundo lugar, está, por tanto, en la tecnología sanitaria -en la que los robots pueden aportar mucho-. En una palabra, hay que lograr que todos se beneficien de la tecnología en lo que puede ser una sociedad superinteligente. Empero, hoy en día, ni si quiera está garantizada su viabilidad (las condiciones necesarias para que sea un instrumento útil y con verdadero valor añadido). En otros términos, no se trata aquí de la noción económica, sino la jurídica. Esta juridificación de la noción económica plantea un reto para el derecho sanitario y la IA, que significa empleo y asignación racionales de los recursos

En consecuencia, el razonamiento jurídico en el ámbito sanitario debe combinar su propia lógica, valores y emociones individuales con la IA. Este obliga al profesional a tomar una posición y comprometerse con ella. Para lograrlo, se hace indispensable la reflexión, y la investigación de formas de pensar alternativas que permitan depurar las ideas ofrecidas por la IA. Además, se requiere un esfuerzo intelectual, entre la racionalidad y la razonabilidad, ya que, sin estas, será difícil llegar a algún resultado adecuado. La paulatina integración de mecanismos en línea y sistemas inteligentes impone que estos aprendan de las experiencias desarrolladas por los humanos, los profesionales sanitarios, de ahí que resulte necesario que se permita a los sistemas acceder a los datos de los procesos, generar preguntas y procesar las respuestas de los participantes en los procesos asistenciales. Cuando se renuncia a este esfuerzo, se termina actuando de manera pasiva y copiando propuestas que imposibilitan alcanzar la solución de los nuevos escenarios. La clave de todo ello es que la IA dentro del derecho sanitario debe ser entendida como una herramienta de apoyo, un complemento al trabajo del jurista.

Por último, existe la necesidad de resolver con pactos interprofesionales previos a cualquier normativa reguladora, la cuestión de los ámbitos competenciales de las profesiones sanitarias. El mantenimiento de la voluntad de reconocer simultáneamente los crecientes espacios compartidos y los muy relevantes espacios específicos de la IA es hoy imperioso. A mí juicio, no se debe pretender determinar las competencias de los profesionales y la IA, de una forma cerrada y concreta, sino que se deben establecer las bases para que se produzcan estos pactos, y que las praxis cotidianas evolucionen de forma no conflictiva, sino cooperativa y transparente. En realidad, abogo por un punto de encuentro del derecho sanitario y la IA, que sería una herramienta para la generación, análisis y divulgación de contenidos científicos y jurídicos, principalmente adaptada al contexto producido por esta crisis sanitaria y con el deseo de contribuir a la reconstrucción social, sanitaria y económica de nuestro sistema sanitario. La idea de razonabilidad, por tanto, debe abarcar la proporcionalidad, siendo ésta una consecuencia o manifestación de la asistencia sanitaria y las aplicaciones de la IA, mediante la cual se puede llegar a determinar si una actuación sanitaria es o no jurídicamente la más adecuada para perseguir un determinado fin (Sapag M., 2008).

Bibliografía

Abogacía Española (2018). “La Comisión Europea lanza un grupo de alto nivel y una plataforma para abordar la Inteligencia Artificial”, Revista AE, 19 de junio de 2018, disponible en https://www.abogacia.es/2018/06/19/la-comision-europea

Alexy R. (2008).Teoría de la argumentación jurídica, La teoría del discurso racional como teoría de la fundamentación jurídica, Madrid, Centro de Estudios Políticos y Constitucionales, 2008, pp.159 ss.

Asimov I, Círculo vicioso. Los robots. trad. Domingo Santos. Barcelona, Martínez Roca. 1989.

Antequera Vinagre, J., (2006).“Fundamentos del derecho sanitario”, en Gimeno J.A., Repullo J.R., Rubio S., en Derecho sanitario y sociedad, Manuales de Dirección Médica y Gestión Clínica, Madrid, Díaz Santos, pp. 1-42.

Agote Eguizabal, R. (2018). “Inteligencia artificial, ser humanos y Derecho”, Claves de Razón Práctica, n.º 257 (marzo/abril 2018), p.45.

De Asís Roig, R. (2015). Una mirada a la robótica desde los derechos humanos. Madrid, Dykinson, 2015, p.41.

Bazan J.L.; Madrid Ramírez R., “Racionalidad y razonabilidad en el Derecho”, Revista chilena de derecho, Vol. 18, nº 2, 1991, pp. 179-188.

Barrio Andrés M., (2018). “Robótica, inteligencia artificial y Derecho”, en Real Instituto El Cano, Royal Institute, ARI 103/2018 ,7 de septiembre de 2018.

Beltrán Ramírez R.; Maciel Arellano R.; Jiménez Arévalo, J. (2014). “La Tecnología y la inteligencia artificial como futuro en el área médica”, Universitas, Revista de Ciencias Sociales y Humanas de la Universidad Politécnica Salesiana del Ecuador, Año XII, nº. 21, pp185-190.

Cárcar Benito J.E. (20014). “Una reflexión sobre la transparencia en el nuevo acceso a la información pública en España: participación ciudadana, transparencia e inclusión digital en la era de las tecnologías de la información y comunicación”. Más poder local, nº 20, (Ejemplar dedicado a: Marketing Político: estrategias globales en escenarios locales y regionales), pp- 34-41.

Cárcar Benito J.E. (2015). “Calidad democrática y buen gobierno para las políticas e instituciones sanitarias en el ámbito español”, enn / coord. por Joaquín J. Marco Marco, Blanca Nicasio Varea, La regeneración del sistema: reflexiones en torno a la calidad democrática, el buen gobierno y la lucha contra la corrupción, 2015, ISBN 978-84-16063-79-6, pp. 199-215

Cárcar Benito J.E.., (2019). “El transhumanismo y los implantes cerebrales basados en las tecnologías de inteligencia artificial: sus perímetros neuroéticos y jurídicos”, Ius et Sientia,, Vol.5, n.º 1, pp.157-189.

Cárcar Benito J.E. (2020). “Capítulo 9. Una evaluación desde la transparencia la actividad sanitaria, la compatibilidad médica, y la organización. Especial referencia a los Jefes de Servicio, estudio de caso”, en Blanca Nicasio Varea y Marta Pérez Gabaldón, Defender la democracia, Tirant Lo Blanch. p.195

Casellas Caralt, N. (2008). “Modelling Legal Knowledge through Ontologies. OPJK: the Ontology of Professional Judicial Knowledge” (Tesis doctoral), Universitat Autònoma de Barcelona, Disponible: http://bit.ly/19TezPs

Churmin S. (2011). Inteligencia artificial: retos éticos y jurídicos, y la influencia de los derechos humanos, Servicio de publicaciones Facultad de Derecho, Universidad Complutense de Madrid, p.114.

Comisión Union Europea, (2018).Comunicación de la Comisión al Parlamento europeo, al Consejo Europeo, al consejo, al Comité económico y social europeo y al Comité de las regiones inteligencia artificial para Europa {swd(2018) 137 final.

Comisión Europea (2020), “Informe de la comisión al parlamento europeo, al consejo y al comité económico y social europeo,: Informe sobre las repercusiones en materia de seguridad y responsabilidad civil de la inteligencia artificial, el internet de las cosas y la robótica”, COM/2020/64 final

Copeland J. (1996), Inteligencia artificial: una introducción filosófica, Alianza DL., p.50 ss.

Damasio A, Y el cerebro creó al hombre, Ediciones Destino, 2018.

Díaz-Casillas L., Blanco F., Garijo M. (2010).”Sistema basado en reglas para la validación del despliegue de servicios “, en Inteligencia Artificial, n. º 47, p.54.

Delvaux M. ( 2015), Proyecto de informe con recomendaciones destinadas a la comisión sobre normas de derecho civil sobre robótica (2015/2103(inl) Comisión de Asuntos Jurídicos Ponente, (Iniciativa: artículo 46 del Reglamento)

Dieguez A. “Los profetas ambiguos”, en Claves de Razón práctica, n. º 257, marzo/abril 2008, p.25.

El Economista (2019). “Del campo a la escuela: Los robots ya están aquí”, en la Inteligencia artificial revitaliza la economía, El economista, Innovación, 28702/2019, p.2-3

Expert group on liability and new technologies new technologies formation, “Liability for artificial intelligence and other emerging digital technologies”, European Union, 2019.

Etzion o. & Niblett P., Event Processing in Action, Manning Publications, 2011, pp.19 ss.

Fanni S., (2020). “Inteligencia artificial y el cuerpo humano digital: a la búsqueda del habeas data”, Ius et Scientia, Universidad de Sevilla, Sevilla, Vol.6, nº 2, pp. 220-224.

Fasan, M.,(2020), “La tecnologia ci salverà? Intelligenza artificiale, salute individuale e salute collettiva ai tempi del Coronavirus”, BioLaw Journal – Rivista di BioDiritto, Special Issue 1/2020, pp. 677-683 ; 678.

Feliú Ignacio M. I., Laukyte Migle R., y Zornoza Somolinos, A.(2017), Robótica y Derecho del consumo, Comunidad de Madrid, Madrid, p.54.

Fernández Hernández C & Boulat P. (2019).”Inteligencia Artificial y Derecho Problemas”,http://noticias.juridicas.com/conocimiento/articulos-octrinales/9441nteligencia-artificial-y-derecho-, consultado 29 de agosto de 2019.

Friedrich, C. J. (1964) La Filosofía del Derecho, México, Fondo de Cultura Económica, pp.350 ss.

García Portero, R. (2018). “Los robots en la sanidad”, en Barrio Andrés, Moisés (dir.), Derecho de los Robots. Madrid, Wolters Kluwer, pp. 203 ss.

Hidalgo A. (2017). “La ambigüedad en el lenguaje jurídico: su diagnóstico e interpretación a través de la lingüística forense”, Anuari de filologia. estudis de lingüística (Anu.Filol.Est.Lingüíst.), 7/2017, pp. 73-96

Isaacson, W., (2014). “Los innovadores. Los genios que inventaron el futuro” Debate, pp. 32ss. Disponible: http://amzn.to/1CQUGU8

Igil Hochleitner, A. (2015). “La importancia estratégica de la tecnología en el futuro de la abogacía”, Diario LA LEY, nº. 8490, 27 febrero 2015, p. 2.

Lets Law. (2019).“Inteligencia artificial y derecho”, en 21 marzo, Derecho Digital.

Lambea Rueda A. (2018).“Entorno digital, robótica y menores de edad”, Revista de Derecho Civil, n., º 4, p. 212.

Latorre, J.I. (2019). Ética para máquinas, Barcelona, Ariel, , pp.203-204.

Lorenzo Montero R. (2019). “Derechos y obligaciones de los pacientes. Evolución normativa y jurisprudencial desde su entrada en vigor (2002-2019). Análisis de la Ley 41/2002, de 14 de noviembre, básica reguladora de la autonomía del paciente y de derechos y obligaciones en materia de información y documentación clínica 2º edición, A coruña, Colex, pp.60 ss.

Luther J., (2008). “Ragionevolezza e dignitá”, en Fernández Segado F. (coord.) Dignidad de la persona, derechos fundamentales, justicia constitucional y otros estudios derecho público., , pp. 303-329.

Martínez Martínez R. (2017). ”Big data, investigación en salud y protección de datos personales: ¿Un falso debate?” en Revista Valenciana d’Estudis Autonòmics, N.º 62, pp. 235-280, Disponible el 11/04/2018 en http://bit.ly/2EDdjig.

Mccarthy J.; Minsky, M.L; Rochester N.; Shannon, C.E. (1955).2A proposal for the Dartmouth summer conference on artificial intelligence”, Conference Announcement, 31 August. 1955. Disponible: http://stanford.io/1bqrAR1

Niblett,B. (1981).”Expert systems for lawyers”, Computers and Law, nº. 29, August 1981, pp. 2–4.

Ortega A. (2018) “Un nuevo contrato social para la robotización”, en Claves de Razón práctica, n.º 257, marzo/abril, p.33 ss.

Poch Peguera, M. (2020). “En búsqueda de un marco normativo para la Inteligencia Artificia”, Retos jurídicos de la Inteligencia Artificial, Cizur Menor, Thomson Reuters, Aranzadi, pp.51-52.

Rebollo Delgado L.; Zapatero Martín P. (2019). Derechos Digitales, Madrid, UNED-Dykinson, pp.200 ss.

Recasens Siches L. (2013). Tratado general de filosofía del Derecho, México, Editorial Porrua, pp.50 ss.

Rodríguez P. (2018). Inteligencia artificial, cómo cambiará el mundo (Y tu vida), Deusto, pp.226-234

Sampedro J (2018) .“Metal pensante”, Robótica, Claves de Razón Práctica, n.º 257 (marzo/abril 2018), p.20

Sánchez Caro J.; Abellán F. (2003). Derechos y deberes de los pacientes; Fundación salud nº 10, p.15ss.

Sánchez García, A. M. (2015). “Robótica y ética», en Barrio Amdrés”, M (dir.), Derecho de los Robots, Madrid, Wolters Kluwer, 2018, pp. 29 ss.

Sánchez-Urán Azaña Y; Grau Ruiz M.A. (2018). “El impacto de la robótica, en especial la robótica inclusiva, en el trabajo: aspectos jurídico-laborales y fiscales”, “Inclusive Robotics and Work: Some Issues in Labour and Tax regulatory Framework”, ponencia presentada al Congreso Internacional sobre innovación tecnológica y futuro del trabajo, Santiago de Compostela, 5 y 6 de abril de 2018, Facultad de Derecho; contribución también a la Iniciativa de la OIT sobre Futuro del Trabajo.

Santos González M.J., (2017)..“Regulación legal de la robótica y la inteligencia artificial: retos de futuro”, Revista jurídica de la Universidad de León, n.º 4, 2017, p. 27.

Sapag M. (2008) “El principio de proporcionalidad y de razonabilidad como límite constitucional al poder del Estado: Un estudio comparado”, en Dikaion 17, pp. 157.

Solar Cayón J.I., (2018). “La codificación predictiva:inteligencia artificial en la averiguación procesal de los hechos relevantes”, Anuario Facultad de Derecho - Universidad de Alcalá XI, pp. 75-105.

Sushley K. D. (2017). Artificial Intelligence and Legal Analytics, Cambridge University Press, 2017, pp 254-257.

Susskind R. (1986). “Expert Systems In Law: A Jurisprudential Approach To Artificial Intelligence And Legal Reasoning”, The Modern Law Review, Vol. 49, Issue 2, March 1986, pp. 168-194, Disponible: http://bit.ly/19kcbAa

Union Europea (2018).Comunicación de la Comisión al Parlamento europeo, al Consejo Europeo, al consejo, al Comité económico y social europeo y al Comité de las regiones inteligencia artificial para Europa {swd(2018) 137 final}.

Veruggio G. (2006). The EURON Roboethics Roadmap, 2006, disponible en: http://www3.nd.edu/~rbarger/ethics-roadmap.pdf

Vida Fernández j. (2018) “Los retos de la Regulación de la IA: algunas aportaciones desde la perspectiva europea”, Sociedad digital y Derecho, Madrid, BOE, 2018, pp.220 ss.

Vigil Hochleitner, A. (2015).“La importancia estratégica de la tecnología en el futuro de la abogacía”, Diario LA LEY, núm. 8490, 27 febrero 2015, p. 2.

Villalta Nicuesa A. (2020). “Inteligencia Artificial y acceso a la justicia. Retos y prospectiva”.Retos jurídicos de la inteligencia artificial (Dúo), Coordinadores: Cerrillo Martinez Agusti , Peguera Poch Miquel, Thomson Reuters, Aranzadi, Cizur Menor, p.167.

Warwick, K. (2010). “Implications and Consequences of Robots with Biological Brains”, Ethics and Information Technology Vol.12 nº.3, pp. 223-234.

Zapatero Gómez V. (2009). El arte de legislar, Cizur, Thomson Aranzadi, 2009, p. 161.

Zúñiga Fajur A.. (2010). “Una teoría de la justicia para el cuidado sanitario: la protección de la salud en la constitución después de la reforma Auge”, Rev. derecho (Valdivia) Vol.23 no.2 Valdivia dic, pp.113-130.