INVESTIGACIÓN, FORMACIÓN Y TRANSFERENCIA EN ÉTICAS APLICADAS

Dr. Patrici Calvo, Universitat Jaume I

Currículum breve


Patrici Calvo es profesor de ética en el Departamento de Filosofía y Sociología de la Universitat Jaume I, coordinador del Máster Interuniversitario en Ética y Democracia, miembro del Comité de Bioética Asistencial del Hospital General Universitario de Castellón e investigador del grupo de investigación Ética Práctica y Democracia (EPyD).

A lo largo de su carrera ha participado en 10 proyectos de investigación financiados por la Comisión Europea (1), el Ministerio (4), la FECYT (3) y la Universitat Jaume I (2) y ha realizado estancias de investigación en algunos de los centros de referencia en el ámbito internacional, como el Uehiro Center for Practical Ethics de la University of Oxford, el Dipartimento di Sociologia «Achille Ardigò»de la Università di Bologna, el Dipartimento di Sociologia e Diritto dell´Economia de la Università di Bologna, el Instituto de Filosofía del Centro Superior de Investigaciones Científicas (CSIC-Madrid) y la Fundación para la Ética de los Negocios y las Organizaciones (ÉTNOR).

Sus trabajos se centran en tres principales líneas de investigación. Por un lado, el desarrollo teórico y práctico de una propuesta de economía cordial que, basada principalmente en la ética de la razón cordial de Adela Cortina y la economía civil de Stefano Zamagni, busca aplicar e implementar la reciprocidad en el ámbito práctico a través del diseño de instituciones, organizaciones y empresas cordiales. Por otro lado, en el diseño de ecosistemas ciberéticos para la gestión, monitorización y cumplimiento de la ética y la responsabilidad social que, basados en diferentes mecanismos de comunicación de la ética, la tecnología blockchain y data mining, los ethical cyberblowers y la participación comprometida de la sociedad civil, permitan una transformación digital de la política y la economía moralmente válida y socialmente responsable. Y, finalmente, en el desarrollo teórico y práctico de una Democracia algorítmica con sentido de justicia y responsabilidad a la altura de las expectativas de la sociedad actual.

Además, es autor del libro The Cordial Economy. Ethics, Recognition and Reciprocity (Springer, 2018), así como de múltiples artículos en revistas científicas indexadas en la Web of Science y Scopus. Entre las últimas publicaciones vinculadas con la ética y la Inteligencia Artificial, destacan "The Ethics of Smart City (EoSC): moral implications of hyperconnectivity, algorithmization and the datafication of urban digital society" (Ethics and Information Technology, 2019); “Etificación, la transformación digital de lo moral” (Kriterion. Revista de Filosofia, 2019); "Bioética de las Cosas: sobre la algoritmización de la deliberación moral en la práctica clínica" (Filosofía Unisinos, 2019), “Moral neurolearning by machine: artificial values, intelligences and neural networks” (Springer, 2019); “Gobierno algorítmico: sobre el neuroaprendizaje moral de las máquinas en la política y la economía” (Comares, 2019); “Ética de las cosas (EoT). Hacia una digitalización socialmente responsable y moralmente válida del ámbito universitario” (Universitat Jaume I, 2018); “Whistleblowing y Datos Masivos: monitorización y cumplimiento de la ética y la responsabilidad social” (El Profesional de la Comunicación, 2018); “Una propuesta de diseño de sistema de gobernanza ética de datos masivos para la investigación e innovación”, (El Profesional de la Comunicación, en prensa).




Líneas de investigación


Líneas de investigación
Patrici Calvo centra sus trabajos en tres principales líneas de investigación vinculadas con el ámbito de la económica, el whistleblower y la transformación digital:

  1. En primer lugar, el desarrollo teórico y práctico de una propuesta de economía cordial que, basada principalmente en la ética de la razón cordial de Adela Cortina y la economía civil de Stefano Zamagni, busca aplicar e implementar la reciprocidad en el ámbito práctico a través del diseño de instituciones, organizaciones y empresas cordialesPara ello, se trabaja especialmente en una doble vía. Por un lado, en dar razón de cómo una propuesta económica que integré la ética, la reciprocidad y la crítica entre sus conceptos fundamentales puede resultar fecunda para afrontar con garantías los retos de desarrollo económico del siglo XXI: sostenibilidad, digitalización, desafección, obsolescencia humana, transparencia, confianza, etc. Por otro lado, en cómo es posible su recreación fáctica a través de Instituciones, organizaciones y empresas cordiales que integren en sus diseños conceptos fundamentales como el diálogo, la responsabilidad y la reciprocidad.
  2. En segundo lugar, el diseño y aplicación de ecosistemas ciberéticos para el desarrollo de procesos de digitalización socialmente responsables y moralmente válidos que potencien los impactos positivos de la Inteligencia Artificial para la sociedad en su conjunto y eviten las consecuencias negativas sobre los grupos más vulnerables derivadas de su aplicación precipitada e inmadura. Para ello, se trabaja principalmente en el diseño de Líneas éticas basadas en la blockchain, los cyberblowers, el Big Data y la participación comprometida de la sociedad civil para la monitorización y el cumplimiento de la ética en los procesos de aplicación de la Inteligencia Artificial en la política y la economía . 
  3. Y, finalmente, en tercer lugar el desarrollo crítico de una democracia algorítmica con sentido de justicia y responsabilidad. Al respecto, se trabaja especialmente en ofrecer orientaciones para el desarrollo ético y socialmente responsable de un gobierno y una participación política basada en algoritmos artificialmente inteligentes.

Más allá de estas tres líneas, actualmente está trabajando en el diseño de una ética de la investigación como ética aplicada que dé respuesta a los actuales retos éticos del ámbito investigador, especialmente en lo concerniente a los valores que deben orientar la práctica profesional y los organismos de financiación y empleabilidad; al gobierno de los algoritmos; y a al reconocimiento y valoración de los resultados de las investigaciones.




Actividad profesional


Profesor universitario

Patrici Calvo es profesor de ética en el Departamento de Filosofia y Sociología de la Universitat Jaume I, donde imparte o ha impartido diferentes asignaturas de grado y posgrado universitario vinculadas con la ética, las éticas aplicadas y la responsabilidad social.

Saber más

Proyectos de Transferencia de conocimientos y Desarrollo tecnológico

Patrici Calvo, como miembro del grupo de investigación Etica Practica y Democracia (EDyP), participa activamente en la implementación de proyectos de transferencia de conocimientos y desarrollo tecnológico con instituciones, organizaciones y empresas del ámbito público y privado.

Saber más

Proyectos de investigación

Patrici Calvo participa o ha participado en numerosos proyectos de investigación europeos (1), nacionales (8) y universitarios (2) vinculados con la ética y las éticas aplicadas.

Saber más

Publicaciones científicas

Patrici Calvo ha publicado numerosos trabajos de investigación relacionados con la ética de la Inteligencia Artificial; la ética económica y empresarial y la responsabilidad social; y la racionalidad económica: 22 artículos en revistas indexadas; 5 libros; y 26 capítulos de libro.

Saber más

Entrevista a Patrici Calvo

Inteligencia Artificial y ética

Por Maria Josep Picó (UCC+i)

La empresa cordial

Entrevista a Patrici Calvo

Por Pablo Martín [Corresponsables]

Entrevistas



ENTREVISTA

“La expansión y acrítica aceptación de la IA está produciendo una sutil colonización del mundo de la vida por parte del sistema”


La aplicación de la Inteligencia Artificial en todos los ámbitos de la vida humana se ha convertido en un elemento disrruptor con impactos todavía inciertos. Patrici Calvo, profesor de ética de la Universitat Jaume I, aboga por empezar a diseñar ecosistemas ciberéticos para la concreción de procesos de digitalización socialmente responsables y moralmente válidos que eviten las consecuencias negativas de la aplicación de la IA sobre los grupos más vulnerables 



Maria Josep Picó, 16/03/2020

Hablamos con Patrici Calvo, profesor de ética del Departamento de Filosofía y Sociología de la Universitat Jaume I sobre los retos éticos de la Inteligencia Artificial en el mundo actual. Últimamente se habla mucho de Inteligencia Artificial en los medios de comunicación, en las universidades, en las empresas,... Mucha gente dice que estamos frente a una revolución, frente a una nueva era. ¿Qué hay de real en todo esto?

En primer lugar, tenemos que tener en cuenta que la Inteligencia Artificial forma parte de nuestra cultura. El anhelo por desarrollarla, aplicarla y controlarla se halla en el imaginario colectivo de la sociedad desde hace milenios. En la mitología griega, por ejemplo, formó parte de los artefactos y máquinas que construyeron el dios Hefesto y el mortal Dédalo. Máquinas increíbles que realizaban tareas sólo al alcance de los seres humanos y que, en muchas ocasiones, estaban dotadas de razón y conciencia. También hay que tener en cuenta que hace décadas que estamos conviviendo con ella. Los algoritmos de traducción son un claro ejemplo; así como los programas que etiquetan fotos, que realizan búsquedas por internet, etc. No obstante, lo que sí es cierto es que hoy estamos asistiendo a una ampliación sin precedentes de las capacidades y aplicabilidades de la IA fruto del desarrollo de otros dos ámbitos tecnológicos: el Big Data y el IoT.

¿Es lo que ha venido a llamarse como digitalización?

La convergencia sinérgica de estos tres ámbitos es lo que llamamos digitalización, y esta digitalización es lo que ha generado un desarrollo de la IA sin precedentes. A más datos, mayor capacidad tiene la IA de aprehender y desarrollarse, y precisamente la IoT ofrece un ecosistema ciberfísico para la hiperconectividad digital de todo: persones, animales, paredes, electrodomésticos, empresas, medioambiente, etc., y el Big Data la recopilación, procesamiento y conversión en conocimiento aplicable de los datos estructurados y no estructurados que surgen del ecosistema ciberfísico.

En sus últimos trabajos aborda cómo esta ampliación de las capacidades de la IA ha generado un aumento desmesurado de las expectativas de aplicación y, con ello, retos éticos que es necesario gestionar. ¿De qué retos estamos hablando?

Se trata de los retos éticos que subyacen a las consecuencias derivadas de la aplicación inmadura y precipitada de sistemas inteligentes o modelos matemáticos artificialmente inteligentes en los distintos ámbitos de actividad humana, como la política, la economía, la industria o la salud. Especialmente para los colectivos más vulnerables.

¿Por ejemplo?

Por ejemplo el aumento de las desigualdades en todas sus formas y dimensiones; la intromisión en el ámbito privado; la aceleración del proceso de obsolescencia humana; los problemas de salud derivados de un exceso de control; la fragmentación y disolución de la responsabilidad por las acciones y decisiones; el fenómeno del paternalismo algorítmico; el fomento de una heteronomía ciudadana; la generación de campos de distorsión de la realidad (filtros burbuja) que generan inacción; y otras muchas cosas.

En uno de estos trabajos concretamente aborda el riesgo de la IA para el ámbito de la ética. ¿En qué consiste?

Se trata del riesgo que supone la intromisión de la IA en los procesos de generación de sentido sobre lo justo y lo bueno. Con la IA, la ética corre el peligro de alejarse de su carácter crítico y prescriptivo y convirtirse en un saber científico-técnico y naturalista cuyo carácter descriptivo y predictivo poco o nada nos puede decir de cómo deberían ser las cosas. La ética no nos habla de cómo son las cosas en la sociedad. De eso se encarga la sociología, y lo hace muy bien. La ética se apoya en éste y otros saberes  para criticar cómo son las cosas y dar razones sobre cómo deberían ser para ayudar a transformarlos.


LOS ALGORITMOS NO SON COMPETENTES NI ESTÁN CAPACITADOS PARA DIFERENCIAR ENTRE LO VIGENTE Y LO VÁLIDO


¿Puede una IA discernir mejor que los seres humanos qué es justo o injusto?

Actualmente, no. Los algoritmos de IA no son competentes ni están capacitados para diferenciar entre lo vigente y lo válido. No pueden captar el sentido de las cosas, sólo cuantificar datos sobre comportamientos, hábitos y opiniones de un grupo de persones y aplicar un criterio de mayorías para tomar decisiones moralmente válidas. Si pusiéramos una IA en la Alemania nazi, ésta identificaría las leyes de Núremberg como el bien común de la sociedad, pues era el sentir mayoritario de la gente alemana en aquel momento de la historia. La ética no tiene que ver con las opiniones, sino con las buenas razones que tienen los afectados para aceptar las consecuencias derivadas de esas normas, acciones o decisiones. Las leyes de Núremberg carecían de la más elemental de las buenas razones para ser escritas y aplicadas. El problema es que el análisis que puede hacer la IA sobre lo justo y bueno se basa en cómo son las cosas, mientras que la ética se preocupa de cómo deberían ser las cosas. La ética piensa en cómo orientar los comportamientos para que acontezcan un mundo más justo y felicitante para el conjunto de la humanidad.

Precisamente, critica la colonización algorítmica del mundo de la vida y las consecuencias negativas que afectan a la sociedad, en especial, al colectivo vulnerable. ¿En qué consiste esta colonización algorítmica?

La expansión y acrítica aceptación de la IA está produciendo una sutil colonización del mundo de la vida por parte del sistema, especialmente de las instituciones gubernamentales y económicas a través de imperativos sistémicos como el poder o el dinero. Como avanzó en sociólogo y filósofo Jürguen Habermas en los años 80 del siglo pasado, el sentido de las cosas depende de los componentes estructurales del mundo vida —la cultura o mundo objetivo, la sociedad o mundo de las relaciones y la personalidad o mundo privado—. El sistema intenta aplicar la IA para generar sentido de lo que desea, hace y dice.

¿Cómo puede el sistema colonizar el mundo de la vida mediante la IA?

Como estamos viendo, un gobierno puede aplicar la IA para generar en la sociedad falsas percepciones o marcos de sentido sobre su gestión política o sobre la adopción de estrategias y decisiones políticas. Y una empresa puede utilizar la IA con la intención de generar campos de distorsión de la realidad para evitar las consecuencias derivadas de su mala praxis, para generar confianza artificial hacia sus productos, o justificar acciones injustas o inmorales, entre otras coses. Es un proceso cuasi inapreciable que va calando en la sociedad a través mensajes muy sutiles y precisos en los medios de comunicación, las redes sociales y otras plataformas de comunicación. Estos mensajes nos van influyendo poco a poco para construir sentido, e incluso pueden intentar influir en los procesos de discernimiento que se establecen en la sociedad para concreta qué es justo o injusto. Un claro ejemplo son los recientes escándalos que se han producido durante la crisis de la Covid19, con todos los partidos políticos españoles utilizando bots en las redes para confundir, expandir bulos, generar campos de distorsión de la realidad y/o para aumentar los likes y los seguidores de sus cuentas.

En este sentido, en sus trabajos habla de la etificación. ¿Qué significa y qué peligros tiene?

La etificación es, precisamente, la acción de recopilar, registrar, cuantificar, procesar y gestionar datos masivos sobre las opiniones, preferencias y conductas de la ciudadanía hiperconectada para, desde el criterio del mayor bien para la mayor cantidad de gente posible, establecer mediante algoritmos de IA qué es moralmente válido. El problema es que, como he dicho antes, el proceso de etificación es convencional. Nos habla de lo que son las cosas, mientras que la ética mira más allá de lo convencional para hablarnos de lo que deberían ser las cosas. Por eso, se trata de un proceso muy peligroso, ya que a través de éste podríamos llegar a justificar acciones y decisiones muy inmorales. Por ejemplo, durante la pandemia de la Covid-19 se ha oído hablar mucho en los medios de comunicación y las redes sociales de la conveniencia de establecer un criterio sanitario para, en caso de falta de recursos, no prestar a los ancianos o a los inmigrantes la misma asistencia sanitaria que al resto de la sociedad por una cuestión de edad o de irregularidad. Ambos criterios son inmorales por discriminatorios, lo que llamamos etaísmo, y en algunos países o regiones fueron altamente defendidos por buena parte de la sociedad. No se puede dejar morir a una persona por una cuestión de sexo, edad, nacionalidad, religión o nivel económico. Un algoritmo aprende y toma decisiones de los datos que encuentra en la red, y creo que todo el mundo tiene claro que en la red no abunda los argumentos y comportamientos éticos. La IA puede ser importante para recopilar datos del sentir de la sociedad sobre ciertos comportamientos de la sociedad, pero lo que es justo y exigible sólo puede ser establecido por los afectados dentro de una dialogo lo más inclusivo, igualitarios y simétrico posible.


HOY TENEMOS DEMASIADAS EVIDENCIAS DE QUE LA IA BENEFICIA A UN PEQUEÑO GRUPO DE PRIVILEGIADOS Y CASTIGA A LOS MÁS VULNERABLES


Precisamente, en una reciente investigación suya propone la necesidad de diseñar procesos de digitalización responsable. ¿Por qué?

Propongo un diseño moralmente valido de aplicación de la IA, en tanto que sus consecuencias puedan ser aceptadas por todos los afectados, y socialmente responsables, en tanto que responda de sus impactos económicos, sociales y medioambientales. Esto quiere decir que la IA tiene que tender al bien general y no particular. Hoy tenemos demasiadas evidencias de que la IA beneficia a un pequeño grupo de privilegiados y castiga a los más vulnerables. Por ello, debe ser transparente en sus decisiones. Es decir, debe responder de sus impactos sobre la sociedad.

¿Qué características tendrían estos modelos?

Desde mi punto de vista, estos modelos deberían empezar por los diferentes elementos diseñados y sistematizados por Domingo García Marzá para la gestión y cumplimiento de la ética: los códigos de ética, los comités de ética, las auditorías éticas y las líneas éticas. Un sistema basado en el dialogo y la participación comprometida de la sociedad civil. Pero, además, yo propongo introducir un elemento de monitorización basado en el Big Data que permita obtener y procesar en tiempo real información estructurada y desestructurada sobre el uso ético y responsable de los sistemas inteligentes, así como generar una plataforma donde la información sea escrutable, inalterable, auditable, confidencial e inteligente basada en tecnología blockchain, data minina, IA y ethical cyberblowers -alertadores cibernéticos dotados de IA capaces de detectar anomalías en el sistema y alertar sobre sus posibles consecuencias- desde la cual edificar todos estos elementos. Todo ello sería una parte importante de lo que yo llamo ecosistemes ciberéticos.

¿Tendría interés en un episodio como la actual pandemia producida por la Covid19?

Por supuesto. Los ecosistemas ciberéticos permitirían monitorizar en tiempo real cómo se están haciendo las cosas en esta pandemia tanto desde el punto de vista físico y económico como desde el punto de vista ético y socialmente responsable. Por ejemplo, si la redistribución de los recursos escasos a pequeña y gran escala, lo que en salud llamamos principio de justicia, está siendo moralmente válida y socialmente responsable. Hoy tenemos dudas razonables sobre cómo los países están actuando y gestionando las compras internacionales de material sanitario. Imperativos sistémicos como el poder y el dinero parecen estar detrás de la deficiente redistribución de los recursos. Pero, además, también existen series dudas sobre el uso de IA por parte de algunos estados para potenciar la falta de empatía y solidaridad hacia ciertas naciones generando información sesgada, imprecisa o maliciosa. También serviría para conocer y controlar si los gobiernos están reportanto adecuadamente o, por el contrario, se dedican a generar bulos sobre su gestión frente a la crisis para crear campos de distorsión de la realidad y, de esta forma, mejorar su imagen.


LA IA TIENE QUE SERVIR PARA GENERAR UN MEJOR MUNDO POSIBLE, UN MUNDO MÁS JUSTO Y FELICITANTE PARA TODOS LOS AFECTADOS


La Inteligencia Artificial es un ámbito de conocimiento en auge. ¿Qué habríamos de tener en cuenta desde el punto de vista de la ética y la moral?

Como he dicho, no precipitarse en su aplicación. Una cosa es la idea y otra su aplicación práctica. La precipitación y las expectativas desmesuradas generan consecuencias negativas para el conjunto de la sociedad, sobre todo para los colectivos más vulnerables. Por eso, como he dicho, debemos apelar a la crítica constante de todo el proceso. La IA tiene que servir para generar un mejor mundo posible, un mundo más justo y felicitante para todos los afectados. Si no lo hace, mejor dedicar los esfuerzos a desarrollar otros campos. Pero no creo que sea el caso. La IA, bien gestionada, tiene un enorme potencial para el ser humano. No debemos dejar escapar esta oportunidad y trabajar desde el principio en una IA beneficiosa, peró también ética y socialmente responsable.


Josep Maria Picó

Marzo de 2020






ENTREVISTA

“No presionamos bastante ante el uso ilícito de nuestros datos personales”


Investigador en ámbitos como la economía o la ética y la responsabilidad social, Patrici Calvo también trabaja en el diseño de un marco normativo o Ética de las Cosas (EoT) que permita orientar la transformación digital en un sentido más justo, responsable y sostenible. Recientemente publicó el artículo Bioética, Salud y Publicidad 4.0: retos éticos del marketing algorítmico, (en el número 49 de Cuadernos de la Fundació Víctor Grífols i Lucas, 2018), una reflexión sobre el impacto que los modelos matemáticos están teniendo en el marketing en el sector de la salud.


Ximo Górriz, 18/02/2019

Hoy se puede adaptar la publicidad de cualquier producto a los gustos y necesidades que el usuario está revelando en las redes sociales -incluyendo WhatsApp- porque muchas empresas rastrean en ellas en busca de información sobre nuestro comportamiento. ¿Es eso correcto?
La transformación digital está metida en nuestras vidas, por todas partes. Pero para empezar, hay una mala praxis en la captación de los datos. Si pensamos en la frontera entre lo público y lo privado, ¿hasta qué punto es lícita esa captación? En realidad, todos le damos al botoncito de “aceptar condiciones” porque si no, te excluyes del mercado. Te dicen pues no le dé al botoncito. Y si no estás en Internet, estás excluido del mercado. Y eso tampoco se le puede exigir a la gente, porque o te autoexcluyes o les cedes absolutamente todo... incluso muchas webs lo primero que te piden es acceso a todas tus fotografías, que son privadas.

Esto también afecta a la venta de productos de salud.
En el ámbito de la salud es todavía más complicado, porque tiene una vertiente bastante abyecta. Quieren tener acceso y parece que ya empiezan a tenerlo, a los historiales clínicos, como vimos hace poco en una jornada en la Universitat Pompeu Fabra. ¿Están o no haciéndolo? Se sospecha que sí. Sabemos que los hackers hacen lo que les da la gana, entran en las webs más protegidas del mismo… Eso es totalmente privado, y hay empresas poderosas como las farmacéuticas, que están vendiendo la parte buena de la transformación digital: hoy, la minería de datos te permite buscar patrones, y gracias a ese historial médico que todos tenemos, podemos ver los resultados de una cierta medicina, se pueden hacer patrones para mejorar las medicinas y los procesos de curación, y eso a todos nos interesa.


HOY, SI NO ESTÁS EN INTERNET, ESTÁS EXCLUIDO DEL MERCADO


¿Y la parte mala es...?
Pues el problema, obviamente, es que para hacer esto hay que pedir permiso a la persona que tiene ese historial. El historial médico es personal, no se puede utilizar de forma ilícita por ningún médico, enfermero ni administrativo… ¿qué sucede? ¿cómo va a repercutir positivamente eso en las personas que ceden esos datos? Pues de ninguna forma. El otro día veía un reportaje sobre una medicina para la fibromialgia, que costaba 100.000 euros la cajita; luego está la distrofia muscular de Duchenne, que de momento no tiene cura pero se trata con medicinas que valen unos 400-500.000 € al año. Hablamos de cantidades ingentes de dinero, con las que las farmacéuticas van a ganar todavía más dinero. Al menos tendrá que haber convenios para que cuando tengan acceso a esos datos, repercuta positivamente en la sociedad, y eso no se está dando. Nos venden la parte buena pero luego, si llego a poder utilizar esas medicinas es porque el Estado tiene que gastar ingentes cantidades de dinero para pagarle las patentes durante 25 años a las farmacéuticas.

Así las cosas, parece que hay mucho trabajo por hacer
Pues sí. Aquí tenemos un mundo visible de la transformación digital, pero tenemos también otro invisible aunque lo tenemos en los morros: el uso ilícito de los datos y el beneficio de esos datos, ambas cosas son muy importantes y la población no está presionando suficientemente ante el uso ilícito de los datos personales, porque no nos están enseñando esa otra cara.

Entonces, ¿tenemos un recelo absoluto frente a ciertas cosas pero cuando le damos a aceptar condiciones nos justificamos a nosotros mismos diciéndonos que no es para tanto?
Es algo así, porque hoy no tienes otra posibilidad: o te excluyes o te incluyes. No hay punto medio en este tema.

Usted defiende que los algoritmos publicitarios muestran sesgos preocupantes: (sexista, racista, homófobo, xenófobo y aporófobo), sesgos que aplican al relacionarse con las personas, tomar decisiones y/o elaborar listas, objetivos o perfiles digitales. ¿Se escudan las empresas en los algoritmos informáticos para diluir su responsabilidad?
Evidentemente, está pasando exactamente eso. ¿Quién tiene la responsabilidad? Al estirar de la cuerda, llegamos a que se diseña un algoritmo, que es un modelo matemático, que me dice si esto, lo otro y si lo otro, aquello . Y en el fondo se basan en el deep learning, en el aprendizaje profundo por parte de las máquinas: copian lo que son las neuronas cerebrales, lo que ellos llaman redes neuronales artificiales, imitan de forma muy tosca y simple esas neuronas, y parece que es el algoritmo el que toma esas decisiones, que tiene autonomía para tomarlas. Entonces ahí se diluye totalmente la responsabilidad de las personas, y esto ya ha pasado.


DEBERÍA HABER CONVENIOS PARA QUE, AL MENOS, EL ACCESO A NUESTROS DATOS REPERCUTA POSITIVAMENTE EN LA SOCIEDAD


¿Cómo?
Por ejemplo, la Policía ya utiliza los algoritmos para, por ejemplo, decidir qué denuncias de maltrato por mujeres deben ser tenidas en cuenta o no. Y hemos tenido ya en España casos en que un energúmeno, ocho o nueve veces denunciado por una ex pareja, luego asesinó a sus hijos. Por ejemplo, el asesinato de dos niñas en Castellón en septiembre pasado. Y al buscar los motivos por los que no se había dado a esas denuncias la importancia debida, la Policía explicó que llevaban desde febrero utilizando este programa informático… y lo que había fallado era ese algoritmo. La Policía lo que dijo fue mejoraremos el algoritmo o lo quitaremos... pero no ha habido ninguna responsabilidad por ello, ni siquiera sobre quién diseñó el algoritmo. Y mientras, ha habido muertes. Por tanto, ese sesgo y el uso de los algoritmos se está utilizando para lavarse las manos.

En este punto, ¿se está aprovechando un vacío legal?
Totalmente, el legislador llega tarde y es lo natural: primero tiene que haber una presión social para que los legisladores se pongan en marcha. Pero hay muchas propuestas de la Unión Europea que todavía no se han concretado en legislación. Por ejemplo en el tema de la publicidad, es bastante importante. Sobre la publicidad subliminal se legisló en los 70 en EEUU y aquí en los 80, pero claro, ese es un caso concreto. Ahora tenemos un problema con los algoritmos, pero todavía no se ha legislado. La UE se propone legislar sobre la Inteligencia Artificial (IA) pero todavía no se ha hecho, la legislación va muy lenta. Ahí es donde la ética, en ese proceso, al menos tiene que aportar un poco de claridad y aportar algún tipo de normativa moral para evitar ese tipo de sesgos y conflictos que están surgiendo. Los propios diseñadores de algoritmos asumen que hay que ir con mucha cautela. Incluso Joi Ito, el director del Media Lab del Instituto Tecnológico de Massachusets (MIT), que es el que más está potenciando estas cuestiones, está diciendo que ojo con esto, no corramos, porque el monstruo nos está devorando.

Y en el tema de la salud, ¿qué tipo de problemas surgen?
Esto es muy sensible, porque te pueden estar enviando publicidad sobre un whisky, sobre ese alcohol que has buscado mucho por Internet, cuando tú eres un exalcohólico, o un exfumador... eso es peligroso. Una alumna me decía el otro día en clase: es curioso, porque no quiero tener hijos, pero el algoritmo no para de enviarme anuncios sobre fecundación in vitro, sobre cunas… todo lo relacionado con bebés, y no lo entiendo. Y le pregunté si alguna vez había puesto algo en Facebook o hablado con alguien sobre esto, y me dijo bueno, una vez con mi hermana, porque he tenido una sobrina hace un par de años, y desde ese momento me están bombardeando. Y a lo mejor ella dice que no, pero quizá sí le afecta, porque ella tomó una decisión y ahora parece que el algorritmo está intentando cambiársela, para al final venderle productos. El algoritmo puede atacar sobre todo a las personas más vulnerables, y parece que eso ya se está dando.


EL USO DE LOS ALGORITMOS SE ESTÁ UTILIZANDO PARA DILUIR RESPONSABILIDADES Y LAVARSE LAS MANOS


Dice también que la publicidad 4.0 se está convirtiendo en un elemento disruptor, que complica la aplicación de los principios de la Bioética, justo cuando la sociedad empieza a tener en cuenta este tema.
Efectivamente, y en el ámbito de la salud estas lógicas que se producen tienen riesgos potenciales. Sí es un elemento disruptor; no sólo en este tema, pero este punto es bastante sensible. Una de las cuestiones tiene que ver con la interconectividad digital, que genera a su vez dataficación. Tenemos muchos datos. La transformación digital puede ser muy buena para mejorar la autonomía de los pacientes: nos da información más personalizada, más concreta, para filtrar la información que interesa a ese paciente y obviar la que no le interesa. El problema es que más información no siempre significa que estemos mejor informados. Se está generando es un filtro burbuja.

¿Cómo? ¿En qué consiste este filtro?
Pues es un campo de distorsión de la realidad, en el que al final, a ti el algoritmo sólo te envía aquello que te interesa, y lo otro lo obvia. Por ejemplo: si a mí me afecta demasiado lo que está sucediendo en el Mediterráneo y no hago clic en esas noticias, el algoritmo piensa que no te interesa y deja de enviarte ese tipo de información. Y vives en los mundos de Yupi, pensando que ese problema es parte del pasado. El algoritmo puede crear ese mundo feliz para ti y aislarte de la realidad, que es que sigue habiendo muchas muertes de inmigrantes en el mar. Sobre todo en redes como Facebook y Twitter se está creando ese filtro burbuja. Y eso también es peligroso.

¿Cómo minimizar los efectos negativos de este filtro?
No lo sé, aunque se está trabajando en ello. Hay tal cantidad de información que al final, el fin del algoritmo lo marca la persona, la empresa o la institución que lo crea o diseña. Por ejemplo, aquí en la Comunidad Valenciana ya tenemos Satán, creado por la Conselleria de Transparencia, para detectar corruptos. Y tú puedes querer filtrar esa información por un motivo, pero el algoritmo puede hacerlo por otro. Para afrontarlo hace falta mucha transparencia. Mira, en el tema de la salud, el Juramento Hipocrático está ahí desde hace 25 siglos, y en él es clave el principio de beneficencia: en un ensayo clínico, el objetivo de los investigadores debe ser el bienestar de los participantes. Pero ahora se vela no por el interés del paciente sino que se aprovechan de ellos para ganar dinero. Lo peor es que los poderes públicos lo tienen difícil para vigilar esto, porque el algoritmo es muy opaco.

Entonces, ¿no hay sistemas para hacer frente a ello? ¿estamos inermes?
Nos faltan herramientas, pero para hacerle frente, se están utilizando sistemas de monitorización que también aprovechan la transformación digital. La empresa nos monitoriza para captar clientes y fidelizarlos, pero nosotros también podemos utilizarlo. Y cada vez se hace más, sobre todo sobre la base del whistleblowing (que consiste en la denuncia de actos delictivos por parte de los empleados), junto a la comunicación, el almacenamiento y procesamiento de datos masivos, y la participación comprometida de las personas interesadas.

¿Hay empresas aplicando estos sistemas?
En EEUU hay ya hasta una ley, y aunque a España llegó más tarde, ahora se propone que las empresas establezcan sistemas de este tipo, de forma que para la empresa que lo haga, se exima de la culpa al directivo, pero donde no lo tengan, se le podrían pedir responsabilidades. Entonces, muchas empresas lo están aplicando. Claro, de momento todo se basa en la denuncia (whistleblowing), por ejemplo vía correo electrónico. Yo pido que se vaya un poco más allá: que se monitorice también. ¿Cómo? Pues por ejemplo a través del Big Data; no sólo de lo que la empresa tiene en la web sino de lo que se dice en los boletines oficiales, de todas las fuentes que se pueden rastrear… de forma que se pueda buscar todo tipo de información sobre cualquier empresa. Se está trabajando en ello.

¿Y qué otros elementos forman parte de estos sistemas, además de las denuncias?
Bueno, ahí entran también los códigos éticos, es la primera parte del sistema. Normalmente, hoy todos los hospitales tienen códigos éticos, de conducta y deontológicos, que forman un marco regulatorio. Lo que se salga de ese marco es lo que nos daría el algoritmo. Y luego están las auditorías éticas. Si la empresas lo hace bien, para generar confianza, una auditoría ética nos puede revelar potencialidades y déficits en materia ética. Y ver cómo mejorar, lo cual genera confianza. También están las memorias de responsabilidad, las líneas éticas… todo son pilares de este sistema, pero nos faltan dos patas: el Big Data o transformación digital (que incluye el Internet de las Cosas) y por otro lado, la participación de la sociedad civil.

Es decir, que al final nos implica a todos.
Pues sí, solo con poner una aplicación en la web no conseguimos nada, y a veces, el problema es que no participa la gente. Si la empresa pone unas líneas éticas porque de este modo la ley exime de culpa a los directivos ante un problema, pero luego no quiere aplicar su sistema, no forma a los trabajadores, no informa a todo el mundo… en definitiva si no hay una voluntad real, es mucho más difícil. ¿Qué falta aquí? La sociedad debe acceder a aplicaciones con el papel que tiene por ejemplo Glassdoor en Reino Unido. Allí le llaman el terror de la empresa: quien busca trabajo puede ver qué dice mucha gente de una empresa antes de entrar en ella, puesto que los trabajadores y extrabajadores la puntúan, y de ese modo existe transparencia. Y el trabajador puede decir a esta no me apunto, porque pagan mal, tarde, etc. Pero también hace falta formación y sensibilización. Un buen ejemplo en Castellón es UBE. Desde la UJI les hicimos la línea ética y llevamos 3 años trabajando con ellos, con cursos de formación y sensibilización del personal. La empresa está convencida de esta línea de trabajo y una buena prueba de ello es que en el primer año de funcionamiento hubo 5 alertas, denuncias éticas. Eso, a nivel nacional, es mucho. La mayoría de empresas en España reflejan en sus informes una o ninguna denuncia al año. Eso es muy mala señal, porque demuestra que no hay voluntad de aplicar las líneas éticas.

La participación es clave, pues. 
Claro. La tercera pata del sistema es la sociedad civil, su participación. Primero va la aplicación, luego la concienciación para que participen y finalmente, que todos los interesados participen. En el ámbito de la salud, los pacientes deben ser proactivos, querer saber. El papel de la sociedad en un sistema de monitorización es sencillamente brutal.


Ximo Górriz

Febrero 2019


Fuente: Castellón Plaza





ENTREVISTA

¿Algoritmos que tomen decisiones éticas y morales?


Crear máquinas que tomen decisiones basadas no solo en datos sino también en criterios éticos y morales es un reto no solo tecnológico sino filosófico del que se habla a partir de las nuevas realidades. El dilema está en si ese tipo de opciones se le pueden dejar a un aparato programado o si es una función indelegable del ser humano.



Sebastián Aguirre Eastman, 21/11/2019

Hablamos con Patrici Calvo, profesor de ética del Departamento de Filosofía y Sociología de la Universi

La idea le surgió a Amazon en 2014: construir un sistema de inteligencia artificial que revisara las hojas de vida de quienes se postulaban a las vacantes de empleo que ofrecía la compañía y tomara decisiones respecto a su contratación. Unos meses después, se habrían de sorprender con algunos resultados del experimento.

El proceso era simple: personal de recursos humanos ingresaba los datos de 100 currículos y el sistema se encargaba de seleccionar los cinco mejores con base en algunos criterios que le fueron programados.

Un año después de estar funcionando, es decir en 2015, la compañía se percató de que el sistema tenía un sesgo contra las mujeres y sugería contratar solo hombres. Aunque el personal técnico intentó enmendar el error, en 2018 el proyecto fue suspendido, según reportó el diario español El País, citando un reporte de la agencia de noticias Reuters.

Este es solo un ejemplo de una serie de desafíos éticos y morales que ya empieza a enfrentar la industria 4.0 con los avances tecnológicos que han puesto al servicio de los seres humanos herramientas como la inteligencia artificial, el internet de las cosas, el blockchain, entre otras, que si bien serán muy útiles y bien utilizados potenciarán numerosos campos del conocimiento y de la vida cotidiana, también plantean una discusión sobre sus peligros.


"Venden las ventajas no las desventajas"

Patrici Calvo es autor de publicaciones sobre ética de las cosas y profesor de Filosofía Moral en la Universidad Jaume I, en Castellón de la Plana, una ciudad española ubicada frente al mar Mediterráneo, en la Comunidad Valenciana.

Desde hace algunos años publica artículos y ensayos respecto a los problemas que las personas y las instituciones están enfrentando con la industria 4.0 y cómo esta idea “revolucionaria” se ha ido introduciendo casi que en cualquier ámbito de la actividad humana -política, economía, salud, entre otros-, pero cuyos avances, en su concepto, “nos han emborrachado” y han hecho que “se les abrace sin ningún tipo de crítica”.

Ese, señala, es el punto más importante y el que más problemas ocasiona, pues en su criterio se habla en abundancia de las ventajas de la industria 4.0 -que son muchaspero de sus desventajas es poco lo que se menciona. Y allí hace hincapié en dos asuntos: la brecha de desigualdad que esta genera y los desafíos desde la gobernanza para implantar marcos jurídicos y éticos a su desarrollo.

Calvo plantea que hay problemas que se vienen presentando desde hace algún tiempo que invitan a pensar no en lo que va a ocurrir, sino en lo que ya está sucediendo.

“Hoy en España, por ejemplo, una empresa de telecomunicaciones va a poner en circulación las primeras líneas 5G [una nueva generación de la red inalámbrica que aumentará la velocidad de transferencia de los datos, entre otros desempeños mejorados]. Quien tenga acceso a ellas, tendrá mayor capacidad de influir en los algoritmos. Hoy todo se está conectado con el internet de las cosas, tenemos millones de cámaras para controlar y conectar. La ideología de las 4.0 es que los algoritmos tengan el poder de toda actividad humana y eso es muy peligroso”.

Calvo cuestiona que algunos defensores de los beneficios de estos sistemas plantean que, al contrario, estas tecnologías reducirán las brechas de desigualdad. En cambio, el profesor considera que habrá grupos vulnerables de la sociedad que corren con desventajas frente a los algoritmos, al no tener acceso a internet o a equipos de telecomunicaciones, ya sea por su costo elevado o porque en las zonas donde viven no cuentan con servicios cuya velocidad los ponga al mismo nivel de las grandes ciudades, no tendrán la misma capacidad de influir con sus opiniones, hábitos o comportamientos y, por tanto, serán sesgados por las programaciones.

Se refiere, por ejemplo, a habitantes de zonas rurales con conectividad limitada o, incluso, a mujeres que en algunos países porque se los prohíben sus familias o hasta el mismo Estado no pueden acceder a un celular o a internet.

“Al final será la clase media alta la que va a influir en las políticas públicas, pues los algoritmos solo tendrán en cuenta sus opiniones, hábitos o comportamientos”, expresa.

Calvo menciona casos recientes en países como Nueva Zelanda, Japón y Estados Unidos en los que hay quienes proponen que se deje en manos de los algoritmos el diseño de políticas públicas, lo cual puede tener consecuencias inesperadas y lo peor, dice, “es que nadie se quiere dar cuenta”.


LA IDEOLOGÍA DE LAS 4.0 ES QUE LOS ALGORITMOS TENGAN EL PODER DE TODA ACTIVIDAD HUMANA Y ESO ES MUY PELIGROSO 



¿Qué hacer desde la gobernanza?

Esa es la pregunta del millón, según Patrici Calvo. El profesor valora el hecho de que en algunas regiones, como en Europa, se hayan registrado avances para crear un marco jurídico, legal y ético, y que algunos gobiernos nacionales hayan tomado en cuenta opiniones como las que él ha expresado en torno a que lo jurídico y lo ético vayan de la mano.

Entre los avances destaca que se proponga una ética de la inteligencia artificial, que es un camino. Pero, de otro lado, cree que podría haber más desarrollo en otra vía: la llamada “ética algorítmica”. Este campo estudia cómo la inteligencia artificial, el aprendizaje de las máquinas y los robots interpretan los datos (este concepto, de acuerdo con la propuesta de Luciano Floridi y Mariarosaria Taddeo en su artículo del año 2016 titulado What is data ethics?).



QUIENES DESARROLLAN TECNOLOGÍAS NOS LLEVAN MUCHA VENTAJA: CUANDO PENSAMOS EN ALGUNA POSTURA ÉTICA, ELLOS YA TRABAJAN EN ALGO MÁS AVANZADO




“Es decir -plantea Patrici Calvo- incluir ciertos códigos en los códigos algorítmicos para que estos piensen y tomen decisiones éticas. Este camino lo llevan los técnicos, quienes intentan que las máquinas piensen éticamente; por tanto, cómo se puede hacer que las máquinas aprendan y sean morales. Y, por el otro, crear un marco que oriente no solo a las máquinas sino a los legisladores para que creen leyes y estas, a su vez, orienten a los técnicos para que cuando hagan esos códigos tengan en cuenta ciertas cuestiones éticas”.


Un tema polémico

En 2015, algunas organizaciones como Amazon, Apple, BBC, Facebook y Google, entre otras, se unieron y crearon Partnership on AI, con la misión de diseñar las mejores prácticas, investigaciones y diálogos públicos sobre los beneficios de la inteligencia artificial para las personas y la sociedad.

En junio pasado, la investigadora Alice Xiang participó en el evento AI for Good Summit, en San Francisco (Estados Unidos). Ella trabaja en temas como la equidad, la transparencia y la responsabilidad con la inteligencia artificial. Habló sobre la importancia de que la ética de la inteligencia artificial tenga un puente entre la teoría y la práctica.

Dijo: “como los actos de la inteligencia artificialson un intermedio entre el desarrollo humano y los resultados finales, puede ser difícil de identificar y entender las consecuencias éticas de varios de los pasos en el proceso de desarrollo”.

Al ser tan difícil dilucidar qué tan complicadas pueden ser esas consecuencias y con qué frecuencia el proceso de desarrollo implica interrogar decisiones técnicas aparentemente sencillas, Xiang expuso tres pasos para enfrentar este desafío:

  1. Aumentar la conciencia entre los líderes de las organizaciones para alentarlos a dedicar más recursos a la identificación y abordaje de las preocupaciones de ética de la inteligencia artificial. Un informe reciente encontró que dos tercios de los trabajadores tecnológicos desearían más oportunidades para evaluar los posibles impactos de sus productos, pero que hacerlo es hoy la prioridad más baja en su trabajo.
  2. Educar a los desarrolladores de inteligencia artificial sobre técnicas para abordar, detectar y mitigar preocupaciones éticas con sus productos. El mismo informe encontró que los trabajadores tecnológicos utilizan en la actualidad principalmente métodos informales, como su brújula moral personal o búsquedas en internet, para evaluar el impacto social de sus productos.
  3. Educar a los formuladores de políticas ya los equipos legales o de políticas en las organizaciones sobre cómo construir estructuras de gobernanza que incentiven a las organizaciones a abordar los problemas de ética de la inteligencia artificial, y a revisar y refinar sus prácticas.



UN ESTUDIO ENCONTRÓ QUE QUIENES TRABAJAN EN CAMPOS TECNOLÓGICOS UTILIZAN BÁSICAMENTE MÉTODOS INFORMALES, COMO SU BRÚJULA MORAL PERSONAL O BÚSQUEDAS EN INTERNET, PARA EVALUAR EL IMPACTO SOCIAL DE SUS PRODUCTOS AVANZADO



Principios básicos

La conclusión de Xiang con la que Calvo no está del todo deacuerdo- es que no se trata de una ética algorítmica sino una ética de la inteligencia artificial, con un marco regulatorio compuesto por cinco principios. Cuatro de ellos son fundamentos básicos desde la bioética:

  • Autonomía: la capacidad diseñar normas o reglas para uno mismo sin influencia de presiones.
  • No maleficencia: abstenerse, con intención, de realizar actos que puedan causar daño o perjudicar a otros.
  • Beneficencia: actuar en beneficio de otros, promoviendo sus legítimos intereses y suprimiendo prejuicios.
  • Justicia: tratar a cada uno como corresponda, con la finalidad de disminuir las situaciones de desigualdad.

Hay un quinto que no hace parte de la bioética y es quizá el original de este planteamiento, el cual se ha llamado “explicabilidad”: consiste en que “aquello que haga el algoritmo se pueda explicar, y si esto no es posible, el desarrollo no puede avanzar”.

El profesor argumenta que no le gusta porque “creo que se podrían buscar y aplicar principios mucho más importantes y claros. Utilizar principios propios de la salud tal cual sobre la inteligencia artificial, en algo que es tan diferente, me resulta chocante, pero eso es lo que están planteando”.

Por último, Calvo lamenta que en la actualidad no existan leyes internacionales que regulen este tema y sugiere instaurar una suerte de comité mundial que recoja los avances de algunos países y que presente principios que orienten el desarrollo de los algoritmos para que luego cada nación los pueda aterrizar a su realidad y cree leyes nacionales. El tema es complejo y la polémica está servida.


Sebastián Aguirre Eastman

Noviembre 2019


Fuente: EAFIT

Publicaciones


[Edición] New Insights into Relational Goods
tiempo estimado de lectura : 1
[Capítulo] Una propuesta de línea ética basada en tecnología Blockchain
tiempo estimado de lectura : 1

[Capítulo] Una propuesta de línea ética basada en tecnología Blockchain

Transparencia e integridad en la institución universitaria (Universitat Jaume I, 2020)

Más información
[Capítulo] Moral Neurolearning by Machines: Artificial Values, Intelligences and Neural Networks
tiempo estimado de lectura : 1

[Capítulo] Moral Neurolearning by Machines: Artificial Values, Intelligences and Neural Networks

Moral Neurolearning by Machines: Artificial Values, Intelligences and Neural Networks (Springer, 2020)

Más información
[Capítulo] Neuroeduación moral en la empresa: del homo oeconomicus al homo reciprocans
tiempo estimado de lectura : 1
[Capítulo] Ética de las cosas (EoT). Hacia una digitalización socialmente responsable y moralmente válida del ámbito universitario
tiempo estimado de lectura : 1
[Capítulo] RSU y whistleblowing: la posibilidad de la ética y la responsabilidad social universitaria
tiempo estimado de lectura : 1

[Capítulo] RSU y whistleblowing: la posibilidad de la ética y la responsabilidad social universitaria

Nuevas perspectivas en la gestión de la responsabilidad social en las universidades (Universitat Jaume I, 2017)

Más información
[Capítulo] Whistleblowing ante la miseria moral de instituciones y organizaciones
tiempo estimado de lectura : 1

[Capítulo] Whistleblowing ante la miseria moral de instituciones y organizaciones

Empresa, Derechos Humanos y RSC. Una mirada holística desde las Ciencias Sociales y Jurídicas (Aranzadi, 2016)

Más información
[Capítulo] Neuroeconomía, ¿un saber práctico?
tiempo estimado de lectura : 1

[Capítulo] Neuroeconomía, ¿un saber práctico?

Ética y neurociencias. La aportación a la política, la economía y la educación (Universitat Jaume I, 2013)

Más información

Timeline


Beca de investigación predoctoral

Beca de investigación predoctoral FPU del Ministerio de Ciencia e Innovación

Jan 06, 2008

Profesor en formación

Profesor en formación en el Departamento de Filosofía y Sociología de la Universitat Jaume I

Jan 06, 2010

Estancia de investigación

Estancia de investigación en la Università di Bologna (4 meses) con el profesor Stefano Zamagni.

Jan 09, 2011

Profesor externo

Profesor externo del Máster en Ética y Democracia durante el curso 2012/2013

Jan 10, 2012

Estancia de investigación

Estancia de investigación en la University of Oxford (2 meses).

Jan 06, 2013

Beca de investigación posdoctoral

Beca de investigación posdoctoral VALI+D de la Generalitat Valenciana

Jan 06, 2013

Estancia de investigación

Estancia de investigación en la Università di Bologna (18 meses) con el profesor Pierpaolo Donati

Jan 06, 2013

Profesor en prácticas

Profesor en prácticas en el Departamento de Filosofía y Sociología de la Universitat Jaume I

Jun 06, 2013

Profesor Asociado

Profesor Asociado del Departamento de Filosofía y Sociología de la Universitat Jaume I

Jan 09, 2015

Profesor Ayudante Doctor

Profesor Ayudante Doctor del Departamento de Filosofía y Sociología de la Universitat Jaume I

Jan 09, 2016

Estancia de investigación

Estancia de investigación en el Instituto de Filosofía del CSIC-Madrid (2 meses) con la investigadora Concha Roldán.

Jan 07, 2018

Comité de Bioética Asistencial

Miembro del CBA del Hospital General Universitario de Castellón

Jan 01, 2015

Director del Máster en Ética y Democracia

Codirector del Máster en Ética y Democracia en la Universitat Jaume I

Jan 02, 2018

Contacto


  • Comunidad Valenciana, España