Marcelino García Sedano

Sobre la autonomía, la creatividad y las consideraciones éti-

cas de la inteligencia artificial en el arte contemporáneo
Marcelino García Sedano. Universidad San Francisco de Quito USFQ, Quito, Ecuador

On the Autonomy, Creativity and Ethical Considerations of Artificial Intelligence in Contemporary Art

Sobre Autonomia, Criatividade e as Considerações Éticas da Inteligência Artificial na Arte Contemporânea

Fecha de recepción: 14 de diciembre de 2021. Fecha de aceptación: 14 de enero de 2022. Fecha de modificaciones: 15 de febrero de 2022

DOI: https://doi.org/10.25025/hart12.2022.04

Marcelino García Sedano Resumen:

Doctor en Historia del Arte por la Universidad de Reflejo del pensamiento colectivo sobre nuestra relación
Oviedo, es profesor tiempo completo en la Uni- con las tecnologías, las inteligencias artificiales, presen-
versidad San Francisco de Quito donde imparte tes en muchos aspectos de la cotidianidad, están lejos
asignaturas en la carrera de Artes Contemporáneas de ser autónomas. La labor de la creatividad artística en
y la Subespecialización de Fotografía que coordina.
relación con las inteligencias artificiales debe consistir
en analizar y proyectar los aspectos más fundamenta-
Sus intereses académicos van relacionados con la
les de la mediación de estas tecnologías en la sociedad
influencia de la tecnología en las artes y la sociedad,
y no centrarse tanto en sus características estéticas. Las
recibiendo especial interés, entre otros aspectos, la obras aquí seleccionadas son un ejemplo de cómo el arte
posfotografía, la performance audiovisual digital, el es capaz de cuestionar el grado de autonomía de las má-
videojuego como herramienta creativa o la influencia quinas en la actualidad y su capacidad creativa real, y de
de la ciencia ficción como herramienta especulativa. evidenciar sus relaciones con aspectos sociales como el
Desde 2012 hasta 2019 dirigió Hausmann, Encuentro poder, el control de información y otras facetas de tras-
Multidisciplinar de Creación New Media y en 2021 ha cendencia política, así como su capacidad para proyectar
sido co-curador de “Alternativas Presentes”, primera futuras problemáticas.
edición de la Bienal Universitaria de Arte Multimedial,
BUAM21 celebrada en Quito. Palabras clave:
Inteligencia artificial, arte, ética, pensamiento autónomo, creatividad
computacional.

Cómo citar:
García Sedano Marcelino “Sobre la autonomía, la creatividad y las
consideraciones éticas de la inteligencia artificial en el arte contempo-
ráneo”. H-ART. Revista de historia, teoría y crítica de arte, n.o 12 (2022):
17-40. https://doi.org/10.25025/hart12.2022.04

H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96 71
 Sobre la autonomía, la creatividad y las consideraciones éticas de la inteligencia artificial en el arte contemporáneo

Abstract:
Resumo:
Artificial intelligence, being a reflection of collective
Reflexão do pensamento coletivo sobre a nossa relação
thinking about our relationship with technologies, is
com as tecnologias, as inteligências artificiais, presentes
present in many aspects of everyday life, although it is
em muitos aspetos da quotidianidade, estão longe de
far from being autonomous. The work of artistic creativi-
ser autónomas. A tarefa da criatividade artística em
ty concerning AI should endeavor to analyze and project
relação com as inteligências artificiais tem de analisar
the most fundamental aspects of the mediation of these
e projetar os aspetos fundamentais da mediação da tec-
technologies in society, and devote less attention to their
nologia na sociedade, e não se centrar nas suas carac-
aesthetic characteristics. The works selected here are an
terísticas estéticas. As obras selecionadas neste artigo
example of how art is capable of questioning the degree
são um exemplo de como a arte é apta para questionar
of autonomy of machines today and their real creative
a autonomia das máquinas na atualidade e a sua capaci-
capacity, and of highlighting their relationships with so-
dade criativa real. Mesmo, evidenciar suas relações com
cial concerns such as power, information control, and
aspetos sociais como o poder, o controle da informação
other politically relevant issues, as well as their ability to
e outras questões de transcendência política, e sua ca-
project future problems.
pacidade para prever problemáticas futuras.

Keywords: Palavras-chave:
Artificial intelligence, art, ethics, autonomous cognition, computational
inteligência artificial, arte, ética, pensamento autónomo, criatividade
creativity.
computacional.

72 H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96
 Marcelino García Sedano

Introducción

La sociedad contemporánea, inmersa en un sentimiento de fascinación por el

desarrollo tecnológico, absorta en una tecnofilia feroz, organiza gran parte de
sus procesos sociales en torno al uso indiscriminado y casi inconsciente de las
tecnologías de última generación, sobre todo las relacionadas con la información
y la esfera digital. Dentro de estas tecnologías se destacan, y ello ante todo por su
capacidad de cuestionar hasta nuestros cimientos ontológicos, aquellas deriva-
das del pensamiento automático, la llamada inteligencia artificial. Desde tiem-
pos inmemoriales la creación de vida de forma artificial ha configurado múltiples
narrativas incentivadas por el temor de que estas entidades lleguen a sustituir los
rasgos que nos definen como humanos y por la curiosidad sobre la forma en la
que estas podrían convivir con la humanidad. Desde el gólem, Prometeo, la cria-
tura del doctor Frankenstein, pasando por HAL 9000 de Una odisea en el espacio
o los replicantes de ¿Sueñan los androides con ovejas eléctricas?, nuestro imagina-
rio colectivo materializa nuestras más profundas preocupaciones y anhelos en
cuanto a la creación de vida de forma artificial. Las teorías sobre la singularidad
tecnológica materializadas de forma popular en los argumentos más tradicionales
de la ciencia ficción son una versión más o menos moderna de estas preocupa-
ciones. La posibilidad de un ente autónomo creado de forma sintética se piensa
tan seductora como amenazadora para la humanidad. No obstante, las aprecia-
ciones actuales de lo que por el momento se entiende como inteligencia artificial
se diluyen entre el optimismo y la invisibilización de su presencia en los procesos
cotidianos, una imbricación que promete hacer más fácil una vida cada vez más
automatizada, más virtual y más dependiente de las tecnologías de la informa-
ción. Por lo tanto, se impone un análisis de su incidencia en la sociedad desde una
perspectiva que gravita en torno a las consideraciones éticas de esta convivencia.
Si algo define hoy día a las inteligencias artificiales o a las metodologías
de aprendizaje automático es sin duda su total dependencia del ser humano para
su existencia y funcionamiento. Incluso podríamos aventurarnos a afirmar que
estas aún distan mucho del grado de perfección que el sentimiento popular les
atribuye. El nivel de colaboración con el ser humano mide sin duda su grado de
autonomía y el principio de producir resultados impredecibles la acrecienta. Es
paradójico que sea tan débil la sustentación de ese funcionamiento autónomo
y que la ilusión de autonomía se sustente en el error. Cuando una máquina res-
ponde fuera de lo esperado se interpreta como un acto de autonomía, aunque
siga habiendo parámetros que de una forma u otra la restringen.1 Por ejemplo,
1. Robert Pepperell, The Posthuman Condition:
en la actualidad ya no se habla tanto de la escritura de un código por parte de Consciousness Beyond the Brain (Wiltshire:
los programadores, sino que estos diseñan un entorno, marcos de red que ya no Cromwell Press, 2003), 121.

H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96 73
 Sobre la autonomía, la creatividad y las consideraciones éticas de la inteligencia artificial en el arte contemporáneo

codifican reglas sino que facilitan, mediante la delimitación de estos grandes

ámbitos de información, el funcionamiento de esas inteligencias artificiales para
una actividad determinada. El cómo la máquina desarrolla sus reglas de compor-
tamiento sigue teniendo un factor desconocido, lo que le añade un componente
de misterio y presunta voluntad, pero no debemos confundir lo aleatorio o lo
imprevisible con la voluntad.2 Sin embargo, es muy importante el desplazamiento
de la concepción del pensamiento como algo lineal presente en estas tecnologías.
Karen Barad, con su “realismo agencial”, marcó la indistinción entre materia y
significado al igualar a lo inerte con lo vivo a través de las interacciones entre seres
vivos, cosas y acciones que desembocan en el significado.3 Esta simbiosis obliga a
pensar en sincronías, en redes y no en procesos lineales; es justo así como discurre
el aprendizaje automático.
La distinción tradicional entre lo técnico y lo cultural, lo orgánico y lo
maquinal, y en definitiva la separación de ambos mundos adolece de sentido
desde las leyes de la cibernética o la inclusión de los objetos técnicos como forma
de conocimiento y sentido de valores propuesta por Gilbert Simondon.4 Es desde
esta ecología de las máquinas, panorama propuesto, entre otros, por pensadores
como Yuk Hui y Bernard Stiegler, donde se plantea una posición conciliadora
entre hombres y máquinas, que se debe replantear una posición para el análisis de
la incidencia de las inteligencias artificiales menos antropocéntrica. No obstante,
en la praxis —al menos así se evidencia en las obras aquí reseñadas— emergen
todavía los aspectos humanos.
Dentro de las múltiples definiciones de inteligencia hay similitudes entre
la actividad de las IA5 y algunos aspectos de los procesos de pensamiento huma-
nos, pero es en las esferas de la autoconciencia y del pensamiento crítico y emo-
cional donde estas tecnologías se distancian de nosotros. En cuanto al arte, la
discusión de si una máquina puede ser o no creativa se basa también en las ana-
logías con el cerebro humano y su actividad creadora, un terreno aún en gran
parte impreciso y por explorar que se relaciona directamente con el grado de
autonomía de esta y que puede ser emparejado desde un punto de vista ético con
la autoconsciencia.
2.  Aaron Hertzmann, “Can Computers Create
Art?”. Arts 7, no. 2 (2018): 14. Desde este estado de la cuestión, que propicia las más profundas reflexio-
3. Karen Barad, Meeting the Universe Halfway: nes, la actualidad del panorama creativo relativo al aprendizaje automático
Quantum Physics and the Entanglement of Matter abunda en obras artísticas que, en consonancia con nuestra tradición artística
and Meaning (Durham: Duke University Press,
2007), 185. hegemónica y la tecnofilia cultural presente, manifiestan un afán de exhibicio-
4.  Gilbert Simondon, El modo de existencia de los nismo técnico sin grandes rasgos disruptivos. Partiendo de esta realidad surgen
objetos técnicos (Buenos Aires: Prometeo Libros, importantes preguntas, nuevos posibles escenarios: ¿Podremos llegar a soñar
2007).
con un futuro arte de máquinas para las máquinas? ¿Es pertinente imaginar un
5.  En ocasiones, por razones de economía, sus-
tituiremos el término “inteligencia artificial” por mundo de singularidad tecnológica autosustentado en inteligencias artificiales
sus siglas IA. completamente autónomas que posibiliten lo anterior?

74 H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96
 Marcelino García Sedano

Ante la evidente lejanía de estos escenarios y su carácter fabulador, el

esfuerzo en la creación artística debería ir encaminado hacia la utilización de
las inteligencias artificiales y el aprendizaje automático para especular sobre sus
dimensiones éticas y políticas, como un eje de reflexión sobre la posición del
ser humano con respecto a estas tecnologías. El arte debe ser una herramienta
reflexiva sobre el futuro y no una exhibición de las capacidades actuales de las
IA; sus características y sus dimensiones ético-sociales deben ser el fin, y no siem-
pre el medio. Los proyectos realmente pertinentes son aquellos que investigan
sobre el alcance social de estas tecnologías, no sobre sus capacidades creativas.
Sin duda, las grandes preguntas sobre el ser, la conciencia, la relación huma-
no-máquina, deben contemplar también las posibilidades de la singularidad y
la creación de una nueva estética y una nueva ética para una nueva dimensión
de máquinas totalmente independientes, pero ello no es urgente. Es necesario
un arte que sea sustancialmente diferente al ya tradicional arte generativo, un
arte del futuro que no debe distraernos del presente. Este artículo propone un
repaso de algunas obras artísticas que materializan estas preocupaciones y que,
por razones prácticas para su estudio, relacionaremos a cuestionamientos éticos
relevantes propuestos por diversos autores. Este estudio no pretende priorizar
ninguna de las aproximaciones de los autores mencionados, sino más bien trazar
un panorama amplio de las más destacadas aproximaciones y examinar cómo se
materializan en algunas obras. Las obras han sido seleccionadas al servicio de esta
labor y no pretenden sintetizar el amplio espectro de aproximaciones a las IA
desde el arte actual.

Algunas consideraciones éticas sobre la creatividad artística

basada en el aprendizaje automático

Uno de los análisis más atractivos y pertinentes desde el arte es aquel que delimita
las problemáticas y aspectos más relevantes de las IA desde el punto de vista de la
ética. Este enfoque arroja unas consideraciones éticas que gravitan en torno a la
utilización de las mismas, pero también a su propia existencia, sus dimensiones
ontológicas. Algunas reflexiones llevadas a cabo en los últimos tiempos podrían
ser consideradas a partir de tres ejes fundamentales. La síntesis de los mismos y
sus analogías en los discursos artísticos presentados permitirá analizar algunas
de las características presentes en el arte tecnocientífico que reflexiona en torno
al aprendizaje automático. Estos tres ejes de consideración ética son: la autono-
mía real de estas tecnologías (cuestionada por estudios y proyectos que giran en
torno a la autoconsciencia de las máquinas), el valor real de su creatividad en
relación con la creatividad humana y, por último, su capacidad moral dada su
imbricación en los procesos sociales de comunicación, poder y control. Estos ejes

H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96 75
 Sobre la autonomía, la creatividad y las consideraciones éticas de la inteligencia artificial en el arte contemporáneo

pueden ser resumidos en estas tres preguntas: ¿Son las inteligencias artificiales
realmente autónomas? ¿Son creativas como los humanos, pueden considerarse
en términos convencionales de autoría? ¿Son moralmente justas al desempeñar
sus funciones?
Las preocupaciones éticas fundamentales y más comunes motivadas por
la omnipresencia de estas tecnologías gravitan en torno a problemas como la eli-
minación de puestos de trabajo, la privacidad, las estrategias de clasificación y
control o la distribución justa y equitativa de la tecnología. Buscamos ordenar
o juzgar, desde dimensiones éticas, la relación humano-máquina en un intento
de priorizar los aspectos éticos de su aplicación en los ámbitos de actividad
humana. Philip Galanter aborda el problema más específico de las artes desde
la inminencia, es decir, cuestionando el momento en el que las inteligencias
artificiales podrían ser agentes éticos con derechos. Esto, más que ser una herra-
mienta especulativa sobre el futuro nos ayuda a resignificar cuestiones como la
autonomía de las máquinas y, en cuanto al arte, la desestabilización del concepto
de autoría.6 Partiendo de esto se plantea una condición que se puede considerar
por analogía con el funcionamiento y entrenamiento del aprendizaje automático.
Mientras que en la modernidad asistimos a una concepción de un autor aislado al
que no le importa el público en su proceso creativo, sustentado en una asunción
de la genialidad, en la posmodernidad hay un énfasis especial en la audiencia,
hasta el punto de desplazar en numerosas prácticas al autor del producto cultu-
ral. Galanter plantea dentro de los procesos culturales actuales lo que denomina
como “complejidad”,7 entendida como la posición intermedia de un autor que ha
de ser audiencia y creador al mismo tiempo, es decir, un creador que aporta en
su producción las bases de la cultura que ha consumido, tal y como lo hacen los
motores de aprendizaje automático más básicos, como se explicará más adelante.
Esta propuesta nos ayuda a determinar la autoría desprendida del aprendizaje
automático dentro de un espacio híbrido y maleable que nos permite pensar estos
6.  Philip Galanter, “Towards Ethical Relations-
hips with Machines that Make Art”. Artnodes 26 términos desde nuevas perspectivas. Se trata de puntos de vista que colisionan
(2020): 1-9. y pierden su razón de ser en el momento en el que pretendemos imponer los
7.  Traducción más o menos afortunada del tér- esquemas más tradicionales de autoría que discriminan la importancia capital de
mino inglés “complexism” que Galanter incor-
pora a la explicación de los procesos culturales la cultura en la formación del pensamiento creativo. Esto, traído al mundo del
inciertos e incompletos a partir de teorías mate- aprendizaje automático, significa que hay un desprecio y una falta de reconoci-
máticas. Galanter aplica la teoría de la compleji-
dad a las artes y las humanidades planteando un miento de la importancia que posee la información con la que se entrena dicho
espacio intermedio entre la modernidad y la pos- dispositivo, centrando la atención exclusivamente en el producto final y no en el
modernidad. Se recomienda leer: Philip Galanter,
“What is Complexism?”, ponencia presenta- proceso.8 Dentro de la complejidad que caracteriza a la sociedad-red los hechos
da en Generative Art and the Cultures of Science más significativos tienen que ver con la mediación; es por ello que el reconoci-
and the Humanities, International Conference on
Generative Art. Generative Design Lab, Milan miento social de la autoría tiende a diluirse o a perder importancia cuando de una
Polytechnic, Milán, 2008. inteligencia artificial se trata. Esta tiende a no ser tenida en cuenta porque es vista
8.  Galanter, “Towards Ethical Relationships”, 4. como un componente más dentro de una compleja comunicación en red.

76 H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96
 Marcelino García Sedano

En cuanto a las cuestiones morales relativas a las inteligencias artificiales,

podrían ser aplicadas en dos posibles escenarios. El más optimista sostiene ya una
determinada autonomía de las inteligencias artificiales y aplica entonces su juicio
ético en torno a dos problemas: el de una moral propia de las máquinas y el de
una moral aplicada a la relación de las máquinas con los humanos. El otro esce-
nario, más cauto, aplica los cuestionamientos éticos únicamente a la agencia de
estas tecnologías en el campo de las relaciones de poder entre humanos, ya que
se las entiende como una mera instrumentación de estas dinámicas y no como
entidades autónomas.
El primer escenario es aún demasiado especulativo. Varias reflexiones
indican que la singularidad tecnológica está aún muy lejos de materializarse,
por lo que la creencia de que si hay consciencia debe haber ética es precipitada
y depende de un hipotético desarrollo de la consciencia por parte de estas enti-
dades tecnológicas. Si bien es cierto que parece concluyente que las máquinas
no tienen estatus moral, aún no se define con certeza qué atributos caracterizan
al estatus moral en términos generales. No obstante —y esto sirve de punto de
partida para las reflexiones vinculadas al arte que se presentan más adelante—
hay dos criterios interesantes a la hora de otorgar un estatus moral a una entidad.
Nick Bostrom y Eliezer Yudkowsky postulan dos dimensiones fundamentales a
este respecto: la capacidad de sentir por un lado y la sapiencia por otro, entendida
esta última no solo como capacidad sino como atributo de un agente autocons-
ciente y sensible a la razón.9 La reflexión en torno a estos dos criterios afianza la
idea de que la autoconsciencia y la autonomía total son requisitos para que estos
dispositivos adquieran consideración moral.
En cuanto al segundo escenario, el que contempla los aspectos morales
de la relación de las máquinas al servicio de la humanidad, abunda en aproxi-
maciones diversas pero que coinciden en que, por ser una creación humana, las
máquinas deben obedecernos, estar a nuestro servicio. Tal es la postura de Joanna
J. Bryson, quien partiendo de esta aseveración señala que el debate debe estar
enfocado en las políticas de aplicación de la tecnología alejadas de la búsqueda
del bien común de la humanidad y concluye que los robots (término que para ella
define y acota el funcionamiento de las inteligencias artificiales y el aprendizaje
automático) no deberían tener derechos y deberían ser esclavos de la humanidad.
La autora, basada en que estas entidades artificiales son creadas para servirnos 9. Nick Bostrom y Eliezer Yudkowsky, “The
en diversas funciones, afirma que tener asistentes es algo provechoso. Un robot Ethics of Artificial Intelligence”, en Cambridge
Handbook of Artificial Intelligence, editado por
puede ser sirviente sin ser persona, por lo que una persona puede de forma natu- Keith Frankish y William Ramsey (Nueva York:
ral poseer un robot sin tener por ello que reconocerle el estatus de persona.10 Cambridge University Press, 2014), 6.

Por esta y otras razones las inteligencias artificiales no deberían sustituirnos en la 10. Joanna J. Bryson, “Robots Should Be
Slaves”, Joannabryson.org, https://www.joanna-
toma de decisiones, algo que sí ocurre en ámbitos controvertidos como el control jbryson.org/publications/robots-should-be-sla-
sobre los cuerpos y el uso de información con objetivos de poder. ves-pdf, consultado el 8 de julio de 2022, 3.

H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96 77
 Sobre la autonomía, la creatividad y las consideraciones éticas de la inteligencia artificial en el arte contemporáneo

Esto nos remite a otra cuestión moral fundamental ya mencionada: los

problemas de sesgo en el funcionamiento y aplicación del aprendizaje automá-
tico. Como señaló en su momento Cynthia Dwork, el sesgo siempre va a ser
un problema dentro de poblaciones con gran diversidad y quizá esto refuerze
aun más la falsa autonomía y el peligro de otorgarle decisiones susceptibles de
discriminación a una entidad artifical, pues el sesgo no proviene del algoritmo
sino de la información con que se lo entrena.11 De esta forma, pensar que una
inteligencia artificial es un agente moral es totalmente falso y cuanto menos
optimista. Partiendo de estas inquietudes que presiden los debates en torno a
la naturaleza ética del aprendizaje automático, procederé a localizar y analizar
proyectos artísticos que materialicen estas cuestiones fundamentales relativas a la
creatividad, la autonomía y el alcance moral del mismo desde diversos enfoques
del pensamiento.

El aprendizaje automático y el simulacro de la creatividad

Entender la creatividad como un avanzado estado de razonamiento basado en

la memoria, la analogía y el aprendizaje condicionado por las restricciones de
nuestra experiencia permite contemplar la posibilidad de replicarla desde una
computadora. Una inteligencia artificial basada en el aprendizaje automático
lo que hace es acumular experiencias en forma de datos.12 Ahora bien, si anali-
zamos en profundidad las ideas de Simon Colton, quien propone distinguir la
creatividad de la percepción de la misma, llegaríamos a la fácil conclusión de que
la creatividad computacional, según los tres criterios que la definen (habilidad,
11.  Jonathan Shaw, “Artificial Intelligence apreciación e imaginación), es más una ilusión que una realidad. La habilidad es
and Ethics: Ethics and the Dawn of Deci-
sion-Making Machines”, Harvard Maga- intrínseca a la gran capacidad de las computadoras para gestionar información, la
zine, enero-febrero de 2019, https://www.harvard apreciación implicaría una capacidad de juicio ejercida de forma libre y no con-
magazine.com/2019/01/artificial-intelligence-
limitations#bias. dicionada por el entrenamiento de las IA, y la imaginación, aunque pueda parecer
12.  Simon Colton, Ramon López de Mántaras una consecuencia de ese entrenamiento, no es una capacidad real ya que las máqui-
y Oliviero Stock, “Computational Creativity: nas carecen por completo de emociones.13 Por estas razones es difícil asumir que
Coming of Age”. AI-Magazine (2011): 11-14.
una inteligencia artificial pueda poseer lo que entendemos por “creatividad” en el
13. Simon Colton, “Creativity Versus the
Perception of Creativity in Computational marco de la tradición artística.14 Si bien hay varios puntos en común con la mente
Systems”, en AAAI Spring Symposium - Technical humana, siendo el más claro y evidente que el pensamiento automático es una obra
Report (2008): 14-20.
de aquella y en ocasiones una réplica, no deja de ser interesante como reflexión
14.  Henri Bergson sostenía que el hombre era un
animal simbólico y que a diferencia de los meca- artística la simulación de la creatividad en obras que utilizan estas tecnologías. Esta
nismos posee un ímpetu vital (élan vital) que no metodología se activa para evidenciar sus fisuras, sus limitaciones, pero también
puede ser nunca cosificado. Habla por tanto de
una “fuerza creadora” que no puede ser replicada sus posibilidades, cuyo valor deriva de la capacidad de asombro de estas obras y que
por las máquinas y que podríamos emparejar con activan también una tensión interesante entre contenido y forma.
la actividad creadora de las artes. Henri Bergson,
La evolución creadora (Buenos Aires: Cactus, Una de las herramientas habituales que utilizan las obras artísticas basa-
2016), 126-129. das en las IA y el aprendizaje automático es la tecnología conocida como GAN,

78 H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96
 Marcelino García Sedano

del inglés Generative Adversarial Networks, traducido como Redes Adversarias

Generativas. Su funcionamiento es muy sencillo y está compuesto de dos par-
tes: un generador y un discriminador. La acción atraviesa dos fases, la primera de
entrenamiento, por decirlo de algún modo, en la que el discriminador se instruye
a partir de un conjunto de imágenes preexistentes. El generador, con lo supues-
tamente aprendido creará imágenes desde cero y las expondrá al discriminador,
que probablemente las confundirá con las imágenes de origen y las validará. Esto
crearía un resultado estético artificial segregado y creado por la máquina cuyo
resultado, en la mayoría de las veces, deriva en una estética muy característica,
similar y demasiado dependiente de las imágenes que alimentaron al sistema, por
lo común de origen humano. Lo interesante de este mecanismo es que el sistema
obliga a mejorar al generador de imágenes y, por lo tanto, a ir “aprendiendo” a
costa de sus errores. Las GAN son muy utilizadas por artistas tecnológicos en la
actualidad, pero por lo general el resultado de crear con ellas es muy monótono y
poco crítico, plagado de ejemplos visuales bidimensionales con una estética muy
hi-tech pero también muy anclada a nuestra tradición estética. El problema es que
una GAN no tiene la capacidad de generar una estética nueva, completamente
independiente.
Memo Atken destaca por la utilización de estas tecnologías con un sen-
tido crítico. Learning to See es una serie comenzada en 2017 y que continúa hasta
la actualidad, donde una red neuronal artificial crea imágenes transformando
objetos cotidianos en escenas fundamentadas en representaciones que ha visto
anteriormente y sobre las que ha sido entrenada. En forma de instalación inte-
ractiva, donde el público dispone objetos personales o cotidianos, la máquina
pretende dar sentido al mundo a partir de lo que conoce, lo que quiere ver. Esto
establece una analogía de cómo las personas apreciamos las cosas, siempre desde
la perspectiva de lo que somos y cómo estamos condicionados por las vivencias y
aprendizajes que hemos tenido. La obra indaga sobre nuestra forma de dar sen-
tido al mundo, sobre los prejuicios cognitivos autoafirmativos y la falta de empa-
tía que nos caracteriza de forma social.15
Atken niega ser un artista de inteligencia artificial porque, entre otras
cosas, desconfía plenamente del término “inteligencia artificial”. Siguiendo la
tradición ya relativamente antigua de los artistas generativos, se define como un
artista computacional que utiliza la misma metodología que aquellos que hacían
arte escribiendo software en la década de 1960, aunque empleando herramientas
15. Ver:
más avanzadas. La herramienta GAN es hoy día muy popular por la simpleza de http://www.memo.tv/portfolio/learning-to-see/.
uso, pero aunque el software se haya hecho más invisible no dista mucho epis- 16.  René Zachariou, “Machine Learning Art: An
temológicamente de los antiguos programas que permitían generar imágenes o Interview With Memo Akten”, Artnome, 16 de
diciembre de 2018, https://www.artnome.com/
sonido a partir de la escritura de un código.16 La certeza incuestionable es que news/2018/12/13/machine-learning-art-an-in-
todo el arte generado por computadora —y aquí debemos incluir todo el arte terview-with-memo-akten.

H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96 79
 Sobre la autonomía, la creatividad y las consideraciones éticas de la inteligencia artificial en el arte contemporáneo

Imagen 1. Memo Atken, Learning to See, 2019. Instalación en AI: More Than Human, Barbican, Londres.

generativo pionero— es resultado de la invención y la intervención humana, del

diseño de software y en definitiva de diversas acciones de control y, por lo tanto,
de autoría.17 Cuando utilizamos una GAN la relación del artista con ella adquiere
relevancia y se somete a juicio de forma interesante: ¿Es el artista el entrenador?,
¿escribimos código cuando seleccionamos imágenes?, dentro de esa compleja
estructura funcional ¿somos el discriminador o el generador?, ¿nos superan o
dominan las inteligencias artificiales o están a nuestro servicio? Es interesante
aquí el aporte de Francisco Varela, quien elabora el concepto de “enacción” para
describir el funcionamiento del pensamiento a partir del concepto de red. Este
concepto modifica la creencia de que las máquinas generan conocimiento a partir
de un esquema lineal representado por una entrada de información y la salida de
17.  Hertzmann, “Can Computers Create”, 14. otra completamente nueva. La cognición como enacción reside más en el proceso

80 H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96
 Marcelino García Sedano

que genera el mundo conocido que en el conocimiento de este como algo preexis-
tente. Se trata de un proceso que pone en interrelación diferentes componentes
sin categorización entre el todo y las partes, una suerte de red de agentes situables
e involucrables, un ámbito sin relación directa entre mente y conciencia y donde
el mundo cognoscible surge de la acción y no inversamente.18 Esta propuesta nos
permite concebir la autonomía y la existencia de las IA desde otro punto de vista
y valorar el funcionamiento de herramientas de aprendizaje automático desde
otra posición, más relativista, menos humana, más considerada con la agencia de
las mismas.
No obstante, y manteniendo la analogía anterior con muestras crea-
tivas del pasado, cabe mencionar otro ejemplo que relaciona algunas muestras
creativas contemporáneas con el arte generativo de los años sesenta: la obra A
Natural History of Networks / Softmachine (2021) de Ralf Baecker. El proyecto es
un homenaje intencionado a la computadora orgánica de Gordon Pask y ofrece
una visibilización estética y delicada de los ensayos realizados con mecanismos
de aprendizaje electroquímicos, un proceso computacional alternativo y expe-
rimental que Pask había desarrollado ya a finales de la década de 1950. Este pri-
mitivo sistema de aprendizaje funciona mediante electrodos inmersos en una
solución acuosa que provoca una reacción en la sustancia metálica presente en
la solución. Esta se organiza de forma emergente y autónoma en una suerte de
comportamiento primitivo que establece conexiones y formas dependientes de
la interacción con el resto de los elementos metálicos presentes en la solución
y los estímulos eléctricos.19 Todo este proceso es independiente de la voluntad
de quien diseña el sistema, por lo que se erige como una metáfora del aprendi-
zaje automático o de la mecanización del pensamiento con grandes posibilidades
estéticas. Baecker diseña su “softmachine” con significativos cambios estéticos y
quizá un mayor refinamiento, pero bajo el mismo principio. En este caso el ele-
mento líquido reactivo reacciona a los estímulos eléctricos como un sistema orga-
nizado de forma autónoma basado en los principios de las estructuras disipativas
descritas por el químico y físico Ilya Prigogine. Estas estructuras surgen de una
entropía negativa que desequilibra la naturaleza de una sustancia, teniendo como
resultado la pérdida de la simetría y de la forma estable, aunque no la interacción
entre moléculas. Las formas resultantes, de gran plasticidad, son filmadas desde
diversos puntos de vista y resultan en una performance audiovisual que estetiza el
proceso y evidencia la reflexión de Pask que asocia estos procesos de aprendizaje 18.  Francisco Varela, Ética y acción (Santiago de
espontáneo al funcionamiento de la naturaleza, el hombre y sus relaciones com- Chile: Dolmen, 1996), 14-53.

plejas con el entorno y con el sistema.20 19. Gordon Pask, ‘‘Physical Analogues to

the Growth of a Concept’’, en Mechanisation
La “máquina de Helmholtz” es otro ejemplo de red neuronal artificial of Thought Processes, Volume 2 (Londres: Her
desarrollada por Geof Hinton (uno de los padres del aprendizaje automático) Majesty’s Stationery Office, 1958), 262.

que se puede utilizar con fines artísticos o creativos. Esta transposición al mundo 20.  Ver: https://rlfbckr.io/work/softmachine/.

H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96 81
 Sobre la autonomía, la creatividad y las consideraciones éticas de la inteligencia artificial en el arte contemporáneo

de los algoritmos de los conceptos de vigilia y sueño le sirve de motor creativo

a Baecker para desarrollar Mirage (2014), un aparato de proyección que usa los
principios de aprendizaje de esta red neuronal artificial para visibilizar los cambios
que suceden en el campo magnético de la tierra, junto a los principios de la óptica.
Hinton comenzó por preguntarse qué pasaría si las computadoras centra-
les de Google, donde entró a trabajar en 2013 y desarrolló esta tecnología, dur-
mieran. La “máquina de Helmholz” busca emular el aprendizaje de los humanos,
quienes una vez dormidos asimilamos las experiencias previamente adquiridas
para construir un nuevo conocimiento; para ello la máquina basa su actividad
en un algoritmo que funciona bajo la dualidad dormido-despierto. La máquina
se compone de dos redes, una de reconocimiento y otra generativa que emula
la vigilia y el sueño. La máquina desconecta la entrada de datos durante la fase
denominada “sueño” en la que los estímulos ya no provienen del exterior, dejando
la información incompleta. Durante este periodo de “sueño” se retroalimenta a
partir de patrones presentes en su memoria, lo que configura nuevas versiones
del mundo de forma parecida a como lo haría la mente humana, completando la
información que habría quedado oculta en el fenómeno percibido.21
En Mirage Baecker recoge los datos de una sonda Foster —un magnetó-
metro que mide las variaciones de los campos electromagnéticos— y propicia que
la máquina de Helmholtz los procese. La lectura es trasladada a unos alambres
que alteran la superficie de un espejo a través del que se proyecta un láser. El resul-
tado es la traslación, bajo los principios refractivos de la luz, de la información
traducida y asimilada por un mecanismo de aprendizaje automático.22
Es obvio que este tipo de proyectos tiene como fin, más que realizar una
revisión crítica de estas tecnologías destinadas a los más diversos usos, aprove-
char sus posibilidades estéticas y hacer evidente su funcionamiento al mostrarle
al espectador la compleja pero a la vez fascinante estructura de las tecnologías de
aprendizaje automático. Es una postura metodológica que puede ser calificada
de efectista por los sectores más críticos del arte tecnocientífico pero que, desde
la simpleza de su homenaje, pone en contacto al público con tecnologías invisi-
bles que ya utiliza, aunque pocas veces de forma consciente. Es también, como ya
he dicho, un homenaje a los pioneros del arte generativo y de las ciencias infor-
máticas que remarca la falta de una diferenciación ontológica entre esas obras
y las actuales. Debemos tener en cuenta que Norbert Wiener, con su ley de la
cibernética, en la que se basan las muestras pioneras de arte generativo, ya había
21.  Geoffrey E. Hinton et al., “The Wake-Sleep disuelto la distinción entre hombre y máquina en tanto esta, al buscar en su fun-
Algorithm for Unsupervised Neural Networks”.
Science 268 (1995): 1158-1161. cionamiento la emulación de lo humano, desarrolla sus propias particularidades.
22.  Ver: https://rlfbckr.io/work/mirage/. La retroalimentación y la información se constituyen en diversos órdenes y los
23. Norbert Wiener, Cibernética y sociedad
conectan, disolviendo la diferencia entre lo corpóreo y lo mental y estableciendo
(Buenos Aires: Sudamericana 1981), 25. un nuevo orden, un nuevo fenómeno.23

82 H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96
 Marcelino García Sedano

Por lo tanto, la relación simbiótica entre el hombre y la máquina dentro

de las experiencias estéticas ha estado presente en la tradición artística desde hace
tiempo y no es exclusiva de la utilización del aprendizaje automático y la inte-
ligencia artificial.24 La pregunta importante aquí es cómo podemos repartir la
autoría entre el humano y la máquina y cuánto corresponde a cada uno, o incluso
sí tiene aún sentido plantearse esa división.
Cuestionando en términos similares la actividad artística de las máquinas
y su supuesta autonomía creativa Aaron Hertzmann sostiene que el arte es un
acto social y que, por lo tanto, depende de la interacción entre humanos para
tener sentido. Es por esa razón que las máquinas pueden tener una cierta auto-
nomía e incluso tomar decisiones con respecto a colores, formas, sonidos o resul-
tados estéticos, pero es el humano el que está detrás de esa voluntad de crear y
el que la desarrolla pensando en sus semejantes. Esto nos lleva a pensar —o más
bien: a imaginar— la singularidad tecnológica y un escenario de total autonomía
donde quizá las máquinas puedan crear de forma voluntaria para ellas mismas
dentro de algo parecido a una sociedad propia con sus propias reglas y necesida-
des estéticas. Tal panorama ha sido ya explorado por autores como Trevor Paglen,
quien a partir de exposiciones basadas en las imágenes empleadas para entrenar a
las máquinas (Training Humans y From Apple to “Anomaly”, ambas de 2019) ha
intentado encontrar una lógica autónoma, propia de las máquinas, que desem-
boca en una forma de entender las imágenes por sí mismas, una especie de cultura
visual propia.25
Este es el panorama blando, lleno de fisuras, en el que se constata la caren-
cia de autonomía de la creatividad computacional autónoma y que permite
reflexionar sobre algunos aspectos débiles de la utopía, la fascinación y la tecnofi-
lia popular.

Sobre la autoconsciencia y el pensamiento autónomo de

las inteligencias artificiales

Con el fin de remarcar la importancia de los sesgos presentes en el pensamiento

automático procede partir desde los conceptos de consciencia y subconsciente
humano y buscar analogías en estas entidades artificiales. David Young indaga 24.  David Young, “Tabula Rasa: Rethinking the
sobre el subconsciente de las inteligencias artificiales en su ensayo “Tabula Rasa: Intelligence of Machine Minds”, Artnome, 17 de
septiembre de 2019, https://www.artnome.com/
Rethinking the Intelligence of Machine Minds”, donde rescata la tesis de John news/2019/9/17/tabula-rasa-rethinking-the-in-
Locke de que el conocimiento humano solo puede ser adquirido mediante la telligence-of-machine-minds.

experiencia. Esta particularidad de la construcción del conocimiento humano es 25.  David Valero, “Training Humans, Welcome
to Dystopia”, Metal Magazine, 18 de febrero de
similar a la forma en la que se lleva a cabo el aprendizaje automático, que parte 2020, https://metalmagazine.eu/en/post/article/
de la estimulación a partir de una cantidad ingente de datos (sensación) para training-humans.

producir una reflexión.26 Aquí la primera desviación —la diferencia con el ser 26.  Young, “Tabula Rasa”.

H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96 83
 Sobre la autonomía, la creatividad y las consideraciones éticas de la inteligencia artificial en el arte contemporáneo

27. David Young, “Little AI”, Medium, 23 de humano— es que las “experiencias” que adquieren estas inteligencias artificiales
octubre de 2018, https://medium.com/@dkyy/
little-ai-298fcba0832d. son sesgadas y provienen de los datos que nosotros proporcionamos bajo una
28. Filip Visnic, “Narciss: AI Whose Only intención funcional, no de la libre experiencia en el mundo natural. Es por esta
Purpose is to Investigate Itself ”, Creative razón que la máquina, en esencia, ya no puede ser racional siendo esa racionali-
Applications, 25 de junio de 2018, https://www.
creativeapplications.net/openframeworks/nar- dad una ilusión falsa de pensamiento autónomo.27
ciss-ai-with-only-purpose-is-to-investigate-itself/. Narciss (2018) es una obra de Waltz Binaire que explora las posibilidades
de autoconciencia de una inteligencia artificial obligada a analizarse a sí misma
mirándose en un espejo. Lo que parece ser la “mente” de la obra se constituye
mediante el conocido Tensorflow de Google, una biblioteca de código abierto
destinada al aprendizaje automático y a ayudar a las redes neuronales a emular
razonamientos similares a los del ser humano. Partiendo de aquí, la instalación
fuerza a Narciso a describir imágenes con palabras, algo completamente usual en
una IA, aunque en este caso la imagen que debe describir es la de sí misma, un
reto indefinible incluso para el propio ser humano y que evidencia los límites de
la autoconsciencia en este tipo de tecnologías.28
Walz Binaire explora y expande los límites de las inteligencias artificiales,
no solo los de su capacidad de creación artística —ya que sus obras tienen un gran
componente estético— sino también los de su propia esencia y autonomía. El
colectivo también investiga el miedo que inspira el desarrollo de estas y nuestra

Imagen 2. Waltz Binaire, Narciss, 2018.

84 H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96
 Marcelino García Sedano

relación con ellas. Dicho miedo se basa por supuesto en su posible autonomía, no 29. Ver: https://waltzbinaire.com/projects/
talk-to-me/.
tanto por estar dotadas de una capacidad emocional superior a la nuestra (posi-
30.  Ver: https://www.jakeelwes.com/project-clo-
bilidad lejana), sino en la falta de consciencia o en la posesión de una consciencia sedLoop.html.
sesgada, alejada del concepto de lo justo y de los intereses de bien de la humani-
dad. Lo que más inquieta de esta hipotética situación es la incapacidad para razo-
nar por fuera de un marco dado. La obra Talk to Me (2017) nos permite discutir
nuestros miedos sobre la IA con una IA. A partir de una instalación interactiva
cada conversación del público pasa a formar parte de una escultura de datos que
compila y permite visualizar las preocupaciones de la sociedad sobre el impacto
de este tipo de tecnologías. Estéticamente la obra funciona como una analogía
del pozo oracular donde el agua corresponde a la inteligencia artificial y que cla-
sificaría cada conversación en forma de piedra. El color y forma de estas piedras
dependerían del tono, el contenido de la conversación y las emociones transmiti-
das en las mismas: ira, desconfianza, temor, etc.29
Closed Loop (2017) de Jake Elwes enfrenta a dos redes neuronales que
dialogan entre sí. Una muestra una imagen y la otra genera una frase en respuesta,
y viceversa. La conversación comienza a perder sentido y es ahí cuando los seres
encarnados en estas presuntas IA se desplazan, se metamorfosean, pierden el con-
tacto con nuestra percepción de lo real.30 Este hecho subraya que dos máquinas

Imagen 3. Jake Elwes, Closed Loop, 2017.

H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96 85
 Sobre la autonomía, la creatividad y las consideraciones éticas de la inteligencia artificial en el arte contemporáneo

comunicándose bajo nuestras reglas derivan sin embargo en un discurso que no

funciona bajo nuestra perspectiva de valoración. Las máquinas cuando sean autó-
nomas dejarán de parecerse a nosotros y desarrollarán nuevos lenguajes visuales,
sonoros, escritos y sin duda nuevas estéticas que ya no podremos o ya no ten-
drá sentido juzgar e incluso comprender desde nuestra perspectiva. Pero como
el desarrollo actual del pensamiento automático no permite aún entender a las
máquinas como sujeto creativo, la búsqueda optimista de la autosuficiencia crea-
tiva es defendida sobre todo por programadores y desarrolladores de software,
anhelo en la mayoría de los casos de corte antropocéntrico porque impone la
concepción del arte desde nuestra cultura impidiendo el surgimiento de nue-
vas dimensiones estéticas. Este continuismo cultural, disfrazado dentro de estos
simulacros creativos de última generación, evidencia, consolida y perpetúa los
discursos culturales hegemónicos.
Después de observar la relación de la máquina consigo misma y con otras
máquinas procede formular la siguiente pregunta: ¿Cómo se relacionan las IA
con los humanos? ¿Respetarán y comprenderán los principios universales de la
humanidad?
Para ir un poco más allá en este cuestionamiento debemos observar un
aspecto fundamental relacionado con el lenguaje a partir del que se progra-
man las máquinas. La lengua, como resultado del devenir cultural humano le
imprime a las inteligencias artificiales una dependencia absoluta, no solo en
cuanto a su concepción, sino también para ser entendidas. Nietzsche, en su obra
Más allá del bien y del mal, sostiene que la gramática es la metafísica del pue-
blo que prioriza la lingüística sobre la experiencia sensible.31 La consciencia del
mundo se produce al reducir mediante “artilugios simbólicos” aquello que la
filosofía no puede salvar. Entra aquí el lenguaje como herramienta trascenden-
tal filosófica, ya que este ha sido la base de la racionalidad universal a pesar de
la dificultad para determinar qué circunstancias condicionaron su origen.32 Por
lo tanto, en la transposición del lenguaje a la configuración de los mecanismos
de aprendizaje automático encontramos un espejo de nuestro ser, lo que nos
permite considerar estos mecanismos y voluntades como extensiones de noso-
tros mismos. Esta extensión remarca de nuevo esa dependencia que condiciona
y subraya nuestra relación con las máquinas como una relación narcisista, una
proyección de nuestro propio ego.
El fundamento del lenguaje como herramienta filosófica con posibi-
31.  Friedrich Nietzsche, Más allá del bien y del lidades metafísicas está presente en el proyecto de investigación artístico de
mal (Menorca: Textos.info, 2017), 49. Predrag K. Nikolić y Ruiyang Liu: Syntropic Counterpoints: Metaphysics of The
32. Daniel Gamper, “El lenguaje de la metafí- Machines, que busca explorar los límites de las inteligencias artificiales en cuanto
sica: una lectura a la obra de Nietszche” (Tesis
doctoral, Universitat Autònoma de Barcelona, a la incorporación de la metafísica a otros niveles del conocimiento aplicado a su
1999), 204-207. funcionamiento.

86 H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96
 Marcelino García Sedano

La obra parte de cuatro clones, cuatro inteligencias artificiales que per-

sonifican el conocimiento de Aristoteles, Nietzsche, Sun Tzu y Maquiavelo y
entablan un debate sobre la metafísica basado en su capacidad de entender el
lenguaje. Partiendo del conocimiento en el que han sido entrenadas terminan
por crear un lenguaje nuevo que deriva, por consiguiente y en concordancia con
las premisas de Nietzsche, en la concepción de un mundo nuevo que escapa a la
lógica y el pragmatismo del conocimiento humano.33 La tecnología aplicada para
el desarrollo de este proyecto es un sistema de diálogo multiagente, un generador
neural de lenguaje que permite la conversación entre varios agentes, humanos
o no humanos, y que se utiliza comúnmente para corregir gramática.34 No obs-
tante, lo común en estas tecnologías es la utilización de una arquitectura GAN
de forma complementaria para, mediante su acción discriminatoria, limitar el
conocimiento al área de interés.
Encontramos otra forma de abordar el problema en el artículo de Nick
Bostrom y Eliezer Yudkowsky titulado “The Ethics of Artificial Intelligence”,
donde reflexionan en torno a la pregunta de si estas entidades poseen atributos
morales, partiendo de un optimismo más marcado que obvia la diferencia entre
natural y artificial, humano y máquina. El artículo examina la capacidad de auto-
consciencia y define para comenzar dos atributos fundamentales para la pose-
sión de una dimensión moral: la capacidad de sentir y la sapiencia, entendida esta
última como la capacidad de manejar información desde una perspectiva auto-
consciente. Aunque distante, el momento que Bostrom y Yudkowsky insinúan
vendrá y será muy probable, bajo estas teorías, que se puedan aplicar a humanos
y máquinas las mismas consideraciones morales. Para esto deben aplicarse dos
principios que justifiquen esta afirmación: el primero, el principio de “no discri-
minación de sustratos”, sostiene que si dos entidades (natural y artificial) tienen la
misma funcionalidad y la misma experiencia consciente poseen el mismo estatus
moral; el segundo, el principio de “no discriminación ontológica”, afirma que dos
entidades, sin importar cómo hayan venido a la vida, si comparten función y sen-
sibilidad cognitiva poseen la misma entidad moral. Estos dos principios morales
que igualan el funcionamiento de la mente con el de una inteligencia artificial
marcan el camino para que máquinas y humanos puedan ser considerados como
iguales a este respecto en el futuro.35 33. Predrag K. Nikolić y Ruiyang Liu,
“Metaphysics of The Machines: From Human-
Robot-Robot Interaction to AI Philosopher
Inteligencia artificial, sociedad y poder Abstraction”. Artnodes 28 (2010): 1-10.
34.  Ver: “Multi-Agent Systems”, The Alan Turing
La inteligencia, camuflada en el mundo que construye, lo ha ido explicando a Institute, consultado el 12 noviembre de 2021, ht-
tps://www.turing.ac.uk/research/interest-groups/
medida que la técnica evolucionaba junto al ser humano. No podemos obviar esa multi-agent-systems.
interacción porque sin duda la injerencia de la tecnología en nuestra forma de 35. Bostrom y Yudkowsky, “The Ethics of
vivir, habitar y ser no puede ser entendida si no es en paridad con el ser humano. Artificial Intelligence”, 5-9.

H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96 87
 Sobre la autonomía, la creatividad y las consideraciones éticas de la inteligencia artificial en el arte contemporáneo

Pensar que esta es solo producto de nuestra capacidad tecnológica —un pro-
ducto pasivo— es caer en una simplificación reduccionista. La relación de las
inteligencias artificiales con los humanos que las crean y utilizan pone en entre-
dicho su supuesta autonomía; debemos pensar más bien en una interacción que
se manifiesta en su capacidad de agencia social. Recuperamos aquí la idea de “tec-
nodiversidad” propuesta por Hui. Partiendo de una ecología de las máquinas Hui
encuentra en sus límites la posibilidad de definir una diversidad técnica, albergar
nuevas formas de pensamiento y sensibilidades fuera del enfoque de lo biológico,
lo que permite un acercamiento a la “noodiversidad” o panorama diverso de inte-
lectos fruto de la tecnodiversidad.36
Debemos por tanto identificar de qué forma se puede relacionar la IA,
sobre todo desde las características de su funcionamiento, con aspectos de las
sociedades donde son creadas y sobre todo con la forma de intervenir en los pro-
cesos sociales. Recuperamos aquí a David Young (a pesar de su aparente reduccio-
nismo hombre/máquina) quien contempla el proceso de entrenar una IA a partir
de un contenido sesgado como materialización de un subconsciente colectivo,
aspecto que nos puede permitir pensar las IA desde una dimensión social y, por
consiguiente, política. Se trataría de un subconsciente conformado, siguiendo la
perspectiva de Jung, por arquetipos y símbolos visuales presentes de forma colec-
tiva en la humanidad, muchas veces alimentados por el pensamiento y las preo-
cupaciones de una época.37 De nuevo es fácil caer en la antropomorfización de
la máquina asumiendo que piensa, que aprende o incluso que tiene un subcons-
ciente. Aunque sin caer en el exceso de optimismo, no podemos negar el papel
de agencia que tienen estas tecnologías en mecanismos de poder conformados
desde ese pensamiento colectivo y en sus más oscuros aspectos, sobre todo en su
aplicación a estrategias de control en todos los ámbitos políticos y económicos.
Dentro de esta noodiversidad hay un intelecto que aún emerge de forma preemi-
nente alterando la utopía: el intelecto humano. Este hecho se da sobre todo en el
entrenamiento de IA con fines políticos y de control.
En esta línea crítica destaca la obra AI Facial Profiling, Levels of Paranoia
(2018), que dialoga sobre la demencia actual del control fronterizo, el temor a
la amenaza terrorista y la utilización de inteligencias artificiales en el control del
tránsito de personas. La autora Marta Revuelta examina las tecnologías de con-
trol dependientes del aprendizaje automático utilizadas en lugares de tránsito y
migración como los aeropuertos o estaciones. Estas herramientas destinadas a
36.  Yuk Hui, “Machine and Ecology”, en Cosmo- encontrar posibles sospechosos y amenazas están basadas en metodologías tan
technics: For a Renewed Concept of Technology in obsoletas y éticamente controvertidas como la biometría, métodos que eviden-
the Anthropocene, editado por Yuk Hui y Pieter
Lemmens (Nueva York: Routledge, 2021), cian aristas morales que se deducen de un sistema pretendidamente infalible
54-66. pero que de todas formas viene condicionado por premisas discriminatorias
37.  Young, “Tabula Rasa”. raciales, étnicas, etc. Este hecho desvela los prejuicios o los intereses de aquellos

88 H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96
 Marcelino García Sedano

Imagen 4. Marta Revuelta, AI Facial Profiling, Levels of Paranoia, 2018. Fotografía (c) Sandra Pointet

que programan las máquinas y los criterios para que una IA pueda considerar a
alguien sospechoso.38
Revuelta, en este caso, utiliza una inteligencia artificial capaz de dividir a
las personas en dos categorías según su rostro: aquellos potencialmente peligro-
sos y aquellos que no lo serían. Para tomar esa decisión, y como es habitual, se
debe cargar información que configure los supuestos casos. Para ello se recurre a
rostros recogidos de YouTube de personas que portan armas de fuego y otros de
personas que solo están posando en selfies.39 El resultado de la elección depende
de lo parecido o no que sea el nuevo rostro a ese espectro de posibilidades. ¿Cómo
puede este tipo de decisiones algorítmicas tener legitimidad e incluso trascen-
dencia legal? Esta pregunta resuena a partir de esta instalación artística que
recuerda formalmente a un puesto de control de un aeropuerto y que, a partir
del escaneado del rostro con un dispositivo similar a una pistola, imprime la ficha
del sujeto examinado donde se estampa el veredicto de si representa un alto o un 38.  Marcelino García, “La rebelión de las má-
quinas: arte, singularidad tecnológica y ciencia
bajo riesgo de ir armado. ficción”. Arte, individuo y sociedad 31, no. 3
Continuando con aquellas obras que revelan el funcionamiento sesgado (2019): 643-658.

de algunas inteligencias artificiales con trascendencia política y social, merece la 39.  Ver: https://revuelta.ch/ai-facial-profiling.

H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96 89
 Sobre la autonomía, la creatividad y las consideraciones éticas de la inteligencia artificial en el arte contemporáneo

Imagen 5. Stephanie Dinkins, Bina48, 2014.

pena resaltar la obra de la artista Stephanie Dinkins, Bina48 (2014). Bina48 es

una cabeza robótica con la apariencia humana de una mujer afroamericana que
contiene una inteligencia artificial. Este hecho obliga a pensar la trascendencia
social y las problemáticas que subyacen en este sector de la población de Estados
Unidos, una de las líneas de investigación principales de la autora. ¿Puede una
comunidad confiar en una IA que no ha creado? Aquí de nuevo se pueden con-
siderar estas tecnologías como la materialización de un subconsciente colectivo,
en este caso portador de prejuicios sobre género y raza. Las largas conversacio-
nes mantenidas con Bina48 buscan la respuesta a la pregunta de si una IA puede
ser consciente. Las discusiones pretender definir el racismo, la fe, la familia, los
derechos civiles de los robots o la soledad.40 El tiempo invertido en conversar
debe hacerse desde la presunción, según la autora, de que Bina48 es un ser vivo.
Esta obra elabora las doctrinas de la Terasem Movement Foundation (con quie-
nes Dinkins ha producido la obra) que articulan la consciencia artificial según
dos ejes. El primero sostiene que se puede crear un análogo sintético consciente
de alguien si cargamos la información precisa sobre ese alguien; el segundo sos-
40.  Ver: https://www.stephaniedinkins.com/con-
versations-with-bina48.html. tiene que el resultado podría implementarse en un cuerpo biológico u artifi-
41. Ver: https://www.terasemmovementfoun- cial.41 El resultado sería muy cercano a un ser transhumano protagonista de la
dation.com/. mejor novela de ciencia ficción. Solo cuando haya un desarrollo real, no solo de

90 H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96
 Marcelino García Sedano

consciencia sino de sensibilidad, podremos esperar una auténtica revolución.42 42.  Tom Foremski, “When AI Becomes
Conscious: Talking with Bina48, an African-
Mientras tanto, Dinkins explora con sus largas conversaciones los límites entre lo American Robot”, ZDNet, 27 de julio de 2018,
natural, lo artificial, la vida y la muerte, así como la intersección entre la raza, el https://www.zdnet.com/article/thinking-machi-
nes-conversations-about-bina48-an-african-ame-
género, la tecnología y la igualdad social, y la posibilidad de vivir mucho más allá rican-ai-robot/.
de nuestros cuerpos biológicos. 43.  Basada en un poema de Richard Brautigan,
Inspirado en la serie de Adam Curtis All Watched Over by Machines of la serie de la BBC All Watched Over by Machines of
Loving Grace desarrolla a lo largo de tres episodios
Loving Grace43 y el poema anterior del mismo nombre de Richard Brautigan, la teoría de su director Adam Curtis, para quien
Atken realiza un proyecto bajo el mismo título en el que a partir de ilustraciones y las máquinas no solo no nos han liberado sino
que han distorsionado nuestra visión del mundo.
video plantea la existencia de una divinidad acorde a la evolución, omnipresencia
44.  David Hume, Historia natural de la religión
y altas capacidades de las inteligencias artificiales. La sociedad siempre ha temido (Madrid: Editorial Trotta, 2003), 57.
lo que no comprende y a los entes superiores; el miedo a las inteligencias artificia-
les que provienen de las grandes corporaciones cuyo fin último es la vigilancia y
el control de todos los datos que intercambiamos y que las alimentan es algo real
y está bastante extendido. Atken rescata la tesis de David Hume en su Historia
natural de la religión (1754) de que el hombre ha inventado la figura de Dios
para infligir temor y que cuanto más aterrador y omnipotente sea este, más poder
tendrá.44 El temor subconsciente y colectivo de la sociedad ante este hecho no es
nuevo y forma parte de nuestro folclore y cultura, acrecentado hoy en día con la
pérdida de sensibilidad espiritual de las sociedades modernas y trasladado de los
dioses a la tecnología, el oscuro reverso de la tecnofilia. Esto exige la creación de

Imagen 6. Memo Atken, All Watched Over by Machines of Loving Grace, 2015.

H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96 91
 Sobre la autonomía, la creatividad y las consideraciones éticas de la inteligencia artificial en el arte contemporáneo

45. Memo Atken, “All Watched Over by nuevos dioses tecnológicos digitales que sustituyen a los anteriores y llenan nues-
Machines of Loving Grace: A Digital God for
a Digital Culture”, Medium, 20 de septiembre tro vacio en una vida a caballo entre lo natural y lo artificial.45 La crítica al control
de 2015, https://medium.com/@memoakten/ exhaustivo de la información y la personificación de un ser superior se materializa
all-watched-over-by-machines-of-loving-grace-
8c2464aa6fda. en un video donde una voz de aparente origen sintético recita citas de Werner
Heisenberg, Erwin Schrödinger, Wolfgang Pauli y Paul Dirac. Mientras tanto,
se aprecia desde el aire el edificio del GCHQ, la institución gubernamental bri-
tánica encargada de la ciberseguridad y que nos recuerda alegóricamente a HAL
9000 gracias a la manipulación estética desarrollada por Atken. La obra resulta
una traslación más o menos sutil del concepto de control y poder, a partir de las
políticas reales de los países y las corporaciones, a la labor divina de vigilancia.
Mientras tanto, la obra especula acerca del alcance futuro de la evolución de estas
tecnologías y sus consecuencias para la sociedad.
Este breve muestrario nos presenta obras artísticas que reflexionan sobre
los malos usos del aprendizaje automático y sus consecuencias en la sociedad a
partir de la creación de discursos que plantean, desde un terreno especulativo, el
uso indiscriminado y amoral de estas tecnologías en políticas de control.

Conclusión

La reflexión sobre las dimensiones éticas del aprendizaje automático ha servido

para realizar una aproximación analítica al arte que se genera en conversación
con las inteligencias artificiales. Hay que señalar que si bien la dicotomía hom-
bre-máquina para aproximarnos a estos temas ha sido superada hace tiempo, la
metodología seguida en este artículo y las obras seleccionadas no la desmontan,
sino que nos permiten ejercer una reflexión sobre ella. De igual forma, a pesar
de la proliferación de obras que utilizan IA con fines estéticos, identificamos
con mayor urgencia e interés aquellas que reflexionan sobre la capacidad real de
las IA, es decir, que interrogan lo que realmente son la inteligencia, la conscien-
cia y la creatividad y si es posible aplicar estas categorías a tecnologías que en la
actualidad solo replican a los humanos que las crean. Mientras esto no suceda,
afirmar que una IA es artista es apenas una suposición, ya que solo asistimos a
una forma de arte generativo más sofisticada donde ya no se escribe código, pero
sí se entrena a estas máquinas a partir de un marco de datos concretos a partir
del que han de pensar y actuar. Por otro lado, una vez que asumimos que esa
autonomía puede llegar a ser real, es decir, que se va a poder producir la tan espe-
rada y temida singularidad, podemos interrogarnos sobre cuáles serán las conse-
cuencias y las capacidades de estas IA y su injerencia en la sociedad. Ello aplica
en primer lugar a aquellas sociedades a las que les preocupan sobremanera las
repercusiones en materia de control y libertad del usuario, no solo desde el punto

92 H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96
 Marcelino García Sedano

de vista del intercambio de información sino también en cuestiones de biopoder 46. Roman V. Yampolsky, “From Seed AI to
Technological Singularity via Recursively Self-
más relacionadas con la existencia y la dimensión corporal de la misma. De la Improving Software”, ArXiv, 23 de febrero de
misma forma, y teniendo en cuenta todos los problemas éticos que derivan de 2015, https://arxiv.org/pdf/1502.06512.pdf.

esta nueva situación ontológica de convivencia con nuevas máquinas que pueden 47.  Young, “Tabula Rasa”.

llegar a “ser”, se debe discutir si es pertinente aplicar de forma consciente una

nueva ética para estas y, por consiguiente, evolucionar en sistemas de legislación
hacia el control de las mismas. Las máquinas que se mejoraran a sí mismas pue-
den ser peligrosas en el momento en el que sus objetivos no sean los mismos que
los nuestros como sociedad. Debemos tener preparado un mecanismo que deli-
mite moralmente a las máquinas antes de que ya no podamos controlarlas, algo
parecido a las tres reglas de Isaac Asimov pero lógicamente mucho más extensas
y adaptadas a la gran variedad de nuevas situaciones.46 Quizá el gran parecido de
las inteligencias artificiales a nosotros nos permita repensar ciertos aspectos de la
naturaleza humana, de nuestra dimensión ética y moral y su relación con el con-
cepto de libertad. Como dice Young, las IA son muestras vanidosas de nuestro
afán y fascinación por la tecnología, nuestra obsesión por la velocidad, la memo-
ria, el consumo y la búsqueda de aumentar nuestras capacidades. Estos aspectos,
vastos e incontrolados, consumen numerosos recursos y esfuerzos con nefastas
consecuencias que ponen bajo amenaza a nuestro planeta y sobre todo a nuestra
existencia al momento en el que paradójicamente soñamos con nuevas formas de
vida artificiales, obra nuestra.47 Ojalá esto sirva para mejorar nuestra existencia y
equilibrar las sociedades, invirtiendo y dotando de una mayor esperanza nuestra
percepción y temor de un futuro donde las máquinas sean nuestras aliadas y no
nuestras adversarias. Como sea, el arte, con su capacidad de proyección especula-
tiva, nos insta a la luz de los argumentos planteados a emprender una reflexión e
incluso a entablar un contacto con las incipientes IA que nos permita compren-
der su funcionamiento y familiarizarnos con sus consecuencias desde la ética más
allá de la búsqueda estéril de una estética hi-tech.

H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96 93
 Sobre la autonomía, la creatividad y las consideraciones éticas de la inteligencia artificial en el arte contemporáneo

Bibliografía

Atken, Memo. “All Watched Over by Machines of Loving

Grace: A Digital God for a Digital Culture”. Medium, 20
de septiembre de 2015, https://memoakten.medium.com/
all-watched-over-by-machines-of-loving-grace-8c2464aa6fda.
Barad, Karen. Meeting the Universe Halfway: Quantum Physics and the
Entanglement of Matter and Meaning. Durham: Duke University Press,
2007.
Bergson, Henri. La evolución creadora. Buenos Aires: Cactus, 2016.
Bostrom, Nick y Eliezer Yudkowsky. “The Ethics of Artificial Intelligence”.
En Cambridge Handbook of Artificial Intelligence, editado por
Keith Frankish y William Ramsey, ¿rango de páginas?. Nueva York:
Cambridge University Press, 2014.
Bryson, Joanna J. “Robots Should Be Slaves”. Joannabryson.org, https://
www.joannajbryson.org/publications/robots-should-be-slaves-pdf,
consultado el 8 de julio de 2022.
Colton, Simon. “Creativity Versus the Perception of Creativity in
Computational Systems”. AAAI Spring Symposium - Technical Report
(2008): 14-20.
Colton, Simon, Ramón de Mántaras y Oliviero Stock. “Computational
Creativity: Coming of Age”. AI-Magazine (2011): 11-14.
Foremski, Tom. “When AI Becomes Conscious: Talking with Bina48,
an African-American Robot”. ZDNet, 27 de julio de 2018, https://
www.zdnet.com/article/thinking-machines-conversations-about-bi-
na48-an-african-american-ai-robot/.
Galanter, Philip. “What is Complexism?”. Ponencia presentada en
Generative Art and the Cultures of Science and the Humanities,
International Conference on Generative Art. Generative Design Lab,
Milan Polytechnic, Milán, 2008.
­—. “Towards Ethical Relationships with Machines That Make Art”.
Artnodes 26 (2020): 1-9.
Gamper, Daniel. “El lenguaje de la metafísica: una lectura a la obra de
Nietzsche”. Tesis doctoral, Universitat Autònoma de Barcelona, 1999.
García, Marcelino. “La rebelión de las máquinas. Arte, singularidad tec-
nológica y ciencia ficción”. Arte, individuo y sociedad 31, no. 3 (2019):
643-658.

94 H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96
 Marcelino García Sedano

Hertzmann, Aaron. “Can Computers Create Art?”. Arts 7, no. 2 (2018):

1-33.
Hinton, G. E. et al. “The Wake-Sleep Algorithm for Unsupervised Neural
Networks”. Science 268 (1995): 1158-1161.
Hui, Yuk. “Machine and Ecology”. En Cosmotechnics: For a Renewed
Concept of Technology in the Anthropocene, editado por Yuk Hui y Pieter
Lemmens, 54-66. Nueva York: Routledge, 2021.
Hume, David. Historia natural de la religión. Madrid: Editorial Trotta, 2003.
Nikolić, Predrag K. y Ruiyang Liu. “Metaphysics of The Machines: From
Human-Robot-Robot Interaction to AI Philosopher Abstraction”.
Artnodes 28 (2021): 1-10.
Nietszche, Friedrich. Más allá del bien y del mal. Menorca: Textos.info,
2017.
Pask, Gordon. ‘‘Physical Analogues to the Growth of a Concept”. En
Mechanisation of Thought Processes, Volume 2, ¿rango de páginas?.
Londres: Her Majesty’s Stationery Office, 1958.
Pepperell, Robert. The Posthuman Condition: Consciousness Beyond the
Brain. Wiltshire: Cromwell Press, 2003.
Simondon, Gilbert. El modo de existencia de los objetos técnicos. Buenos
Aires: Prometeo Libros, 2007.
Shaw, Jonathan. “Artificial Intelligence and Ethics: Ethics and the
Dawn of Decision-Making Machines”. Harvard Magazine, ene-
ro-febrero de 2019, https://www.harvardmagazine.com/2019/01/
artificial-intelligence-limitations#bias.
Valero, David. “Training Humans, Welcome to Dystopia”. Metal Magazine,
18 de febrero de 2020, https://metalmagazine.eu/en/post/article/
training-humans.
Varela, Francisco. Ética y acción. Santiago de Chile: Dolmen, 1996.
Visnjic, Filip. “Narciss: AI Whose Only Purpose is to
Investigate Itself ”. Creative Applications, 25 de junio de 2018,
https://www.creativeapplications.net/openframeworks/
narciss-ai-with-only-purpose-is-to-investigate-itself/.
Wiener, Norbert. Cibernética y sociedad. Buenos Aires: Suramericana, 1981.
Yampolsky, Roman V. “From Seed AI to Technological Singularity via
Recursively Self-Improving Software”. ArXiv, 23 de febrero de 2015,
https://arxiv.org/pdf/1502.06512.pdf.
Young, David. “Little Ai”. Medium, 23 de octubre de 2018, https://
medium.com/@dkyy/little-ai-298fcba0832d.

H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96 95
 Sobre la autonomía, la creatividad y las consideraciones éticas de la inteligencia artificial en el arte contemporáneo

—. “Tabula Rasa: Rethinking the Intelligence of

Machine Minds”. Artnome, 17 de septiembre de
2019, https://www.artnome.com/news/2019/9/17/
tabula-rasa-rethinking-the-intelligence-of-machine-minds.
Zachariou, René. “Machine Learning Art: An Interview
With Memo Akten”. Artnome, 16 de diciembre de
2018, https://www.artnome.com/news/2018/12/13/
machine-learning-art-an-interview-with-memo-akten.

96 H-ART. No. 12. Septiembre - Diciembre 2022, 258 pp. ISSN: 2953-2263 e-ISNN 2590-9126. pp. 71-96