Ilustración: fotograma de Frankenstein, de James Whale. Universal Pictures, 1931.
Con Boris Karloff en el papel del monstruo y Colin Clive como Dr. Frankenstein.

No saber de qué estará hecho el mañana afecta a cada cual
de manera diferente. Los hay que querrían saber si van
a encontrar un empleo, si ganaron en las carreras, si su amante
les seguirá amando o si todavía van a estar vivos. Por lo que
a mí concierne, lo que más me preocupa es no saber qué
va a ser del mundo en los próximos quinientos años.
O en los próximos cien años. ¡O en los veinte próximos!
Somos una terrible mezcla de ácidos nucleicos y de recuerdos,
de deseos y de proteínas. El siglo que acaba se ha ocupado mucho
de ácidos nucleicos y proteínas. El que llega se va a concentrar
en los recuerdos y en los deseos. ¿Sabrá resolver estas cuestiones?
François Jacob, 1997

Tecnocracia

En el siglo XI, la lucha por el poder secular en el mundo feudal tuvo un singular capítulo en la llamada Querella de las investiduras. El conflicto entre el Imperio y la Iglesia desatado por la cuestión referida a quién tenía la potestad de designar a los dignatarios de la Iglesia en cada uno de los feudos nos importa aquí por el sentido metafórico que podemos darle para nuestro tiempo actual. A diferencia del pasado, la querella no ocurre entre dos poderes que se pueden identificar como distintos. Hoy el conflicto se desarrolla dentro de una única ciudadela monástica, la cual carece de un singular lugar de culto porque sus sitios de rezo están esparcidos por toda la Tierra, incluso llegan satelitalmente a los «cielos». Los gobernantes, como poder secular, parecen excluidos porque han aceptado ser meros burócratas que gestionan sin osadía alguna lo que se les dice es posible. No cuentan en esta puja. Semanas atrás, académicos y ejecutivos de empresas hicieron un manifiesto en forma de una carta abierta mostrando su virtual preocupación por el desarrollo de aplicaciones de inteligencia artificial (IA) de libre acceso, las que, dadas sus cualidades, serían una amenaza a la integridad de algunos aspectos fundamentales de la naturaleza y el intelecto humanos. Este escrito generó una esperada, pero a su vez efímera agitación en diferentes medios y portales que, por un breve tiempo, reemplazaron las notas sobre el mundo sostenible y el cambio climático por la preocupación sobre el fin del hombre a manos de su propia creación. Lo que nos importa aquí no es solo la cuestión de la IA, sino la perspectiva tecnocrática implícita, inevitable en este tipo de declaraciones porque la firma de expertos es lo que les da legitimidad, y el hecho de que algunos signatarios sean personajes vinculados al desarrollo de tecnologías relacionadas con los mismos riesgos que denuncian.

El Gólem

El documento elaborado se apoya en cuestiones técnicas muy puntuales, pero el problema que plantea es de vieja data. Tal vez la leyenda más antigua a considerar aquí es la del Gólem, criatura mítica hecha de barro a la que un rabino le otorgaba vida para que cuide a los judíos del gueto. Pero su torpeza lo convertía en una amenaza latente para sus propios creadores. Aunque había un conjuro para quitarle la vida, se corría el riesgo de olvidarlo, liberando al Gólem de la única atadura que lo mantenía bajo control humano. Con un pensamiento más acorde a la modernidad, Samuel Butler escribió su novela Erewhon, que incluye el “Libro de las máquinas”¹, una advertencia sobre la posibilidad de que los ingenios humanos evolucionen dominando a sus creadores. Poco antes, Mary Shelley había publicado Frankenstein o el moderno Prometeo. La novedad de la carta de 2023 parece residir en que, lejos de toda ficción, se nos habla mientras el monstruo se incorpora efectivamente a la vida. Aunque las advertencias del escrito pueden ser legítimas, cabe preguntarse por otros significados, dado que no es posible desvincularla de una batalla real por quién domina y llega antes al desarrollo de tecnologías que influyen y determinan el modo en que viven miles de millones de personas. La carta abierta comienza con dos perspectivas que nos sirven de punto de partida para entender lo problemático de este documento:

“1) Los sistemas de IA con inteligencia competitiva humana pueden plantear profundos riesgos para la sociedad y la humanidad, como lo demuestra una extensa investigación y es reconocido por los principales laboratorios de IA. Como se indica en los Principios de IA de Asilomar,² ampliamente respaldados, la IA avanzada podría representar un cambio profundo en la historia de la vida en la Tierra, y debe planificarse y administrarse con el cuidado y los recursos adecuados. Desafortunadamente, este nivel de planificación y gestión no está sucediendo, a pesar de que en los últimos meses los laboratorios de IA se han visto atrapados en una carrera fuera de control para desarrollar y desplegar mentes digitales cada vez más poderosas que nadie, ni siquiera sus creadores, puede entender, predecir o controlar de manera confiable.

2) Los sistemas de IA contemporáneos se están volviendo competitivos para los humanos en tareas generales, y debemos preguntarnos: ¿Debemos dejar que las máquinas inunden nuestros canales de información con propaganda y falsedad? ¿Deberíamos automatizar todos los trabajos, incluidos los satisfactorios? ¿Deberíamos desarrollar mentes no humanas que eventualmente podrían superarnos en número, ser más astutas, obsoletas y reemplazarnos? ¿Debemos arriesgarnos a perder el control de nuestra civilización? Tales decisiones no deben delegarse a líderes tecnológicos no elegidos. Los sistemas de IA potentes deben desarrollarse solo una vez que estemos seguros de que sus efectos serán positivos y de que sus riesgos serán manejables”³.

Como toda admonición, el escrito comete olvidos. En este caso, hace a un lado el hecho de que no solo es la IA la que plantea profundos dilemas para la humanidad. Casi todos los desarrollos tecnológicos de las últimas décadas lo hacen, y además, esos desarrollos están anudados entre sí. De hecho, lo más significativo no son los riesgos que podemos prever, sino aquellos que nos es difícil predecir. Por lo tanto, la idea de que el desarrollo de la IA debe (puede) planificarse como si fuese el despliegue de un teorema lógico es falsa, y la afirmación de que se ha de administrar con cuidado se puede entender como un pedido para que su gestión quede de manera dominante en las manos de un grupo de expertos elegidos (resulta cuestionable esta última cualidad porque supone la ausencia de conflictos de interés en quienes administran o consideran los riesgos. La «elegibilidad» no deja de resonar en el enunciado como una forma de ingenuo e imposible altruismo). Pensemos por un momento en la pregunta que formulara Richard Lewontin hace ya varias décadas: “¿Cómo puede funcionar el Estado democrático si los ciudadanos dependen del conocimiento experto disponible sólo para una pequeña élite, una élite que en su formación y en sus intereses económicos directos representa sólo a un sector muy estrecho de la sociedad?”. No estamos sugiriendo que deba aceptarse una forma de laissez faire donde ni reflexionemos ni impongamos limitaciones legales e instrumentales. Lo que sostenemos es que la carta defiende una perspectiva tecnocrática bajo el paraguas del temor. Recordemos lo que ello significa. Las políticas definidas durante la emergencia de la COVID-19 encontraron su asidero en el miedo y en un informe del Imperial College de Londres que sugería la necesidad de confinar a poblaciones enteras durante año y medio sin importar cuestiones éticas, económicas o sociales. Sin duda, los encierros que sucedieron en el mundo encontraron en este documento, escrito bajo la dirección de Neil Ferguson, un buen asidero, tanto como lo fueron los expertos vernáculos elegidos y que contaron con apoyo popular. Esta reclusión masiva no hubiera sido posible sin internet y el mundo de la vigilancia digital. Las graves consecuencias de este reduccionismo aún se están desplegando frente a nosotros. Vale preguntarse por qué los signatarios de esta carta no emitieron voz alguna de advertencia sobre la forma en la que los desarrollos tecnológicos, que se ubican en el mismo campo que los de la IA, permitieron manipular el comportamiento de miles de millones de personas. Como lúcida aclaración frente a estas reflexiones, consideremos el pensamiento del biólogo François Jacob en su obra El ratón, la mosca y el hombre:

“En la época de la ingeniería genética, del proyecto sobre el genoma humano, de la investigación sobre el embrión, de la sociobiología [también de internet, de las redes sociales y de la inteligencia artificial, podríamos agregar hoy], no es posible olvidar. No es posible hacer como si nada hubiera pasado en los campos de concentración de la Alemania nazi. Lo que importa aquí, no es el papel del médico que llevaba a cabo lo que él denominaba ‘experimento’ en aquellos campos, sino el del científico que había inspirado la teoría; la responsabilidad de las que propusieron el cuerpo de doctrina sobre el que se fundó la versión más burda del determinismo biológico. Con la cordura que proporciona la distancia del tiempo, es fácil decidir hoy que la mayor parte de las ideas que inspiraron el movimiento eugenésico carecían de fundamento. Y, no obstante, muchos de sus partidarios eran hombres de ciencia perfectamente respetables que creían actuar en favor del interés público. Entonces, ¿dónde está el error?

El error está en que esos hombres no fueron suficientemente críticos con la noción misma de eugenesia y cuánto ello implicaba. En particular, no valoraron correctamente sus consecuencias sociales. El peligro, para el científico, es no medir los límites de su ciencia y, por lo mismo, de sus conocimientos. Está en mezclar lo que uno cree con lo que uno sabe. Y, sobre todo, en la certeza de tener razón. Los genetistas no han confrontado suficientemente sus ideas eugenésicas con las de los no científicos. No se han rozado lo suficiente con el resto de la sociedad antes de proponer una doctrina cuya aplicación compete sobre todo a aquella”⁴.

Una religión laica

Los riesgos planteados por la IA no son los actos de un genio maléfico surgido repentinamente de una lámpara, sino que se inscriben en una continuidad, un movimiento singular en el despliegue de un capitalismo que se renueva con cambios tecnológicos acelerados y profundos en los campos de la informática, de lo digital, de las comunicaciones y de la biología reproductiva humana. A pesar de que el escrito publicitado parece concederle a la IA un origen ex nihilo, podemos reconocer un anclaje de sus funcionalidades en los ideales de la revolución conservadora impulsada por los gobiernos de Ronald Reagan y Margaret Thatcher, y que han inspirado muchas de las esperanzas propias del solucionismo tecnológico: que sea más eficaz, más rápido, más confortable, más transparente. Sin duda, hay algo nuevo bajo el sol, pero al mismo tiempo no es tan novedoso.

Entre los principales adherentes a la carta se encuentra Elon Musk (su nombre es el segundo en aparecer), dueño de Twitter y fabricante de una nueva Arca para superar los diluvios terrenales yendo a Marte con un grupo de humanos darwinianamente elegidos. Por supuesto que no le preocupan ni las redes sociales, ni la manipulación de la conducta humana que internet posibilita a través de la extracción de datos. Por el contrario, propone como virtud el poder acceder a maestros personalizados que se ajusten a las cualidades de cada persona y las potencien. ¿No es este pensamiento el verdadero riesgo para la vida de las personas en tanto destruye toda perspectiva comunitaria? Puede que, para los alumnos, una de las grandes virtudes de la escuela sea el tener que vincularse con maestros que no responden ni a sus deseos ni a sus formas singulares. La escuela sigue siendo un lugar donde hay que desarrollar la vida en común con otros que no se ajustan a nosotros.

En la década de 1950, Gunther Anders nos ofreció algunas lúcidas reflexiones sobre el devenir de la tecnología en su obra La obsolescencia del hombre. Tal vez sea la mejor forma de cuestionar a quienes repentinamente salen a advertir sobre el fin de los tiempos humanos, y nos ayude a entender por qué, a estos mismos actores, no les parece más apocalíptico la subrogación de vientres que la IA porque no solo mercantiliza de manera profunda la condición humana bajo la venta de los cuerpos para gestar, sino que, además, es un paso hacia los intentos de consolidar la reproducción humana como un acto totalmente instrumental. Y si aún parece exagerada la afirmación de que estamos frente a un nuevo papado que pelea internamente por el poder de las investiduras, pensemos en la propuesta del biólogo evolucionista Julian Huxley de constituir una nueva religión laica bajo el nombre de transhumanismo, y que tiene importantes vínculos con los ideales que rigen el desarrollo de la IA y la reproducción artificial que tanto seduce a muchos de los mentores de Sillicon Valley. Según sus propias palabras:

“Como resultado de mil millones de años de evolución, el universo se está volviendo consciente de sí mismo, comprendiendo algo de su historia pasada y su posible futuro. Esta autoconciencia cósmica se está realizando en un pequeño fragmento del universo –en una parte de nosotros los seres humanos–.

Quizá también se haya realizado en otros lugares, a través de la evolución de las criaturas vivas conscientes en los planetas de otras estrellas. Pero en este nuestro mundo, nunca ha sucedido antes. (…)

La especie humana, si quiere, puede trascenderse a sí misma –no solo esporádicamente, un individuo aquí de una manera, un individuo allí de otro modo, sino en su totalidad, como humanidad–. Necesitamos un nombre para esta nueva creencia. Tal vez sea significativo «transhumanismo»: el hombre sigue siendo hombre, pero trascendiéndose a sí mismo, realizando nuevas posibilidades de y para su naturaleza humana.

‘Creo en el transhumanismo’: una vez que haya suficientes personas que verdaderamente puedan decir esto, la especie humana estará en el umbral de un nuevo tipo de existencia, tan diferente de la actual como la nuestra lo es de la del hombre de Pekín. Habrá cumplido así, conscientemente, con su verdadero destino”⁵.

La vergüenza prometeica

Cuenta Gunther Anders en su diario, con fecha 11 de marzo de 1942, que había decidido hacer una visita guiada a una exposición técnica junto con quien suponemos es Theodor Adorno, aunque nunca explicita con claridad su nombre porque solo lo llama T. Refiere que en la exposición, el comportamiento de T. fue tan extraño que no pudo concentrarse en los artilugios técnicos porque solo atinó a observarlo con atención. Comenta que, cuando una de las complejas maquinarias expuestas comenzó a funcionar, T. bajó la mirada como si se avergonzara. Dice al respecto:

“Pero este ‘como si se avergonzara’ es demasiado tímido. La imagen de su comportamiento era nítida. Las cosas, que él reconocía como ejemplares, como superiores a él y como representantes de una clase de ser superior, representaban para él realmente el mismo papel que habían desempeñado para sus antepasados las personas con autoridad o los milieus considerados ‘superiores’. Le parecía realmente insoportable tener que estar, con su torpeza corporal y su inexactitud como criatura, ante los ojos de los aparatos perfectos; se avergonzaba de verdad.

Cuando trato de examinar esa ‘vergüenza prometeica’, el origen aparece como su objeto fundamental, como la mácula fundamental de quién se avergüenza. T. se avergüenza de haber llegado a ser, en vez de haber sido hecho, o sea, por el hecho de que, a diferencia de los productos impecables y calculados hasta el último detalle, debe su existencia al proceso ciego y no calculado, extremadamente arcaico, de la procreación y el nacimiento. Su vergüenza consiste pues, en su natum esse, en su nacimiento bajo, que él considera (de la misma manera que el cronista de los fundadores religiosos) ‘ordinario’ porque es nacimiento. Y si se avergüenza de su origen anticuado, también se avergüenza del resultado imperfecto e inevitable de ese origen: de sí mismo.

Por lo demás, T. permaneció mudo durante toda la visita. Y solo más tarde recuperó el habla, cuando la exposición ya había quedado lejos. También esto me parece que refuerza la exactitud de mi hipótesis de la vergüenza, pues cuando la vergüenza se expresa, lo hace a través de la autoocultación; en todo caso, cualquier autoexpresión habría estado en contradicción con la vergüenza”⁶.

En este relato queda definido el drama que nos importa. En una cultura que nos ha transformado en consumidores, y también en objetos a ser consumidos, puede que no veamos otra posibilidad que despreciar nuestra propia existencia humana para dejar lugar a lo que funciona sin dolores ni padecimientos, forma última de reificación a las que nos somete el capitalismo tardío. Puede que no sea la IA lo que debe preocuparnos sino el deseo de no ser, de disolvernos. Puede que nos extingamos a mano de nuestras creaciones tecnológicas, pero esto no es lo preocupante. Lo que desvela y lo que angustia son los padecimientos que han de suceder por la ilusión de que nuestras vidas no son las que debemos vivir porque el mandato es ser otra cosa; merecemos ser reemplazados por esa otra cosa, que es inhumana por ser cosa y que llegará, si es que llega, en un futuro que está más allá de nuestro tiempo biológico. Por mucho que se declame a favor de la vida, la nuestra es una cultura tanatofílica. Permitámonos entonces una última reflexión que, extraída del libro Frankenstein. La creatura, nos permitirá vislumbrar la conclusión de un experimento hecho por la aspiración a trascender la muerte, negándola, y con ello la vida del propio ser humano:

“Hay otra forma, más precisa y estricta que su complejo experimento, por la cual, sin que haya desamparo alguno, se puede evitar el morir y a su vez lo falible puede dejar de existir. Lejos de cualquier ironía la victoria es posible bajo el imperio de la propia extinción. Este sería el triunfo definitivo sobre la vida, sobre la muerte, sobre todos los dioses, los que moran en los cielos y los que pueblan el inframundo porque ya no habrá humanos que puedan fenecer. La muerte habrá caído derrotada aunque su cadáver jamás se encuentre. ¿Por qué no deberíamos intentar esta batalla? ¿Por qué no terminar con la perspectiva antropocéntrica que imagina la existencia del hombre, con toda su imperfección, con todos sus padeceres y con el dolor de saber de su muerte, como una necesidad inevitable del universo? Tal vez por lo que afirma Alonso Burgos:

‘Pero si la historia del hombre es la historia de la pérdida del Paraíso, la historia de la construcción de las ciudades, la historia de la lucha del hombre contra la muerte mediante su artefacto y su poesía, si el hombre vence al fin a la muerte, ¿no morirá también el hombre con ella, su enemiga? ¿Qué quedará del hombre cuando se ponga fin a ese relato? Preguntas que nadie responde; preguntas, empero, que son la condición de la promesa. Porque el destinatario y el autor de esa promesa no es otro sino el hombre. Y si nadie responde, tal vez sea mejor desconfiar de los dioses que nos prometen de nuevo el Paraíso y aferrarnos a la tierra de los hombres, esa tierra de la que un día nos ensoñaremos porque Satán nos abrió los ojos a la ciencia. Seguir escribiendo el relato, porque ni los dioses ni el Paraíso existen por sí mismos, solo son, y solo fueron siempre, parte del relato humano’.

Pero aún podemos tener la ilusión de lograrlo. Los fulgurantes desarrollos tecnológicos pueden opacar cualquier reflexión o crítica, condicionamiento o duda que podamos tener. El reflejo de la perfección o de la inmortalidad es difícil de apagar en estos tiempos, y la voz de Frankenstein advirtiendo en su agonía sobre la incontenible ambición humana puede que ya no sea oída. Todo esto es posible. Aun así, hemos de intentar dialogar con Walton y considerar como él si debemos mantener o cambiar nuestra ruta planificada. ¿Qué hacer? El sueño de vencer a la muerte y al dolor difícilmente pueda concluir como lo imaginan sus defensores más decididos. Podemos suponer que el final no será muy distinto al que Mary Shelley logró idear en su novela. Incluso, puede que el mundo sea más oscuro que aquel en el que habitan los replicantes y los humanos de la película Blade Runner. No debemos desechar estos escenarios sin más, solo porque nos rige una forma torpe de optimismo prometeico, para parafrasear el concepto propuesto por Günter Anders. Pero concedamos por un momento que un fin exultante y alejado de toda forma trágica sea posible. Entonces debemos preguntarnos cuántas generaciones habrán de vivir despreciando sus vidas, sufriendo su ‘debilidad’ biológica, su imperfección, su mortalidad, incapaces de tener sueños y deseos porque han comprendido que su existencia es irrelevante, dado que solo están aquí porque el tiempo para que arribe la eterna salvación bajo la forma de nuevos humanos que los reemplazarán aún no llegó. Tal vez, si hemos de darle significado a nuestras vidas, no hemos de buscarlo en estos sueños desmesurados, incluso aunque no sepamos con precisión cómo decidir qué es lo desmesurado”⁷.

Eduardo Wolovelsky

NOTAS

¹ Ya lo había advertido Samuel Butler. En 1863, envió una carta al Press de Christchurch, Nueva Zelanda, titulada “Darwin entre las máquinas”, donde advertía sobre la evolución de los ingenios creados por el hombre, que los podría llevar a reemplazar a los seres humanos. Años más tarde, este texto será la base para el citado capítulo de Erewhon. Con el mismo espíritu satírico de Butler, podemos decir que los firmantes de la carta llegan con una demora de más de un siglo y medio…
² https://futureoflife.org/open-letter/ai-principles.
³ “Pause Giant AI Experiments: An Open Letter”, Future of Life Institute, 22 de marzo de 2023, https://futureoflife.org/open-letter/pause-giant-ai-experiments.
⁴ François Jacob, El ratón, la mosca y el hombre, Barcelona, Drakontos, 1998 (1997), pp. 154-155.
⁵ Julian Huxley, New Bottles for New Wine, Londres, Chatto & Windus, 1957, pp. 13 y 17.
⁶ Günther Anders, La obsolescencia del hombre, Valencia, Pre-Textos, 2011, pp. 39-40.
⁷ Eduardo Wolovelsky, Frankenstein. La creatura. Bs. As., Libros del Rojas (UBA), 2019, pp. 94-99. Resaltado propio