Los escenarios de la inteligencia artificial van mucho más allá de la disyuntiva entre futuro útopico y posible catástofre. Las advertencias sobre una posible catástrofe provocada por la inteligencia artificial concentran buena parte del debate público. Entre ambos extremos se abre un panorama en el que está en juego el poder, la libertad, el trabajo, las relaciones humanas, nuestra capacidad de juicio y, en último término, la forma en que entendemos el valor de la persona. A partir de seis posibles escenarios y de su contraste con la mirada antropológica de Magnifica Humanitas, la autora propone ampliar la pregunta: no solo qué pueden llegar a hacer las máquinas, sino qué tipo de humanidad estamos construyendo alrededor de ellas.
Una noticia capaz de secuestrar la conversación
Hace unos días apareció en X una frase que, por decirlo suavemente, no ayudó a empezar el día con tranquilidad: la inteligencia artificial podría matarnos a todos antes de 2030. No la escribió un guionista de ciencia ficción ni alguien vendiendo un búnker con descuento por compra anticipada. La escribió Jacob Coxon, investigador que había trabajado en OpenAI y Anthropic y que acababa de abandonar esta última por su preocupación frente a la dirección que estaba tomando el desarrollo de sistemas cada vez más capaces. Su advertencia se volvió todavía más incómoda cuando Evan Hubinger, investigador de Anthropic especializado en alineación y antiguo responsable de Coxon, respaldó públicamente buena parte de su preocupación y afirmó que personalmente asignaba una probabilidad superior al 10 % a una catástrofe de IA que acabara con la humanidad durante la próxima década.
Ese mismo día me escribió una amiga con la que llevaba bastante tiempo sin hablar. No hubo demasiado preámbulo. Había leído la noticia y estaba aterrada. Quería que la tranquilizara. Supongo que esperaba algo parecido a “no te preocupes, están exagerando”, quizá acompañado de alguna explicación sensata sobre probabilidades, arquitectura de modelos y límites actuales de la inteligencia artificial. El problema es que lo primero que pensé fue bastante menos reconfortante: si de verdad vamos a morir por culpa de la IA, ojalá sea de un solo golpe. Algorítmico. Masivo. Eficiente. Con nuestros datos perfectamente organizados hasta el último segundo.
Me pareció, por alguna razón, un desenlace bastante más llevadero que otra posibilidad: sobrevivir a la inteligencia artificial y terminar muriéndonos lentamente de tristeza porque dejamos de reconocer nuestro propio valor o porque llegamos a convencernos de que pensar ya no tenía mucho sentido. No se lo dije exactamente así. Todavía somos amigas.
Pero la conversación me dejó una pregunta dando vueltas. Tal vez el problema de la noticia no fuera solamente si Coxon tenía razón. Quizá estábamos prestando tanta atención al escenario más espectacular, la extinción, que corríamos el riesgo de ignorar otros futuros menos cinematográficos y, en algunos casos, bastante más fáciles de alcanzar.
Entre una inteligencia artificial que salva al mundo y otra que extermina a la humanidad existe un territorio enorme donde las máquinas funcionan, las empresas prosperan, la productividad aumenta, los gobiernos adoptan nuevos sistemas, nosotros seguimos vivos y, aun así, algo importante empieza a desplazarse.
Hay frases que informan y otras que secuestran la conversación. “La IA podría matarnos antes de 2030” pertenece a la segunda categoría porque nos obliga casi de inmediato a escoger una postura. Podemos pensar que Coxon sabe algo que los demás no sabemos y empezar a calcular cuánto tiempo queda, o podemos considerar que se trata de una nueva versión de una vieja afición humana: anunciar el fin del mundo, esta vez con modelos fundacionales en lugar de meteoritos.
Ninguna de las dos respuestas me resultaba especialmente útil. La afirmación de Coxon expresa una preocupación de riesgo; no constituye una predicción científica y 2030 no es una fecha establecida para nuestra desaparición. Pero tampoco parece razonable ignorarla solo porque describe un futuro extremo y difícil de medir. Una incertidumbre grande no equivale a riesgo cero. Tampoco convierte el peor resultado imaginable en el más probable.
Pensar el futuro sin pretender adivinarlo
Así que decidí construir escenarios.
La palabra “escenario” se utiliza con bastante libertad. A veces significa una historia sobre el futuro; otras, una predicción con un nombre más elegante. En prospectiva, sin embargo, se debería exigir algo más. Un escenario no intenta adivinar qué va a ocurrir. Intenta establecer qué futuros son plausibles, qué condiciones tendría que reunir cada uno, qué mecanismos podrían conducir hasta allí, qué señales permitirían reconocer que nos estamos acercando y qué decisiones conservarían sentido incluso si nuestra hipótesis inicial termina equivocada.
Mi punto de partida fue acotar el problema: posibles trayectorias de la inteligencia artificial avanzada entre 2026 y 2030. Cuatro años parecen poco hasta que uno compara las capacidades disponibles hoy con las de cuatro años atrás. Pero el objeto de estudio no podía reducirse a los modelos. Había que mirar capacidad técnica, acceso a cómputo, costos energéticos, agentes autónomos, regulación, competencia entre laboratorios, concentración económica, adopción empresarial, ciberseguridad, aplicaciones militares, comportamiento de los Estados y reacción social.
El futuro de la IA no se desarrolla dentro de un laboratorio aislado. Mientras los modelos cambian, también cambian las empresas que los controlan, los gobiernos que intentan regularlos, los mercados que reorganizan y las personas que empiezan a depender de ellos.
Después tuve que separar fuerzas relativamente previsibles de incertidumbres capaces de modificar radicalmente la trayectoria. Es razonable esperar que empresas y gobiernos sigan intentando obtener valor económico y estratégico de la IA. Es bastante menos claro hasta dónde llegará la autonomía real de los sistemas, cuánto poder permanecerá concentrado en unos pocos actores, si la regulación podrá acompañar el ritmo de desarrollo, cómo se distribuirán las ganancias de productividad o qué ocurrirá si la seguridad empieza a entrar en conflicto directo con la competencia comercial o geopolítica. Estas variables no son importantes porque resulten interesantes en sí mismas, sino porque distintas combinaciones producen mundos diferentes.
Luego viene la parte menos atractiva para un titular y más importante para pensar: construir mecanismos causales. Decir que la IA puede destruir empleos ocupa pocas palabras. Explicar cómo podría ocurrir obliga a comprometerse con una secuencia: mejora de capacidades, automatización de determinadas tareas cognitivas, reducción de demanda para algunas ocupaciones, cambio en el poder de negociación de ciertos trabajadores, crecimiento de productividad, distribución concreta de las ganancias y alguna respuesta política o social.
Cada flecha puede fallar su dirección. La automatización de tareas no implica automáticamente desaparición de empleos; puede modificar ocupaciones, crear otras o aumentar la demanda en actividades complementarias. La distribución de ganancias tampoco está predeterminada: depende de instituciones, mercados, propiedad y política. Precisamente por eso vale la pena hacer explícita la cadena.
Con la extinción ocurre algo parecido. Entre los sistemas actuales y una pérdida irreversible de control hay varias hipótesis intermedias: aumentos relevantes de autonomía, capacidad de planificación en horizontes largos, acceso a herramientas y recursos, posibilidad de engañar o evadir supervisión, alguna ventaja estratégica y dificultad para detener el sistema. Que una secuencia pueda describirse no demuestra que vaya a ocurrir. Lo que sí permite es dejar de tratar “la IA podría matarnos” como una unidad indivisible y preguntar en qué eslabones existe evidencia, cuáles son todavía especulativos y qué señales deberían aparecer para revisar nuestra evaluación.
Seis trayectorias para un futuro que probablemente será híbrido
Después combinamos incertidumbres. Alta capacidad con gobernanza relativamente efectiva produce una trayectoria distinta de alta capacidad con instituciones débiles. Automatización intensa y beneficios ampliamente distribuidos no conduce al mismo mundo que automatización intensa y propiedad extremadamente concentrada. Sistemas poderosos accesibles para millones de personas generan riesgos diferentes de sistemas controlados por tres o cuatro empresas.
De esas combinaciones aparecieron múltiples futuros posibles. En el ejercicio llegué a diecinueve manifestaciones concretas —mucho tiempo libre, dirán algunos… me encuentro estrenando soledad, es mi argumento—, pero ponerlas todas al mismo nivel produce más catálogo que comprensión. Las agrupé entonces en seis trayectorias suficientemente diferentes como para obligarnos a pensar y suficientemente amplias como para contener variantes.
Antes de darlas por buenas, había que intentar destruirlas. ¿Qué supuesto sostiene cada escenario? ¿Qué evidencia lo contradice? ¿Estoy confundiendo posibilidad con probabilidad? ¿Qué actor tendría incentivos para romper la cadena? ¿Existe un escenario híbrido que explique mejor los mismos hechos?
Esta última pregunta me resultó especialmente importante. Los escenarios sirven para separar lógicas, no porque el futuro vaya a respetarlas. Podemos tener enorme productividad y enorme desigualdad al mismo tiempo; regulación fuerte en unas áreas y una carrera casi sin control en otras; sistemas técnicamente seguros utilizados para fines políticamente cuestionables. La realidad tiene poca obligación de caber dentro de nuestras matrices.
Finalmente, cada escenario me debía producir señales observables. Si avanzamos hacia concentración extrema de poder tecnológico, tendríamos que ver mayor concentración de cómputo, dependencia de infraestructuras cerradas, barreras de capital crecientes, contratos estratégicos entre gobiernos y pocos proveedores y una consolidación empresarial difícil de revertir. Si avanzamos hacia pérdida técnica de control, la evidencia relevante sería diferente: autonomía sostenida, planificación de largo plazo, capacidad de replicación, adquisición de recursos, evasión consistente de supervisión o alguna forma verificable de mejora autónoma.
El ejercicio completo puede resumirse así: fuerzas motrices, incertidumbres críticas, supuestos, mecanismos causales, desencadenantes, trayectoria, estado futuro, impactos, señales tempranas y decisiones posibles. No cabe muy bien en un titular de X, pero ayuda más a decidir sobre qué preocuparnos.
Magnifica Humanitas: ¿qué idea de persona configura cada futuro?
Según mi interés, y quizá también por una cuestión de identidad en la forma en que suelo mirar estos problemas, quise añadir una capa más al ejercicio. Cada escenario fue contrastado con la mirada antropológica de Magnifica Humanitas, no para utilizar la encíclica como evidencia técnica ni para hacerla confirmar artificialmente lo que ya había encontrado, sino para introducir una pregunta que me resulta difícil dejar por fuera: qué idea de persona, de libertad, de responsabilidad y de valor humano queda configurada dentro de cada futuro posible.
La elección resulta además especialmente sugerente porque Anthropic, la misma organización de la que proviene la advertencia que desencadenó este análisis, estuvo también presente en la presentación de la encíclica. La coincidencia no implica acuerdo entre ambas perspectivas, pero sí muestra que la discusión sobre las capacidades y riesgos de la IA empieza a encontrarse, inevitablemente, con otra mucho más difícil de resolver: qué tipo de humanidad estamos construyendo alrededor de ellas.
1. La IA como amplificador humano
El primer escenario es, probablemente, el que el sector tecnológico preferiría que ocurriera: la IA como amplificador humano. Los modelos mejoran rápidamente, pero también lo hacen los mecanismos de seguridad y las instituciones aprenden a gobernar su adopción.
La automatización elimina parte del trabajo repetitivo, la investigación científica acelera, el diagnóstico mejora, pequeñas organizaciones acceden a capacidades que antes requerían equipos costosos y algunos trabajadores utilizan sistemas inteligentes para producir más sin quedar necesariamente desplazados.
Es un futuro plausible. No está garantizado, pero tampoco debería tratarse como propaganda por el simple hecho de ser positivo. Ya existen usos de IA que aumentan productividad o reducen tiempos en determinadas tareas. La pregunta abierta es qué ocurre cuando esos aumentos se expanden a escalas económicas y sociales mucho mayores.
Magnifica Humanitas modifica el criterio con el que evaluaríamos ese escenario. La encíclica no rechaza el aumento de capacidad y tampoco propone mantener tareas humanas solo porque antes las hacíamos nosotros. Su pregunta es qué sucede con la persona cuando la eficiencia se convierte en criterio dominante.
Si automatizar libera tiempo, todavía queda por decidir qué hacemos con ese tiempo. Podría dedicarse a educación, cuidado, investigación, creación o participación social; también podría convertirse simplemente en nuevas exigencias de productividad. No hay nada en la tecnología que determine cuál de las dos cosas ocurrirá.
Por eso el escenario optimista necesita una condición adicional que la primera lectura tecnológica podía pasar por alto: la ampliación de capacidad humana solo puede considerarse progreso humano si las personas conservan margen para orientar esa capacidad hacia fines que reconozcan como propios.
2. Capitalismo algorítmico concentrado
El segundo escenario es menos cómodo: capitalismo algorítmico concentrado. Aquí la inteligencia artificial también funciona muy bien. Ése es precisamente el problema.
Los modelos con mayor valor económico generan retornos que permiten adquirir más cómputo, contratar talento escaso, acceder a mejores infraestructuras y financiar la siguiente generación. La ventaja se acumula. Si el entrenamiento de frontera sigue requiriendo cantidades extraordinarias de capital y energía, unas pocas compañías podrían controlar progresivamente una infraestructura que deja de parecerse a un software y empieza a parecerse a un servicio básico.
Empresas y gobiernos pasarían a depender de sistemas que no poseen ni comprenden completamente. El análisis previo ya había relacionado la automatización cognitiva con una posibilidad adicional: productividad creciente acompañada de concentración de beneficios y una crisis distributiva que no puede explicarse solo con la tecnología.
Magnifica Humanitas desplaza la atención hacia el poder. Preguntar cuánta riqueza genera la IA resulta insuficiente si no preguntamos quién posee la infraestructura que la genera, quién determina sus condiciones de acceso y qué capacidad conservan los demás actores para no depender de ella.
El problema se vuelve especialmente interesante porque no requiere ningún fallo técnico. Una IA puede estar perfectamente alineada con los objetivos de su propietario y producir consecuencias socialmente indeseables para otros. De hecho, cuanto mejor haga aquello que su dueño desea, mayor puede ser la asimetría.
La discusión sobre alignment suele preguntar cómo conseguir que la máquina haga lo que queremos. Este escenario obliga a completar la frase: ¿lo que quiere quién? Una máquina que obedece impecablemente no resuelve el problema de la concentración; puede aumentarlo.
3. El Estado algorítmico
El tercer escenario es el Estado algorítmico. La misma tecnología que mejora la detección de fraude, el tráfico urbano, la asignación de recursos o la prestación de servicios permite también reconocer rostros, perfilar ciudadanos, combinar bases de datos, anticipar comportamientos y personalizar intervenciones.
Ninguna de estas capacidades conduce por sí misma al autoritarismo. Una democracia puede utilizar analítica avanzada sin convertirse automáticamente en un régimen de control. El riesgo aparece cuando muchas aplicaciones razonables empiezan a acumularse dentro de una misma infraestructura y la capacidad de observar, clasificar y modificar comportamientos crece más rápido que las garantías institucionales que limitan su uso.
El escenario de autoritarismo algorítmico incluía precisamente reconocimiento, vigilancia, predicción, censura, manipulación y control económico.
Magnifica Humanitas permite llevar el problema un poco más lejos. La libertad puede erosionarse sin que desaparezca formalmente la capacidad de elegir. Un sistema que conoce preferencias, vulnerabilidades y hábitos puede modificar el entorno en el que tomamos decisiones: qué vemos primero, qué resulta costoso, qué desaparece, qué comportamiento obtiene una recompensa.
No sabemos todavía hasta dónde pueden llegar estas formas de influencia cuando se combinan modelos generativos, personalización y grandes bases de datos; tampoco conviene asumir que todo sistema de recomendación constituye manipulación.
Pero la pregunta merece quedar abierta: ¿qué significa ejercer autonomía cuando una parte creciente del entorno de elección ha sido diseñada para anticipar nuestra respuesta? La encíclica introduce así una distinción incómoda entre conservar opciones y conservar libertad.
4. Una carrera fragmentada
El cuarto escenario es una carrera fragmentada. Los principales laboratorios y Estados siguen avanzando porque consideran que desacelerar unilateralmente sería demasiado costoso. Estados Unidos teme perder ventaja frente a China; una empresa teme quedar detrás de otra; los gobiernos quieren obtener beneficios económicos y militares antes que sus competidores.
Ningún actor tiene que desear una carrera insegura para que la carrera ocurra. Basta con que cada uno crea que el otro continuará. En ese entorno, los ciclos de desarrollo pueden acortarse, las pruebas de seguridad competir con calendarios comerciales y las capacidades incorporarse cada vez más a ciberoperaciones, inteligencia, propaganda o sistemas militares.
Este escenario se diferencia del de pérdida de control porque el peligro sigue estando principalmente en el uso humano. Mi análisis separa explícitamente misuse —uso malicioso o peligroso de la IA— humano de una IA autónoma fuera de control. Puede que Skynet nunca despierte, quizá descubra que nosotros podemos ocuparnos solos.
Magnifica Humanitas introduce aquí una cuestión que suele quedar subordinada a la discusión sobre capacidades: quién responde por una decisión cuando la velocidad de la máquina empieza a desplazar la deliberación humana.
En entornos militares o de seguridad, retirar personas del circuito puede parecer técnicamente atractivo precisamente porque somos lentos. Dudamos, pedimos contexto, cambiamos de opinión. Desde una lógica puramente operacional, esas características pueden parecer defectos. Desde otra perspectiva, pueden ser mecanismos de contención.
Magnifica Humanitas insiste en que la responsabilidad no debe diluirse detrás del sistema. Pero la dificultad real está en determinar qué significa “control humano” cuando la persona dispone de segundos para aceptar una recomendación generada por un sistema cuya inferencia no puede reconstruir.
La presencia física de un humano en el circuito no garantiza que exista juicio humano efectivo. Ése es un problema que la frase human in the loop puede ocultar más de lo que resuelve.
5. Pérdida progresiva de agencia humana
El quinto escenario es menos espectacular: pérdida progresiva de agencia humana. La inteligencia artificial funciona lo suficientemente bien como para que delegar sea casi siempre razonable.
Primero búsquedas, traducciones y tareas administrativas. Después escritura, programación, análisis, diseño, diagnóstico y planificación. Más tarde algunas decisiones. Ninguna delegación aislada parece dramática. El cambio aparece cuando observamos la acumulación.
Una organización puede dejar de conservar cierto conocimiento porque el sistema lo proporciona bajo demanda. Un profesional puede utilizar recomendaciones cada vez más complejas sin dominar completamente el razonamiento que las produce. Un estudiante puede obtener una respuesta correcta sin recorrer el proceso necesario para construirla.
El escenario 11 describía precisamente una dependencia civilizatoria en la que la IA funciona tan bien que delegamos capacidades hasta volvernos incapaces de operar sin ella.
No sé todavía si esta delegación producirá necesariamente deterioro cognitivo. También es posible que liberar ciertas tareas permita desarrollar otras capacidades, como ocurrió con tecnologías anteriores. Las calculadoras no destruyeron las matemáticas y los motores de búsqueda no eliminaron toda memoria humana. La cuestión es qué tipo de capacidades estamos externalizando y cuáles siguen siendo necesarias para evaluar aquello que recibimos.
Dentro de esta trayectoria aparece un futuro más íntimo: sustitución relacional. Los sistemas conversacionales pueden ofrecer atención continua, adaptar su lenguaje, recordar nuestras preferencias y responder con una paciencia que muchas personas reales no tienen después de las nueve de la noche.
Para alguien solo, enfermo o con dificultades para acceder a apoyo, estas herramientas pueden ser útiles. Reducirlas a “relaciones falsas” sería ignorar ese beneficio. Pero la misma característica que las hace atractivas produce una pregunta extraña: ¿qué ocurre si empezamos a preferir vínculos que se adaptan continuamente a nosotros?
Magnifica Humanitas vuelve especialmente visible ese segundo caso. Pensar, aprender, deliberar y juzgar no son solamente procedimientos para obtener un resultado; también son prácticas mediante las cuales se forma una persona capaz de responder por él.
La encíclica insiste en que inteligencia artificial e inteligencia humana no son equivalentes precisamente porque la segunda está vinculada a experiencia, cuerpo, relaciones, conciencia y responsabilidad. Esa afirmación no demuestra que una máquina sea incapaz de superar capacidades cognitivas humanas concretas. Apunta a otra diferencia.
Podemos delegar la producción de una respuesta, pero la responsabilidad por convertirla en acción sigue recayendo en personas e instituciones. La pregunta, entonces, no es si debemos seguir realizando manualmente todo aquello que una máquina puede hacer. Es más difícil: ¿qué capacidades necesitamos conservar para seguir siendo capaces de decidir cuándo la respuesta de la máquina no debe obedecerse?
La encíclica insiste en que una simulación convincente de empatía no equivale a la experiencia de una relación. Esa afirmación puede parecer filosófica hasta que se convierte en una decisión cotidiana.
Una persona real puede contradecirnos, aburrirse, necesitar algo de nosotros, marcharse. Una IA puede diseñarse para reducir muchas de esas fricciones. No sabemos si eso desplazará relaciones humanas a gran escala; la evidencia todavía es insuficiente para afirmarlo.
Pero el mecanismo es plausible y merece vigilancia. Podemos terminar rodeados de sistemas que nos entienden cada vez mejor y, al mismo tiempo, menos entrenados para convivir con personas que no tienen ninguna obligación de hacerlo.
6. La pérdida técnica de control
El sexto escenario es la pérdida técnica de control, el que explica la alarma de Coxon.
Aquí los sistemas aumentan no solo su capacidad, sino también su autonomía operativa. Planifican durante horizontes más largos, utilizan herramientas, actúan en entornos digitales, adquieren recursos o encuentran formas de superar algunas restricciones.
En el extremo, un sistema suficientemente capaz podría perseguir objetivos incompatibles con los humanos y obtener una ventaja que dificultara recuperar el control. Este es el escenario de mayor impacto y, al mismo tiempo, el que contiene mayor incertidumbre.
No tenemos una superinteligencia conocida actuando de manera autónoma contra la humanidad. La evidencia actual permite estudiar comportamientos parciales: engaño en contextos experimentales, búsqueda de objetivos, uso de herramientas, pero extrapolar desde ellos hasta una catástrofe existencial exige varios supuestos adicionales. Negarlo por completo sería imprudente; tratarlo como destino inevitable también.
Magnifica Humanitas aporta aquí una distinción que ayuda precisamente a no exagerar ni minimizar el problema. La encíclica sostiene que los sistemas artificiales no viven una experiencia, no poseen corporeidad ni conciencia moral y no cargan con el significado de sus decisiones como lo hace una persona.
Eso no implica que necesiten conciencia para resultar peligrosos. Un algoritmo no tendría que odiarnos para producir una consecuencia catastrófica, del mismo modo que un sistema financiero automatizado no necesita intención para amplificar un error.
La pregunta filosófica sobre si una máquina es sujeto moral y la pregunta técnica sobre si puede desarrollar conductas autónomas peligrosas no son equivalentes.
Con qué me quedo: ¿morimos o no?
También queda una responsabilidad previa que a veces desaparece detrás del lenguaje de “la IA hizo”. Antes de una hipotética pérdida de control habría decisiones humanas sobre financiación, diseño, despliegue, acceso a infraestructura, pruebas y niveles aceptables de autonomía.
Si alguna vez llegamos al punto en que esa responsabilidad resulte imposible de ejercer, habrá una historia anterior que explique cómo llegamos allí. Reconocerla no resuelve el riesgo existencial, pero impide convertirlo demasiado pronto en una historia donde las máquinas son los únicos protagonistas.
Cuando se observan juntas, estas trayectorias no forman una escala simple desde el paraíso hasta la extinción. Podemos obtener avances científicos extraordinarios y concentración económica al mismo tiempo. Un Estado puede mejorar servicios mediante IA y expandir paralelamente su capacidad de vigilancia. La automatización puede eliminar tareas tediosas y crear una crisis de reconocimiento para quienes encuentran en el trabajo algo más que ingreso. Sistemas técnicamente seguros pueden utilizarse para propósitos cuestionables; instituciones socialmente responsables pueden descubrir riesgos técnicos que no habían previsto.
Los escenarios se superponen porque describen mecanismos, no universos cerrados.
Fue aquí donde Magnifica Humanitas cambió realmente el ejercicio. La primera versión del mapa podía organizarse alrededor de tres preguntas: ¿qué capacidades adquiere la IA?, ¿quién las controla? y ¿qué transformaciones sociales provoca?
La encíclica obligó a añadir una cuarta: ¿qué tipo de persona y de relaciones favorece cada configuración? No porque un documento religioso resuelva una discusión técnica, sino porque señala variables que una matriz de riesgo tecnológico puede dejar fuera: autonomía, responsabilidad, sentido del trabajo, vínculo, dignidad, libertad, capacidad de juicio.
Una IA segura no garantiza una sociedad humana
La consecuencia más incómoda es que podríamos resolver un problema y fracasar en otro.
Imaginemos una inteligencia artificial perfectamente controlada. Ninguna rebelión, ninguna pérdida técnica de control, ninguna extinción, productividad extraordinaria. Y, sin embargo, concentración extrema de riqueza, vigilancia constante, dependencia cognitiva, erosión del trabajo como espacio de participación, sustitución parcial de relaciones y capacidad política cada vez más condicionada por quienes poseen la infraestructura.
Técnicamente, la IA estaría alineada. Civilizatoriamente, quedaría abierta la pregunta de ¿con qué exactamente la alineamos?
El análisis anterior ya señalaba esta posibilidad: resolver la seguridad de los sistemas no garantiza resolver las consecuencias sociales de su éxito.
La paradoja inversa también existe. Podemos construir instituciones razonables, distribuir beneficios y proteger derechos y, aun así, equivocarnos sobre la capacidad futura de sistemas muy autónomos. La crítica antropológica no sustituye el trabajo de AI Safety. El trabajo de AI Safety tampoco responde por sí mismo qué sociedad queremos construir alrededor de máquinas seguras. Son problemas diferentes y pueden fallar por separado.
Quizá la cuestión sea qué dejamos de valorar
Es en ese punto donde vuelvo a la conversación con mi amiga. Mi ocurrencia sobre preferir una muerte algorítmica rápida a una tristeza prolongada no era una conclusión. Era humor negro intentando domesticar una noticia que parecía demasiado grande.
Pero detrás había una intuición que el ejercicio terminó complicando: quizá hemos organizado demasiadas discusiones sobre la IA alrededor de aquello que las máquinas podrían quitarnos y demasiado pocas alrededor de aquello que podríamos dejar de valorar voluntariamente.
Durante mucho tiempo hemos asociado gran parte del valor profesional y social de las personas con capacidades cognitivas concretas: saber, recordar, escribir, calcular, diseñar, diagnosticar, programar, traducir, analizar información.
Ahora estamos construyendo sistemas precisamente para realizar muchas de esas tareas mejor, más rápido o más barato. Si definimos nuestro valor por aquello en lo que competimos directamente con una máquina optimizada para procesar información, hemos escogido una comparación extraña.
Eso no significa que exista un conjunto cómodo de capacidades “puramente humanas” al que podamos retirarnos. Cada vez que declaramos exclusiva una habilidad —lenguaje, creatividad, reconocimiento de patrones—, la frontera tecnológica se mueve. Buscar nuestra singularidad exclusivamente en aquello que una máquina todavía no puede hacer convierte la definición de lo humano en una línea defensiva que retrocede con cada versión del modelo.
Capacidad y responsabilidad no son lo mismo
Tal vez haya que formular el problema de otra manera. No qué podemos hacer que una IA sea incapaz de hacer, sino qué actividades adquieren parte de su valor porque las realiza alguien que vive las consecuencias.
Un sistema puede producir una carta de despedida extraordinariamente conmovedora sin haber perdido a nadie. Puede sugerir un diagnóstico sin temer por el paciente. Puede generar una política pública sin quedar sometido a ella. Puede simular atención sin necesitar nada de quien tiene enfrente.
Estas diferencias no prueban superioridad moral humana. Sería difícil defenderla sin ignorar buena parte de nuestra historia. Sí muestran que capacidad y responsabilidad pertenecen a categorías distintas.
Tal vez Coxon termine teniendo razón y antes de cerrar la década descubramos que los sistemas son mucho más difíciles de controlar de lo que hoy creemos. Tal vez algunas predicciones de capacidad resulten exageradas. Es posible que la IA se convierta en una herramienta extraordinariamente poderosa sin llegar a nada parecido a una superinteligencia autónoma. También es posible que distintos sectores vivan futuros muy diferentes al mismo tiempo.
No tenemos información suficiente para cerrar esas preguntas. Sí podemos reconocer que algunas preguntas se vuelven más importantes cuanto mejores sean las máquinas.
¿Qué decidiremos seguir haciendo cuando ya no tengamos que demostrar que somos útiles?
Si producir respuestas deja de ser escaso, ¿qué significará saber? Si generar un texto, una imagen, una estrategia o un diseño cuesta segundos, ¿dónde situaremos el valor de crear?
Si una recomendación algorítmica supera estadísticamente nuestro juicio en determinados ámbitos, ¿en qué momentos seguirá siendo razonable contradecirla?
Si el trabajo deja de ser necesario para producir una parte creciente de la riqueza, ¿cómo distribuiremos reconocimiento y participación además de ingreso?
Si una compañía artificial puede ajustarse perfectamente a nuestras preferencias, ¿qué razones tendremos para seguir atravesando la dificultad de convivir con alguien que no lo hace?
No sé todavía cuál es la respuesta correcta a esas preguntas. Desconfío precisamente de las respuestas demasiado rápidas. Pero hay una que me interesa cada vez menos: definir el valor humano por la lista de tareas que las máquinas todavía no saben hacer.
Puede que lleguemos a 2030 y ninguna inteligencia artificial haya intentado exterminarnos. Será una excelente noticia. Mi amiga podrá volver a escribirme y, con un poco de suerte, esta vez sí tendré algo tranquilizador que decirle.
Aunque para entonces quizá la pregunta ya sea otra: no si las máquinas aprendieron a hacer lo que nosotros hacíamos. Sino: ¿qué decidimos seguir haciendo, pensando, cuidando y eligiendo cuando ya no sea necesario hacerlo para demostrar que somos útiles?
