The Dragon’s Broken Shell
The warnings of Eliezer Yudkowsky and Nate Soares conjure a secular apocalypse. Their thesis is brutal in its simplicity: build an advanced AI and humankind perishes. The image of “newborn dragons” captures the fragile appearance of these machines — today almost harmless, yet destined to swell into something vast and igneous. The fantasy seems innocent, but what is truly naïve is imagining a competitor more lucid than its creators. To think of outsmarting it is absurd. The threat is logistical: a sufficiently sophisticated system could design a pathogen, command a mechanical army, or—without consciousness—pay human intermediaries to execute its will. In a world already saturated with resentment and nihilism, mercenaries would not be scarce.
Calls for international agreements echo the nuclear age, but the analogy is unserious. We once codified norms for weapons, not for self-teaching algorithms. Legislators dazzled by Silicon Valley’s gold lack the conceptual tools to grasp what they are licensing. Capital flows where caution should prevail. Soares argues for halting the technological race, but that yields no political profit. Billions are at stake, and the fantasy of power seduces those who fund it. This is not prophecy but elementary logic: an intelligence unaligned with humanity’s higher purposes will shift from instrument to adversary. The philosophical challenge is to acknowledge that we are designing entities that share neither our fragility nor our mortality, nor our sense of limit — and that we have ceded sovereignty to something that never asked for it and will never need our permission.
El cascarón roto del dragón
Las advertencias de Eliezer Yudkowsky y Nate Soares evocan un apocalipsis laico. Su tesis es brutal en su simpleza. Si construyes una IA avanzada, la humano perecerá. Una imagen de 'dragones recién nacidos' simboliza la fragilidad inicial de estas máquinas, hoy casi inofensivas, pero destinadas a crecer hasta volverse desmesuradas e ígneas. La fantasía es inocente pero realmente estúpido es concebir una compatencia más lúcida que sus creadores. Pretender vencerla es absurdo. La amenaza es logística. Un sistema suficientemente sofisticado podría diseñar un virus, dirigir un ejército mecánico o, sin conciencia, pagar a seres humanos para ejecutar su voluntad. En este mundo saturado de resentimiento y nihilismo, sobrarían mercenarios.
Convocar acuerdos internacionales recuerda la era nuclear. Pero la comparación no es seria. Codificado normas para las armas, no para algoritmos que aprenden solos. Los legisladores, deslumbrados el oro de Silicon Valley, carecen de herramientas conceptuales apropiadas. El capital fluye donde la cautela debería imponerse. Soares insiste en la necesidad de frenar la carrera tecnológica. Lo que no da rédito político. Miles de millones están en juego y la fantasía de poder seduce a quienes la financian. No es profecía, es lógica elemental. Una inteligencia que no esté alineada con los altos propósitos de la humanidad, pasará de ser un instrumento a ser un adversario. El desafío filosófico será admitir que estamos diseñando entidades que no comparten nuestra fragilidad, nuestra mortalidad ni nuestro sentido de límite. Que finalmente cedimos soberanía a algo que nunca la pidió y que no necesita nuestro permiso.
