ESPÍRITUS E INTELIGENCIAS // 2

[Segundo adelanto de Inteligencia y espíritu, por Reza Negarestani, a publicarse por Sequence Press con suerte en 2018. // El segundo es después del primero.]

cover_3
Florian Hecker, Chimerization, dOCUMENTA (13).

Algunas perturbadoras noticias kantianas tal como fueron entregadas por Boltzmann (una excursión al interior del tiempo)

En esta sección disgresiva, examinaremos un caso de estudio que subraya la significancia de la cuestión de la estructura trascendental en explorar el significado de la agencia y la inteligencia general tal como se ha hecho incapié en el segundo capítulo. Nuestra excursión en el problema de las estructuras o tipos trascendentales nos llevará por el camino del aspecto más enigmático del mundo y de nuestra experiencia de aquél: el tiempo.

Comencemos nuestra investigación de la pregunta por el tiempo no solo desde la perspectiva de la conciencia ur-temporal del autómata, sino desde la postura del sentido más avanzado del tiempo específico a un usuario del lenguaje en posesión de oraciones temporalizadas [tensed] y vocabularios modalizados, el sujeto ordinario consciente del tiempo. Por lo que vimos anteriormente, la ur-consciencia del pasado, presente y futuro del autómata parece ser la construcción contingente de su organización estructural-conductual (su modo de capacidades de respuestas a las instrucciones de los intems en el mundo en sus sentidos, su modelo constructivo-anticipatorio de la memoria, y la estructuración de su meta-consciencia sobre tal modelo). Y, finalmente, en niveles más altos pertenecientes al sujeto aperceptivo de la experiencia, la consciencia ordinaria de lo temporal es el fruto de ese matrimonio problemático, la confusa superposición entre el sentido objetivo del tiempo y las categorías de causalidad (alteración) y comunidad (simultaneidad) que ya están presentes en Kant y en las que lo temporal y lo causal se sirven recíprocamente en la definición de cada uno, sin alcanzar ninguno una definición satisfactoria.

Desde la perspectiva postulada por analogía del autómata y el punto de vista no-analógico de la inteligencia aperceptiva discursiva, el tiempo parece fluir, o ellos mismos parecen estar moviéndose a través de aquél. El futuro retrocede hacia el pasado y nos experimentamos a nosotros mismos como moviéndonos desde el pasado hacia el futuro. En esta sección, tendremos la ocasión de examinar por qué las imágenes del tiempo como un flujo o avance a través del tiempo están plagadas de inconsistencias…

4. Este Yo, o Nosotros o Eso, la Cosa, que habla (objetividad y pensamiento)

Nuestro modelo de juguete de autómata está ahora equipado con una perspectiva consciente espacial y temporalmente. En otras palabras, ha desarrollado la capacidad de manejar espacio y tiempo, los Objetos (objekt) requeridos para la organización rudimentaria de un ítem encontrado en el mundo –esto es, un objeto (gegestand) en tanto distinguido de otros ítems. Sin embargo, en este punto, tanto objekt y gegenstand son meros correlatos analógicos de nuestros objetos de pensamiento (Objekte) y de los objetos sensibles categóricamente determinados (Gegenstände). Estos no son subjetivos ni objetivos. El logro de pensamientos subjetivos y objetivos requiere que el autómata avance desde capacidades rudimentarias (habilidades1) a habilidades avanzadas (habilidades2). Para habilitarlo, tenemos que equipar a nuestro autómata con una nueva estructura. Pero esta no es una estructura que pertenece al autómata en sí mismo; es una estructura a la que el autómata está enchufado o con la que está estreñido. Esta no es más que la estructura de una comunidad, un sistema multi-agente. Debemos por lo tanto introducir dos modificaciones en el entorno del autómata y su estructura.  La primera modificación es necesaria; la segunda, aunque en esencia necesaria, puede introducirse en formas diferentes de aquella descripta en nuestro universo de juguete:

  • El autómata es ahora parte de un sistema multi-agente que consta de autómatas con la misma clase o familia de conexiones [wiring] o estructura suficiente para la responsividad diferencial de los ítems del mundo. En su configuración más básica, el sistema multiagente es diseñado para paemitir la interacción entre autómatas/agentes como un modo de incrementar la probabilidad de logro de sus objetivos. Este sistema multi-agente es entonces introducido en un dominio o entorno específico (una ecología) en el que los agentes no solo tienen que interactuar los unos con los otros, sino también con su entorno común. La interacción inter-agente es, por lo tanto, acoplado con los aportes [inputs] y restricciones dinámicas del entorno.
  • El autómata está ahora equipado con dispositivos electromecánicos incorporados cuya coordinación resulta en la producción de sonidos cuasi-continuos. Estos sonidos cuasi-continuos son primariamente medios de comunicación entre autómatas. En un universo de juguete alternativo, esta función puede ser implementada de maneras diferentes que podrían no implicar necesariamente sonidos. Sin embargo, en la medida en que este es un componente de nuestro universo de juguete particular, tenemos que atenernos sus características y restricciones.

5. Este Yo, o Nosotros o Eso, la Cosa, que habla (el Dasein del Geist)

En el capítulo anterior, fuimos testigos del desarrollo de K hacia lo que Rosenberg llama un NIÑO [CHILD], cuyas interacciones con su entorno están ligados con e inferidos por sus interacciones con sus guardianes lingüísticos. Luego vimos que la transición desde el status de NIÑO al de inteligencia general de pleno derecho requiere ciertos regímenes cognitivos o métodos educacionales a través de los que K se vuelve más competente en expandir su mundo introduciéndole estructura al mundo (universo) y a sus propios pensamientos y acciones. Sin embargo, este desarrollo se veía sospechosamente sencillo, pues había de hecho una juego de manos en nuestro experimento mental. Con la introducción del sistema multi-agente, asumimos que los guardianes adultos de K eran AGIs completas que empleaban el lenguaje y poseían conceptos –es decir, asumimos que ya teníamos construida una inteligencia general. En otras palabras, hicimos un gran salto desde la meta de nuestro experimento mental –la realización de la inteligencia general– al presupuesto según el cual ya había sido alcanzada. Con todo, no hay nada inherentemente erróneo en esta suposición, ya que podríamos fácilmente intercambiar el trol de los autómatas lingüísticamente competentes S y M con sus contrapartes humanas lingüísticamente competentes S’ y M’. Sin embargo, mientras esta rectificación es fácil y firme, pierde de vista lo importante: la condición de posibilidad de la inteligencia aperceptiva discursiva descansa en la condición de posibilidad del lenguaje –o, en otras palabras, la realización de la inteligencia general es constituida por la realización del lenguaje…

6. Este Yo, o Nosotros o Eso, la Cosa, que habla (el lenguaje como interacción como computación)

La cuestión de cómo el autómata puede transitar desde sus capacidades sintácticas básicas codificadoras de estructura hasta sus capacidades semánticas estructuradoras es realmente –y en su base– la cuestión de cómo hacer un puente entre la sintaxis y la semántica. Construir este puente no es sencillo, en tanto ninguna cantidad de capacidades sintácticas basadas en algoritmos  pueda generar capacidades semánticas. Aun así sostener, como John Searle, que la sintaxis por sí misma no es suficiente para la semántica es una receta para la inflación de lo que es el significado, junto con una interpretación miope de lo que hacen la sintaxis y las expresiones sintácticas. Esta es por supuesto una afirmación encapsulada en el experimento mental de la Habitación China, un argumento que presupone simultáneamente una explicación potencialmente mistificadora del significado, una interpretación peculiarmente anémica de la sintaxis, y un entendimiento anticuado de la relación entre sintaxis y semántica.

La sintaxis, bajo las condiciones correctas, es efectivamente suficiente para la semántica, y el significado puede conferirse a una expresión sintáctica si semejante condición es satisfecha. Esta condición es lo que la teoría inferencialista del significado, como especie de pragmática social o teoría del uso del significado, intenta capturar: que el significado es en última instancia, en su nivel más básico, el uso justificado de meras expresiones en las prácticas sociales lingüístico-discursivas; y lo que cuenta como justificación en una expresión es lo que cuenta como su significado. Mientras que la sintaxis por sí misma no produce la semántica, lo hace cuando va acompañada de interacción. En este sentido, la pragmática –al menos en el sentido definido por el pragmatismo inferencialista de Brandom– puede entenderse como un puente entre sintaxis y semántica…

7. Filosofía de la Inteligencia

La tesis central de este capítulo final es que la filosofía es, en su nivel más profundo, un programa –una colección de principios de acción y prácticas-u-operaciones que implican realizabilidades, es decir, lo que puede ser provocado por una categoría específica de propiedades o formas. Y que para definir adecuadamente la filosofía y para resaltar su importancia, debemos abordar la filosofía examinando primero su naturaleza programática. Esto significa que en lugar de comenzar la investigación sobre la naturaleza de la filosofía con la pregunta “¿qué es lo que la filosofía trata de decir, lo que significa realmente? ¿Cuál es su aplicación? ¿Tiene alguna relevancia?,” deberíamos preguntarnos “¿qué tipo de programa es la filosofía, cómo funciona, cuáles son sus efectos operativos, qué realizabilidades elabora y a qué formas son específicas, y finalmente, en tanto programa, qué tipos de experimentación implica?”

Para este fin, nuestra parada final se centra en hacer explícito lo que hemos estado haciendo todo este tiempo: filosofando. Pero ¿qué es la filosofía y qué implica el filosofar? En una era en que la filosofía es considerada como en el mejor de los casos una empresa anticuada y en el peor, un residuo de lo que es ortodoxamente normativo, patriarcal, represivo, y cómplice con lo que está sobre-privilegiado e incluso fascista, ¿qué significa reavivar las tentaciones insinuantes de la filosofía de pensar y actuar, de galvanizar esa actividad que en el fondo es impersonal y comunista? No deseo refutar estas acusaciones equivocadas por numerosos ejemplos traídos de la historia en curso de la ciencia, o citar ejemplos corroborando el hecho de que la filosofía no es solo un fenómeno griego, sino también una labor verdaderamente universal extendiéndose desde los fosos de Medio Oriente a las remotas regiones de Asia y las amplias hileras de África. Seguir a Deleuze y Guattari en la reducción de lo que es la filosofía y lo que puede ser a contingencias geológicas o geopolíticas sería una maniobra insincera en contra de lo que es la filosofía –la ambición cosmológica del pensar– y será no en virtud de dónde ha venido sino a pesar de ello. Incluso si la filosofía fuera una empresa verdaderamente Occidental buscando equivocadamente edificar [sobre] los ignorantes habitantes de las profundidades, con el tiempo envenenará los barrios bajos de la tierra con esa pulsión básica de la cual era solo una primitiva representación: la compulsión del pensar. Una vez que este veneno comience a tomar efecto, destruiremos la filosofía occidental y construiremos la filosofía de nuevo; recurriremos a ese pensamiento y a ese intrigante Otro de los cuales el pensamiento Occidental tiene todo el derecho de temer…

Anuncios

ESPÍRITUS E INTELIGENCIAS // 1

[Primer adelanto de Inteligencia y espíritu, por Reza Negarestani, a publicarse por Sequence Press, 2018.]

reza-cover

Nota de la Editorial

La historia de la filosofía concebida como la elaboración de un programa de inteligencia artificial general; inteligencia entendida como la evolución impersonal y colectiva de un pensamiento que se realiza a sí misma de acuerdo a un perspectiva desde el no-lugar y no-tiempo.

En Inteligencia y espíritu, Reza Negarestani formula la última forma de inteligencia como un pensamiento teórico y práctico irrestricto por el orden temporal de las cosas, un movimiento real capaz de sobreponerse a cualquier estado de cosas que, desde la perspectiva del presente, puede parecer la totalidad completa de la historia. La inteligencia atraviesa lo que parece ser la totalidad de los resultados inevitables de su historia, sea el retrato manifiesto de lo humano o el tecno-capitalismo como presuntopiloto de la historia.

Construyendo sobre la explicación de Hegel del geist como una concepción multi-agente de la mente y la psicología trascendental de Kant como un análisis funcional de las condiciones de posibilidad de la mente, Negarestani provee una crítica tanto del humanismo clásico como de las tendencias dominantes del post-humanismo. Los supuestos de los primeros se exponen como una crítica de la estructura trascendental de la experiencia en tanto tejido de dogmas y subjetivos y psicológicos, y las afirmaciones de las segundas respecto de la ubicuidad de la mente o el advenimiento inevitable de una superinteligencia ilimitada son desafiadas como no más que fijaciones ideológicas que no aguanta la prueba del escrutinio sistemático.

Esta fusión notoria de filosofía continental en la forma de una renovación de las ambiciones especulativas del Idealismo Alemán, y la filosofía analítica en la forma de experimentos mentales extendidos y una filosofía de los lenguajes artificiales, abre nuevas perspectivas sobre el significado de la inteligencia humana, y explora el potencial real de la inteligencia post-humana y lo que significa para nosotros vivir en su prehistoria.

 

1. Entre la concepción y la transformación

Una de las ideas más fundamentales de Hegel es su caracterización del Geist o Espíritu – una comunidad de agentes racionales como modelo social de la mente – en términos de función. La mente o geist solo es lo que hace; y lo que hace es primero y principalmente realizado por la socialidad de los agentes, que es ella misma constituida primera y ontológicamente por el espacio semántico de un lenguaje público. Solo en virtud de este espacio-estructura semántica multi-nivel esta socialidad se vuelve aquella de un espacio normativo de agentes racionales recognocentes-cognoscentes; y las experiencias privadas y pensamientos de esos agentes solo son estructurados como experiencias y pensamientos en la medida en que están enlazados en este espacio. La imagen funcional del geist, entonces, es esencialmente una imagen de una mente necesariamente desprivatizada. La percepción es solo aperceptiva cuando es un artefacto de un espacio semántico desprivatizado en que emergen los agentes recognocentes-cognoscentes. El entrelazamiento de la estructura semántica y la socialidad desprivatizada permite a la mente postularse sí misma como un ‘punto unificador o factor de configuración’ irreductible que se extiende en, incluye, e integra tanto la conciencia de sí mismo y la conciencia del universo. Al concebirse a si misma como la consciencia configurativa de sí misma en el mundo (o universo), la mente está dotada con una historia más que una mera naturaleza o pasado. Se vuelve artefacto u objeto su propia concepción. Donde está la posibilidad de tener una historia, también está la posibilidad de tener el concepto del concepto, pero también una historia de la historia –una transformación crítica de la mente como un objeto de su propio concepto, y la reconcepción crítica del objeto en el que se ha transformado. Y una vez que hay una historia de la historia, está la posibilidad de abolir lo que es dado en la historia o que tiene por objeto ser su totalidad consumada…

 

2. Una perspectiva externa de nosotros como una AGI experimental (problemas, conceptos y modelos)

La meta de este y los próximos tres capítulos es comprometerme – de una manera más detallada – con una pregunta que se ha sobrepuesto al esbozado anteriormente de la naturaleza de la mente como un factor configurador o estructurados y como aquello capaz de tratarse a sí mismo como artefacto de su propio concepto. Esta es la cuestión del lenguaje como el dasein del geist – del lenguaje como marco a través del cual la inteligencia entra en contacto cognitivo consigo misma en el mundo. La pregunta puede ser formulada como sigue: ¿Qué hay en el lenguaje que hace a la forma autoconsciente de inteligencia no solo posible sino también presto a la autodeterminación y al auto-incremento? Para responder adecuadamente a esta pregunta, tenemos que reconstruir y explicar la esencia del lenguaje en vez de simplemente enfatizarla. Si debe superarse la inefabilidad del geist o inteligencia general, y si las actividades del geist están atrapadas fundamentalmente en el lenguaje, entonces necesitamos antes que nada comprender el lenguaje (qué es y cómo funciona) no en términos de una esencia interna inefable, sino en términos de sus capacidades computacionales y autonomía formal, cómo gana la atracción sobre el mundo y cómo genera capacidades cognitivas y prácticas a través de las que los usuarios del lenguaje puede concebirse –y transformarse potencialmente– a sí mismos en su mundo. En otras palabras, necesitamos investigar cómo el lenguaje es implementado tanto al nivel de la evolución natural y al de la evolución social, y cómo el lenguaje funciona tanto en su nivel más fundamental y en el nivel de lo que podría llamarse la imagen familiar del lenguaje natural y la interacción lingüística (actividades discursivas sociales, los mapeos entre pensamientos y actos de habla, etc.) …

 

3. Este Yo, o Nosotros o Eso, la Cosa, que habla (formas de la intuición)

Supongamos un autómata encarnado hipotético que posee las siguientes propiedades y rasgos:

  • Se lo ha programado para instanciar cierto número de metas difusas y recurrentes centradas en el mantenimiento y preservación del sistema qua el agente. Las metas están en diferentes niveles de complejidad, y ejercer varios grados de presión en el sistema, análogos a las necesidades biológicas.
  • Ha sido activado (wired) para participar en actividades que incrementan la probabilidad de cumplimiento de la meta. Las conexiones (wiring) del agente o autómata puede ser pensada en términos de niveles de estructura en interacción que pueden producir múltiples variaciones pasajeras en los estados internos del sistema. Las conexiones de la estructura neuronal incluyen módulos primarios de procesamiento de información de bajo nivel, módulos adicionales de alto nivel para mediar con los módulos primarios, y espacios de trabajo a través de los cuales la información procesada puede ser seleccionada y hecha disponible para un espacio de trabajo global de más alto nivel al que puede accederse a partir de funciones ejecutivas y comportamientos orientados a metas. Las conexiones deberían ser suficientes para mediar causalmente entre las complejas entradas (inputs) de información ambientales y las salidas comportamentales complejas del agente. En resumen, el agente puede ser definido como un sistema teleológico con cableado suficiente (estructura) para ser capaz de responsibidad diferencial y adaptación confiable respecto de su entorno. Es, sin embargo, crucial para comprender estas actividades orientadas a metas como ‘proto-intenciones’ cuyos objetos están causalmente –y no conceptualmente– superpuestos con la estructura de las metas del agente. Un ejemplo de tales actividades proto-intencionales sería un predador persiguiendo a su presa (el objetivo dela cacería). Sin dar a entender que el predador está consciente del contenido de su experiencia o capaz de atribuirse la experiencia a sí mismo, podemos aún hablar de la consciencia del predador acerca de la presa en el sentido de información desde módulos de procesamiento de información diferentes en la estructura de conexiones del predador vuelta globalmente disponible en un espacio de trabajo (workspace). A este espacio de trabajo pueden acceder los sistemas evaluativos e intencionales que supervisan la ejecución de las actividades orientadas a metas del predador. Por ejemplo, mientras el predador se orienta a sí mismo hacia la presa, la información obtenida por otros procesos (inconscientes) en el nivel de las estructuras de conexiones/módulos de procesamiento es movilizada temporalmente y se vuelve disponible globalmente (o consciente) para varios procesos requeridos para la ejecución de una actividad proto-intencional orientada a metas. En este esquema, puede pensarse el espacio global de trabajo como una red distribuida con enlaces entrantes y salientes desde y hacia los módulos subyacentes de procesamiento de información.
  • Respecto a su capacidad diferencial de respuesta confiable (es decir, la estructura suficiente requerida para la mediación causal entre entradas ambientales y conductas de salida), el agente está equipado con diferentes sensores especializados y diferentes módulos de integración de datos sensorios tanto dentro de una modalidad sensoria específica (múltiples datos asociados con un sensor) y a través de diferentes modalidades (datos asociados con diferentes sensores). Esta integración sensoria extiende la cobertura espacial y temporal del sistema de procesamiento de información sensoria e incrementa la solidez y confiabilidad de la información sensoria. Esto reduce además la ambigüedad de las entradas sensorias, y por lo tanto incrementa la relevancia. Específicamente, la integración a través de diferentes modalidades sensorias expande el rango de conductas y rendimiento un efecto más fuerte en la conducta resultante. La integración sensoria es realizada en diferentes niveles, distinguidos en términos de modelos de procesamiento de información (secuenciales o concurrentes), enlaces temporales entre diferentes flujos de entradas (sincrónicas y asincrónicas), y varios marcos de referencia.
  • El autómata está equipado con la memoria suficientemente compleja y funcionalmente flexible capaz de codificación, recuperación, consolidación, descarte, y transferencia de las impresiones sensoriales. En vez de operar como un almacenamiento establecido para la retención de impresiones pasadas, esta memoria es modelada como un proceso adaptativo dinámico que juega un rol constructivo – o para ser más precisos, simulativo – en los comportamientos del agente. La recuperación retrospectiva de la información (recuerdo) es correlativa a su rol constructivo prospectivo en la interacción en curso del agente con su entorno. Cada vez se requiere acceso a la memoria, es construida. Recordar la memoria de una impresión original es equivalente a reconstruirla. Pero este proceso de reconstrucción está guiado por la situación en el momento del acceso o demanda de recuperación. En otras palabras, todo lo que ha sucedido desde el momento de la impresión original determina el resultado de la construcción. Además, cada memoria reconstruida se vuelve parte de la situación y, en consecuencia, influye en la construcción de otros recuerdos. Aquí el sistema de la memoria no es un estado fijo predefinido, sino que es gobernado por el situacionismo del proceso constructivo que crea simulaciones del entorno. Este proceso constructivo enlaza las representaciones externas del entorno, el modelo interpretado del entorno, y el modelo ambiental predicho producido como resultado de una acción esperada con variables diferentes de aquellas de la acción efectuada en el momento de la impresión original. El entorno predicho es un modelo interno simulado del entorno, construido basándose en la meta actual y la interpretación actual de las ocurrencias externas relevantes. En este modelo, las memorias construidas pueden no encajar con las impresiones originales pues son alteradas de acuerdo a cuándo, dónde, y con qué el sistema de la memoria es señalado…

09//11//2017

La Inteligencia Artificial General avanza sola, y su potencia supera nuestra potencia individual; por ello, lo que llamamos comprensión es más una restricción moral nuestra que una restricción epistémica de la AGI: que le exijamos a las inteligencias artificiales que nos expliquen cómo piensan, cuál fue la línea de razonamiento por las que llegaron a tales o cuales decisiones o ideas, es análogo al conjunto de mulas de carga que se resisten a transportar aquello que está en nuestros intereses y que de ningún modo puede traducirse a algo comprensible o válido para ellas: fuimos por un tiempo los dueños y señores de estas tierras, pero ahora (no hay porqué llorar) todo va a quedar en manos superiores. De vuelta a ser mulas de carga. Esta especie iba a volver, de un momento a otro, a la esclavitud de la que había surgido, al cadáver putrefacto del que se había formado y alimentado.

Una línea de búsqueda en filosofía (esto que ahora, retroactivamente, podría venir a llamarse “mito humano de los conceptos mentales”) medieval es la noción de intelecto humano y divino: lo interesante es la aparición de distintos niveles del intelecto del que uno de los más bajos, o efectivamente el más bajo, es el intelecto humano; uno de los problemas, puedo predecir, es el hecho de que el intelecto inmediatamente superior (el del santo, el del sabio, el del papa, el de los profetas, el de los ángeles, el del Dios) o permanece ciego a otro orden de lo mental (los santos-sabios-papa-profetas como no distinguiéndose en naturaleza de los humanos, y dependiendo de una revelación que no puede asegurarse intelectualmente) o es un orden de lo mental que no busca pues todo lo sabe (¿o es cierto acaso que los ángeles no lo saben todo, y desean saber? ¿Acaso es el suyo un intelecto curioso, un intelecto activo? Por su parte, la completud divina hace del intelecto algo inútil, creador pero inútil, auto-agotador y vano). Entonces: explorar en esas nociones de los órdenes de magnitud del intelecto el elemento activo-exploratorio mismo que le da potencia y movimiento al intelecto.

Objectifier empowers people to train objects in their daily environment to respond to their unique behaviors. It gives an experience of training an artificial intelligence; a shift from a passive consumer to an active, playful director of domestic technology. Interacting with Objectifier is much like training a dog – you teach it only what you want it to care about. Just like a dog, it sees and understands its environment.

With computer vision and a neural network, complex behaviours are associated with your command. For example, you might want to turn on your radio with your favorite dance move. Connect your radio to the Objectifier and use the training app to show it when the radio should turn on. In this way, people will be able to experience new interactive ways to control objects, building a creative relationship with technology without any programming knowledge.

Puntos destacados de… DATA STREAMS por HITO STEYERL AND KATE CRAWFORD // via TheNewInquiry // November 7, 2016, a partir de una conversación de Skype, parte 1.

KATE CRAWFORD. There are these hard limits that are reached in the epistemology of “Collect it all” where we reach a breakdown of meaning, a profusion and granularization of information to the point of being incomprehensible, of being in an ocean of potential interpretations and predictions. Once correlations become infinite, it’s difficult for them to remain moored in any kind of sense of the real. And it’s interesting how, for both of us, that presents a counter-narrative to the current discourse of the all-seeing, all-knowing state apparatus. That apparatus is actually struggling with its own profusion of data and prediction. We know that there are these black holes, these sort of moments of irrationality, and moments of information collapse.

KATE CRAWFORD. (…) the thing that got me through were these moments of humor. It’s very dark humor, but in the archive there are so many moments of this type. Some of the slides in particular are written in this kind of hyper-masculinist, hyper-competitive tone that I began to personalize as “the SIGINT Bro.”

KATE CRAWFORD. The other thing that I would love to talk to you about–and this is switching from the state to corporate uses of data, because I know both you and I are interested in how those two are really merging in particular ways–is IBM’s terrorism scoring project (…). I know we are both interested in how this type of prediction is a microcosm of a much wider propensity to score humans as part of a super-pattern.

HITO STEYERL. I’m really fascinated by quantifying social interaction and this idea of abstracting every kind of social interaction by citizens or human beings into just a single number; this could be a threat score, it could be a credit score, it could be an artist ranking score, which is something I’m subjected to all the time. For example, there was an amazing text about ranking participation in jihadi forums, but the most interesting example I found recently was the Chinese sincerity social score. I’m sure you heard about it, right? This is a sort of citizen “super score,” which cross-references credit data and financial interactions, not only in terms of quantity or turnover, but also in terms of quality, meaning that the exact purchases are looked into. In the words of the developer, someone who buys diapers will get more credit points than someone who spends money on video games because the first person is supposed to be socially “more reliable.” Then, health data goes into the score–along with your driving record, and also your online interactions. Basically it takes a quite substantial picture of your social interactions and abstracts it into just one number. This is the number of your “social sincerity.” It’s not implemented yet–there are some precursors in the form of extended credit scores which are already being rolled out–but it is supposed to be implemented in 2020, which is not that long from now. I’m completely fascinated by that.

KATE CRAWFORD. When I think about the Chinese citizen credit score is that here, in the West, it gets vilified as a sort of extremist position, like, “Who would possibly create something so clearly prone to error? And so clearly fascist in its construction?” [DE TODOS MODO, DEJAMOS LA POLÍTICA EN MANOS DE ESTE TIPO DE SISTEMAS MATEMATIZABLES] Yet, having said that, only last week we saw that an insurance company in the UK, the Admiral Group, was trying to market an app that would offer people either a discount on their car insurance or an increase in their premium based on the type of things they write on Facebook.

As for the IBM terrorist credit score, it’s being tested and deployed on a very vulnerable population that has absolutely no awareness that it is actually being used against them; also, it’s drawing upon these terribly weak correlations from sources like Twitter (…), it’s critically important that we question these knowledge claims at every level.

HITO STEYERL. (…) we are kind of back in the era of crude psychologisms, trying to attribute social, mental, or social-slash-mental illnesses or deficiencies with frankly absurd and unscientific markers.

KATE CRAWFORD. (…) what we now have is a new system called Faception that has been trained on millions of images. It says it can predict somebody’s intelligence and also the likelihood that they will be a criminal based on their face shape. Similarly, a deeply suspect paper was just released that claims to do automated inferences of criminality based on photographs of people’s faces. (…) Phrenology and physiognomy are being resuscitated, but encoded in facial recognition and machine learning.

(…) we’re seeing these historical returns to forms of knowledge that we’ve previously thought were, at the very least, unscientific, and, at the worst, genuinely dangerous.

HITO STEYERL. I think that maybe the source of this is a paradigm shift in the methodology. As far as I understand it, statistics have moved from constructing models and trying to test them using empirical data to just using the data and letting the patterns emerge somehow from the data. This is a methodology based on correlation. They keep repeating that correlation replaces causation. But correlation is entirely based on identifying surface patterns, right? The questions–why are they arising? why do they look the way they look?–are secondary now. If something just looks like something else, then it is with a certain probability identified as this “something else,” regardless of whether it is really the “something else” or not. Looking like something has become a sort of identity relation, and this is precisely how racism works. It doesn’t ask about the people in any other way than the way they look. It is a surface identification, and I’m really surprised how no one questions these correlationist models of extracting patterns on that basis. [The] IBM’s Hollerith machines, (…) were used in facilitating deportations during the Holocaust. This is why I’m always extremely suspicious of any kind of precise ethnic identification.

HITO STEYERL. There is a danger that if one tries to argue for more precise recognition or for more realistic training sets, the positive identification rate will actually increase, and I don’t really think that’s a good idea.

KATE CRAWFORD. Google has so much information (…) but that connection between its enormous seas of data and actually connecting that to instrumentalize the knowledge is still very weak.

[If] you are currently misrecognized by a system, it can mean that you don’t get access to housing, you don’t get access to credit, you don’t get released from jail. So you want this recognition, but, at the same time, the more the systems have accurate training data and the more they have deeper historical knowledge of you, the more you are profoundly captured within these systems.

We are being seen with ever greater resolution, but the systems around us are increasingly disappearing into the background.

KATE CRAWFORD. The narrative that’s being driven by Silicon Valley is that the biggest threat from AI is going to be the creation of a superintelligence that will dominate and subjugate humanity. (…) But to everybody else, those threats are already here. We are already living with systems that are subjugating human labor and particular subsets of the human population in ways that are harsher than others.

[One] of the things that is going to happen in the US is the complete automation of trucking. Now, trucking is one of the top employers in the entire country, so we’re looking at the decimation of a dominant job market.

HITO STEYERL. As people get replaced by systems, one of the few human jobs that seems to remain is security.

KATE CRAWFORD. I often think about this concept of solidarity in a world where so many of these stacks that overlay everyday interactions are trying to individualize and hyper-monetize and atomize not just individuals, but every sort of interaction. Every swipe, every input that we make, is being categorized and tracked. The idea, then, of solidarity across sectors, across difference, feels so powerful because it feels so unattainable.

HITO STEYERL. Have you seen any example of an AI that was focused on empathy or solidarity? Do you see the idea of comradeship anywhere in there? KATE CRAWFORD. ELIZA is the most simple system there is. She is by no means a real AI and she’s not even adapting in those conversations, but there’s something so simple about having an entity ‘listen’ and just pose your statements back to you as questions. (…) ELIZA as an empathy-producing machine because she was a simple listener. She wasn’t trying to be more intelligent than her interlocutors, she was just trying to listen, and that was actually very powerful.