Desde conspiraciones virales hasta fiascos de exámenes, los algoritmos tienen efectos secundarios graves | La tecnologia

Wmal el jueves 13 de agosto de 2020 como un momento crucial en la relación de la democracia con la tecnología digital? Debido a la epidemia de coronavirus, los exámenes de nivel A y GCSE tuvieron que cancelarse, dejando la elección a las autoridades educativas: dar a los niños las calificaciones que habían predicho sus maestros o usar un algoritmo. Fueron con este último.

El resultado fue que más de un tercio de los resultados en Inglaterra (35,6%) fueron degradados en un año en comparación con la nota entregada por los profesores. Esto significa que muchos estudiantes no obtuvieron las calificaciones que necesitaban para ingresar a la universidad de su elección. Lo que es más preocupante, la proporción de alumnos de escuelas privadas que recibieron A y A * fue más del doble que la proporción de alumnos de escuelas integrales, lo que destaca la evidente desigualdad en el sistema educativo del Reino Unido.

Lo que sucedió a continuación fue predecible pero significativo. Muchos adolescentes, al darse cuenta de que un código informático acababa de arruinar sus oportunidades en la vida, salieron a la calle. “Que se joda el algoritmo” se ha convertido en un eslogan popular. Y, a su debido tiempo, el gobierno cedió y revirtió los resultados, pero no antes de que se causara mucha angustia emocional y caos administrativo. Y luego Boris Johnson culpó del fiasco a «un algoritmo mutante» que, como era de esperar, era una mentira. No hubo mutación involucrada. El algoritmo hizo lo que decía en la lata. La única mutación fue en el comportamiento de los humanos afectados por sus cálculos: se rebelaron contra lo que hizo.

Finanzas

Los algoritmos se utilizan ampliamente para aceptar y rechazar solicitudes de préstamos y otros productos financieros. En general, se cree que se produce una discriminación flagrante. Por ejemplo, en 2017, el cofundador de Apple, Steve Wozniak, descubrió que cuando solicitó una Apple Card, le ofrecieron pedir prestada la de su esposa de diez a diez veces, aunque compartieron varias cuentas bancarias y otras tarjetas de crédito. El socio de Apple para la tarjeta, Goldman Sachs, ha negado tomar decisiones basadas en el género.

Policía

El software se utiliza para asignar recursos policiales en el campo y predecir la probabilidad de que una persona cometa o sea víctima de un delito. El año pasado, un estudio de Liberty descubrió que al menos 14 fuerzas policiales del Reino Unido han utilizado o planean utilizar software de predicción de delitos. Dicho software es criticado por crear patrones de delincuencia autocumplidos, es decir, enviar agentes a áreas donde ya se han cometido delitos y establecer perfiles discriminatorios de las minorías étnicas y las comunidades dentro. de bajos ingresos.

Trabajo Social

Los ayuntamientos han utilizado «análisis predictivos» para identificar familias particulares para los servicios para niños. Una investigación de Guardian de 2018 descubrió que las juntas directivas de Hackney, Thurrock, Newham, Bristol y Brent estaban desarrollando sistemas predictivos internamente o contratando empresas de software privadas. Los críticos advierten que, además de las preocupaciones sobre la gran cantidad de datos confidenciales que contienen, estos sistemas incorporan los sesgos de sus diseñadores y corren el riesgo de perpetuar estereotipos.

Solicitudes de empleo

Los reclutadores utilizan cada vez más los sistemas automatizados para reducir el grupo de solicitantes de empleo, impulsar las pruebas en línea e incluso entrevistar candidatos. El software escanea los CV en busca de palabras clave y genera una puntuación para cada candidato. h Se puede invitar a los candidatos con las mejores puntuaciones a realizar pruebas de personalidad y habilidades en línea; y; Finalmente, la primera ronda de entrevistas puede ser realizada por robots que usan software para analizar rasgos faciales, elecciones de palabras y señales de voz para decidir si un candidato está avanzando. Cada uno de estos pasos se basa en una ciencia cuestionable y puede discriminar ciertos rasgos o comunidades. Tales sistemas aprenden los prejuicios y tienden a favorecer a los que ya están en ventaja.

Incriminado

Los algoritmos que acceden a las posibilidades de reincidencia de un delincuente se utilizan ampliamente en los Estados Unidos. Una investigación de ProRepublica sobre el software Compas Rrecidivism encontró que a menudo se predijo que los acusados ​​negros tenían un mayor riesgo de reincidencia de lo que realmente eran, y que los acusados ​​blancos a menudo eran menos riesgosos que ellos. En el Reino Unido, la policía de Durham ha desarrollado la herramienta de evaluación de riesgos (HART) para predecir si los sospechosos están en riesgo de cometer delitos. La policía se negó a revelar el código y los datos sobre los que el software hace sus recomendaciones.

Y fue una verdadera primicia: la única vez que puedo recordar cuando una decisión algorítmica fue desafiada en protestas públicas lo suficientemente poderosas como para derrocar al gobierno. En un mundo cada vez más, e invisiblemente, regulado por códigos informáticos, este levantamiento podría parecer un precedente prometedor. Pero hay varias buenas razones, por desgracia, para creer que podría ser un fracaso. La naturaleza de los algoritmos está cambiando, por un lado; se ha profundizado su penetración en la vida cotidiana; y que las calificaciones del algoritmo Ofqual afectan las probabilidades toda una generación entre los jóvenes, el impacto de los algoritmos dominantes en nuestro futuro no regulado lo sentirán individuos aislados en privado, lo que hará que las respuestas colectivas sean menos probables.

Según el Shorter Oxford Dictionary, la palabra «algoritmo», que significa «un procedimiento o conjunto de reglas para calcular o resolver problemas, ahora principalmente con una computadora», data de principios del siglo XIX, pero es relativamente recientemente que ha penetrado el habla diaria. La programación es esencialmente un proceso de crear nuevos algoritmos o adaptar los existentes. El título del primer volumen, publicado en 1968, de los cinco volúmenes maestros de Donald Knuth El arte de la programación informática, por ejemplo, es «Algoritmos fundamentales». Entonces, en cierto modo, la creciente prevalencia de algoritmos en estos días simplemente refleja la ubicuidad de las computadoras en nuestra vida diaria, especialmente porque cualquiera que lleve un teléfono inteligente también lleva una computadora pequeña.

El algoritmo Ofqual que provocó la furia de los exámenes fue un ejemplo clásico del género, ya que era determinista e inteligible. Este fue un programa diseñado para lograr una tarea específica: calcular puntajes estandarizados para los estudiantes en base a la información a) de los maestros yb) sobre las escuelas en ausencia de los resultados reales de los exámenes. Era determinista en el sentido de que solo hacía una cosa, y la lógica que implementaba, y los tipos de resultados que produciría, podían ser entendidos y predichos por cualquier experto técnico autorizado para inspeccionar el código. . (En este contexto, es interesante que la Royal Statistical Society se ofreció a ayudar con el algoritmo, pero se retiró porque consideraron que el acuerdo de no divulgación que debería haber firmado era indebidamente restrictivo).

Los algoritmos clásicos todavía son omnipresentes en las empresas y el gobierno (actualmente hay uno que causa dolor a Boris Johnson, ya que recomienda permitir más viviendas nuevas en los distritos Tory que en los distritos laboristas). Pero ya no están donde está la acción.

Desde principios de la década de 1990, y el auge de la Web en particular, los informáticos (y sus empleadores) se han obsesionado con un nuevo tipo de algoritmos que permiten que las máquinas aprendan de los datos. El crecimiento de Internet, y la vigilancia intensiva de usuarios que se ha convertido en parte de su modelo comercial dominante, ha comenzado a producir torrentes de datos de comportamiento que podrían usarse para entrenar estos nuevos tipos de algoritmos. Así es como nació la tecnología de aprendizaje automático (ML), a menudo denominada «IA», aunque esto es engañoso: ML es básicamente algoritmos ingeniosos y big data.

Los algoritmos de aprendizaje automático son radicalmente diferentes de sus ancestros clásicos. Estos toman una entrada y la lógica especificadas por el programador, luego procesan la entrada para producir la salida. Los algoritmos de ML no dependen de las reglas establecidas por programadores humanos. En su lugar, procesan datos en forma sin procesar, por ejemplo, texto, correos electrónicos, documentos, contenido de redes sociales, imágenes, voz y videos. Y en lugar de estar programados para realizar una tarea en particular, están programados para aprender a realizar la tarea. La mayoría de las veces, la tarea consiste en hacer una predicción o clasificar algo.

Esto implica que los sistemas de AA pueden producir resultados que sus creadores no podrían haber imaginado. Esto, a su vez, significa que son «ininterpretables»: su eficacia está limitada por la incapacidad actual de las máquinas para explicar sus decisiones y acciones a los usuarios humanos. Por lo tanto, no son adecuados si se necesita comprender las relaciones o la causalidad; generalmente funcionan bien cuando todo lo que se necesita es predicción. Esto debería, en principio, limitar sus áreas de aplicación, aunque, sorprendentemente, este no es el caso en este momento.





Ilustración de Dom McKenzie.



Ilustración de Dom McKenzie.

El aprendizaje automático es la sensación tecnológica del día y los gigantes tecnológicos lo están implementando en todas sus operaciones. Cuando el jefe de Google, Sundar Pichai, dice que Google planea tener «IA en todas partes», se refiere a «ML en todas partes». Para empresas como la suya, los atractivos de la tecnología son muchos y variados. Después de todo, durante la última década, el aprendizaje automático ha permitido vehículos autónomos, reconocimiento de voz conveniente, búsquedas web más potentes e incluso una mejor comprensión del genoma humano. Y mucho más.

Debido a su capacidad para hacer predicciones basadas en observaciones de comportamientos pasados, la tecnología ML ya está tan extendida que la mayoría de nosotros la encontramos decenas de veces al día sin darnos cuenta. Cuando Netflix o Amazon le informan sobre películas o productos interesantes, ML se implementa como un «motor de recomendación». Cuando Google sugiere otros términos de búsqueda que podría considerar, o Gmail sugiere cómo podría terminar la oración que redacta, eso es ML en acción. Cuando encuentra publicaciones inesperadas pero potencialmente interesantes en su feed de Facebook, están ahí porque el algoritmo ML que «ejecuta» el feed ha aprendido sus preferencias e intereses. Lo mismo ocurre con su feed de Twitter. Cuando de repente te preguntas cómo te las arreglaste para pasar media hora navegando en tu feed de Instagram, la razón puede ser que el algoritmo ML que lo ejecuta sabe qué tipo de imágenes te atraen.

Las empresas de tecnología promocionan estos servicios como bienes públicos no calificados. ¿Qué tiene de malo la tecnología que aprende y ofrece lo que quieren sus usuarios? ¿Y sin costo alguno? Mucho, como sucede. Tome los motores de recomendación. Cuando miras un video de YouTube, ves una lista de otros videos que podrían interesarte en el lado derecho de la pantalla. Esta lista fue seleccionada por un algoritmo de aprendizaje automático que aprendió lo que le interesó en el pasado y también sabe cuánto tiempo ha dedicado a esas vistas anteriores (utilizando el tiempo dedicado como indicador del nivel de interés ). Nadie fuera de YouTube sabe exactamente qué criterios utiliza el algoritmo para elegir los videos recomendados, pero dado que se trata esencialmente de una agencia de publicidad, uno de los criterios probablemente sea: «Maximizar el tiempo de un espectador. ir al sitio «.

En los últimos años, ha habido mucho debate sobre el impacto de tal estrategia de maximización. En particular, ¿está empujando a ciertos tipos de usuarios hacia contenido cada vez más extremista? La respuesta parece ser que es posible. “Lo que estamos viendo”, dice Zeynep Tufekci, un destacado estudioso de Internet, “es la explotación computacional de un deseo humano natural: mirar ‘detrás de la cortina’, profundizar en algo que nos involucra. Cuando hacemos clic y hacemos clic, somos arrastrados por la emocionante sensación de descubrir más secretos y verdades más profundas. YouTube lleva a los espectadores a una madriguera del extremismo, mientras que Google aumenta las ventas de anuncios. «

Lo que también hemos descubierto desde 2016 es que la micro focalización habilitada por los algoritmos de ML implementados por las empresas de redes sociales ha debilitado o socavado algunas de las instituciones de las que depende una democracia en funcionamiento. Ha producido, por ejemplo, una esfera pública contaminada en la que la desinformación y la desinformación compiten con información más precisa. Y creó cámaras de eco digitales y llevó a las personas a teorías de conspiración viral como Qanon y contenido malicioso orquestado por potencias extranjeras e ideólogos nacionales.

Los efectos secundarios del aprendizaje automático en los jardines amurallados de las plataformas en línea son lo suficientemente problemáticos, pero se vuelven positivamente patológicos cuando las empresas, los gobiernos, las autoridades locales y las fuerzas utilizan la tecnología en el mundo fuera de línea. policía, servicios de salud y otras agencias gubernamentales. tomar decisiones que afecten la vida de los ciudadanos. ¿Quién debería beneficiarse de qué beneficios universales? ¿A quién se le debe dar mayor peso a las primas de seguros? ¿A quién se le debe negar la entrada al Reino Unido? ¿A quién se debe acelerar la cirugía de cadera o cáncer? ¿Quién debería obtener un préstamo o una hipoteca? ¿Quién debería ser arrestado y registrado? ¿Qué niños deberían tener un lugar en qué escuela primaria? ¿Quién debería obtener libertad bajo fianza o libertad condicional y a quién se debería rechazar? La lista de aquellas decisiones para las que ahora se promocionan regularmente las soluciones de aprendizaje automático es interminable. Y el razonamiento es siempre el mismo: un servicio más eficiente y rápido; juicios por algoritmos imparciales más que por humanos prejuiciosos, cansados ​​o falibles; valor por dinero en el sector público; etc.

El principal problema de este optimista «solucionismo» tecnológico son los defectos intrínsecos e ineludibles de la tecnología. Cómo sus juicios reflejan sesgos en los conjuntos de datos en los que se entrenan los sistemas de AA, por ejemplo, lo que puede hacer que la tecnología sea un amplificador de la desigualdad, el racismo o la pobreza. Y encima de eso, está su drástica inexplicabilidad. Si un algoritmo clásico y pasado de moda le niega un préstamo bancario, su razonamiento puede explicarse examinando las reglas incrustadas en su código de computadora. Pero cuando un algoritmo de aprendizaje automático toma una decisión, la lógica detrás de su razonamiento puede ser impenetrable, incluso para el programador que construyó el sistema. Entonces, al integrar ML en nuestra gobernanza pública, estamos sentando efectivamente las bases para lo que advirtió el jurista Frank Pasquale en su libro de 2016. La empresa Black Box.

En teoría, el Reglamento General de Protección de Datos (RGPD) de la UE otorga a las personas el derecho a recibir una explicación del resultado de un algoritmo, aunque algunos juristas dudan de la utilidad práctica de tal » correcto». Si bien esto ha demostrado ser útil, sin embargo, la conclusión es que las injusticias infligidas por un sistema de LA serán experimentadas por individuos en lugar de comunidades. Lo único que hace bien el aprendizaje automático es la «personalización». Esto significa que las protestas públicas contra la inhumanidad personalizada de la tecnología son mucho menos probables, por lo que las protestas del mes pasado contra el lanzamiento del algoritmo Ofqual podrían ser excepcionales.

En última instancia, la pregunta que debemos hacernos es: ¿por qué la industria de la tecnología (y sus impulsores en el gobierno) están presionando a Gadarene para implementar la tecnología de aprendizaje automático y, en particular, sus capacidades para reconocimiento facial: ¿no es un problema importante de política pública?

La explicación es que durante varias décadas las élites gobernantes de las democracias liberales han estado fascinadas por lo que solo puede llamarse «excepcionalismo tecnológico», es decir, la idea de que las corporaciones que dominan sector son algo diferentes de los viejos tipos de monopolios y, por lo tanto, deberían estar exentos del escrutinio crítico que normalmente atraería el poder corporativo consolidado.

El único consuelo es que los desarrollos recientes en los EE. UU. Y la UE sugieren que tal vez este trance regulatorio hipnótico esté llegando a su fin. Por tanto, para acelerar nuestra recuperación, una experiencia reflexiva podría ser útil.

Imagínese cómo sería si le diéramos a la industria farmacéutica el margen de maniobra que le damos actualmente a las empresas de tecnología. Cualquier bioquímico inteligente que trabaje para, digamos, AstraZeneca, podría encontrar una nueva molécula notablemente interesante para, digamos, curar la enfermedad de Alzheimer. Luego lo pasaba frente a su jefe, presentaba los espectaculares resultados de los experimentos preliminares en un seminario de laboratorio, luego de lo cual la empresa lo llevaría al mercado. Basta pensar en el escándalo de la talidomida para comprender por qué no permitimos este tipo de cosas. Sin embargo, eso es exactamente lo que las empresas de tecnología pueden hacer con algoritmos que demuestran tener serias desventajas para la sociedad.

Lo que sugiere esta analogía es que todavía estamos en la etapa con las empresas de tecnología en la que las corporaciones estaban en la era de las patentes y el aceite de serpiente. O, para ponerlo en un contexto histórico, estamos en algún lugar entre 1906, cuando el Congreso de los Estados Unidos aprobó la Ley de Alimentos y Medicamentos Puros, y 1938, el año en que el Congreso aprobó la Ley Federal de Alimentos, Medicamentos y Medicamentos. Ley de cosméticos, que exigía que los nuevos medicamentos fueran seguros antes de su venta. ¿No es hora de que sigamos adelante?

John Naughton preside el consejo asesor del nuevo Minderoo Center for Technology and Democracy en la Universidad de Cambridge

Deja un comentario