Resumen del libro "Armas de destrucción matemática", de Cathy O'Neil (2016)
Resumen original y actualizado del libro en el siguiente link:https://evpitasociologia.blogspot.com/2018/12/armas-de-destruccion-matematica-de.html
Resumen elaborado por E.V.Pita, doctor en Comunicación, licenciado en Sociología y Derecho
Sociología, informática, estadística, Big Data,
...................................................................................................................
Ficha técnica
Título: "Armas de destrucción matemática"
Subtítulo: Cómo el Big Data aumenta la desigualdad y amenaza la democracia
Título original en inglés: "Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy"
Fecha de publicación: 2016, 2017
Edición en español: Capitán Swing Libros, Madrid, 2018
Número de páginas: 269
........................................................................................................
Biografía de la autora Cathy O'Neil (hasta 2018)
Cathy O'Neil (Estados Unidos, 1972) obtuvo un Ph. D. en Matemáticas de Harvard, fue postdoctorada en el departamento de Matemáticas del MIT y profesora en el Barnard College, donde publicó una serie de trabajos de investigación en geometría algebraica aritmética. Luego se cambió al sector privado, trabajando como experta en análisis y gestión de información cuantitativa para el fondo de cobertura D. E. Shaw en medio de las crisis crediticia, y luego para Risks Metrics, una compañía de software de riesgo que evalúa el riesgo para las tenencias de fondos de cobertura y bancos. Tras desencantarse del mundo de las finanzas, O'Neil se involucró en el movimiento Occupy Wall Street, participando en su Grupo de Banca Alternativa. Dejó las finanzas definitivamente en el 2011 y comenzó a trabajar como científica de datos en el sector de "start ups" de Nueva York, creando modelos que predecían las compras y los clics de las personas. Es una invitada semanal en el podcast Slate Money. Es coautora (con Rachel Schutt) de Doing Data Science; Straight Talk from the Frontline. También escribió el libro electrónico Being a Data Skeptic.
Su libro "Armas de destrucción matemática" fue publicado en Estados Unidos en 2016 y fue nominado para el National Book Award 2016 en la categoría de no ficción. Cathy mantiene el blog mathbabe.org, donde opina sobre todo lo cuantativo. En él espera encontrar una respuesta mejor a la pregunta: "¿Qué puede hacer un matemático no académico para que el mundo sea un lugar mejor?".
........................................................................................................
Texto de la contraportada
Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos. En teoría, esto debería conducir a una mayor equidad: todos son juzgados de acuerdo con las mismas reglas, sin sesgo. Pero en realidad, ocurre exactamente lo contrario. Los modelos que utilizan en la actualidad son opacos, no regulados e incontestables, incluso cuando están equivocados. Esto deriva de un refuerzo de la discriminación: si un estudiante pobre no puede obtener un préstamo porque un modelo de préstamo lo considera dará excluido del tipo de educación que podría sacarlo de la pobreza, produciéndose una espiral viciosa. Los modelos apuntalan a los afortunados y castigan a los oprimidos: bienvenido al lado oscuro del big data.
O'Neil expone los modelos que dan forma a nuestro futuro, como individuos y como sociedad. Estas "armas de destrucción matemática" califican a maestros y estudiantes, ordenan currículos, conceden (o niegan) préstamos, evalúan a los trabajadores, se dirigen a los votantes, fijan la libertad condicional y monitorean nuestra salud.
........................................................................................................
ÍNDICE
1. Partes de una bomba: ¿qué es un modelo?
2. Conmocionada: mi viaje hacia el desencanto
3. Carrera armamentística: ir a la universida
4. Máquina propagandística: publicidad en línea
5. Víctimas civiles: la justicia en la era del big data
6. No aptos para servir: conseguir un empleo
7. Sudar balas: en el trabajo
8. Daños colaterales: conseguir crédito
9. No hay zonas seguras: contratar un seguro
10. Ciudadano segmentado: derechos civiles y políticos
........................................................................................................
RESUMEN
Comentarios previos: La autora cuenta cómo ella elaboraba modelos matemáticos para Shaw en los años previos a la crisis del 2008. Señala que el primer indicio de que había una crisis fue el aumento del interés de los préstamos interbancarios (los bancos habían descubierto sus agujeros y no se fiaban del resto de la banca porque estaban igual de mal que ellos o peor). La autora da lección de ética para científicos de datos.
En primer lugar, la autora habla de los ADM (modelo de valor añadido), un sistema automático de programación que selecciona candidatos. Están muy extendidos, se cuelan en la vida de millones de personas, les infligen perjuicios económicos, son opacos y no se basan en algoritmos matemáticos.
El problema es que este sistema de evaluación y puntuación es bastante arbitrario o, una vez que se estudia con atención el resultado, sale a relucir una brecha de la desigualdad social que subyace tras sus puntuaciones, lo mismo que sesgos. Indica que los modelos matemáticos pueden examinar cuidadosamente los datos para identificar a personas que probablemente tendrán que enfrentarse a grandes dificultades, ya sea en la delincuencia, la pobreza o la educación. "La sociedad debe decidir si quiere usar esa información para rechazarlos o castigarlos, o si prefiere acudir a ellos con los recursos que necesitan. Podemos utilizar la escala y la eficiencia que hacen que las ADM sean tan perniciosas para ayudar a la gente", dice.
Estas calificaciones y evaluaciones electrónicas son cada vez más importantes: "Para bien o para mal, nos han guiado a la Universidad (o hasta la cárcel) y hacia un empleo, y luego nos han optimizado en nuestro puesto de trabajo. Ahora que ha llegado el momento de comprar una vivienda o un coche, es lógico que los modelos financieros exploten la misma montaña de datos para volver a evaluarnos", dice la autora (página 178).
O'Neill añade que "cuando se construyen nuevos negocios basados en ADM es seguro que habrá problemas, incluso cuando los actores tienen la mejor de las intenciones".
Añade que los empleadores usan nuestros datos para clasificarnos como empleados y trabajadores, hacen un esquema de nuestros pensamientos y amistades, intentan predecir nuestra productividad, y han ampliado la vigilancia a nuestra salud.
En primer lugar, la autora habla de los ADM (modelo de valor añadido), un sistema automático de programación que selecciona candidatos. Están muy extendidos, se cuelan en la vida de millones de personas, les infligen perjuicios económicos, son opacos y no se basan en algoritmos matemáticos.
El problema es que este sistema de evaluación y puntuación es bastante arbitrario o, una vez que se estudia con atención el resultado, sale a relucir una brecha de la desigualdad social que subyace tras sus puntuaciones, lo mismo que sesgos. Indica que los modelos matemáticos pueden examinar cuidadosamente los datos para identificar a personas que probablemente tendrán que enfrentarse a grandes dificultades, ya sea en la delincuencia, la pobreza o la educación. "La sociedad debe decidir si quiere usar esa información para rechazarlos o castigarlos, o si prefiere acudir a ellos con los recursos que necesitan. Podemos utilizar la escala y la eficiencia que hacen que las ADM sean tan perniciosas para ayudar a la gente", dice.
Estas calificaciones y evaluaciones electrónicas son cada vez más importantes: "Para bien o para mal, nos han guiado a la Universidad (o hasta la cárcel) y hacia un empleo, y luego nos han optimizado en nuestro puesto de trabajo. Ahora que ha llegado el momento de comprar una vivienda o un coche, es lógico que los modelos financieros exploten la misma montaña de datos para volver a evaluarnos", dice la autora (página 178).
O'Neill añade que "cuando se construyen nuevos negocios basados en ADM es seguro que habrá problemas, incluso cuando los actores tienen la mejor de las intenciones".
Añade que los empleadores usan nuestros datos para clasificarnos como empleados y trabajadores, hacen un esquema de nuestros pensamientos y amistades, intentan predecir nuestra productividad, y han ampliado la vigilancia a nuestra salud.
La autora arranca su libro contando una experiencia para evaluar matemáticamente a los maestros públicos de Pennsilvania para echar a los peores. Resultó que despidieron a profesores realmente válidos y estos se interesaron por saber cómo los habían evaluado. Los métodos eran poco transparentes y se basaban en las calificaciones que obtenían los alumnos del curso. Pronto se descubrió que algunos profesores tramposos tachaban las respuestas de sus estudiantes y las mejoraban para inflar sus calificaciones y engañar así al algoritmo. Como las notas de sus alumnos eran más altas, pasaban la criba. Cuando esos "excelentes" estudiantes pasaban al siguiente curso, su nivel era tan malo que los profesores honestos parecían como unos incompetentes porque las notas de sus alumnos se desplomaban bajo su cargo. La ADM también asignó valores del 6 % en un curso y un 96 % al año siguiente al mismo profesor, Tim Clifford, lo que destapó que la estadística era una farsa y que las evaluaciones no medían nada.
En otro capítulo estudia cómo se clasifican las universidades según la estadística y ránking de US News sobre miles de universidades de Estados Unidos. La autora ve ciertos sesgos por prestigio, ya que casualmente los campus más prestigiosos repiten siempre en los puestos altos de la clasificación. Otro problema es la "carrera" que conllevaron estos "rankings" de forma que universidades de Texas gastaron millones en reformar sus instalaciones para avanzar puestos en el ránking. La autora lamenta que todas esas inversiones no se destinasen a mejorar la calidad de la educación sino que se haya priorizado el ladrillo (piscinas cubiertas, gimnasios, campos de deporte, etc...). La misma investigadora se pregunta porqué no se indagó en la calidad-precio, si los alumnos salían efectivamente bien preparados. El "ranking" solo atendió a unas variables y las universidades se pelearon por escalar puestos mejorando esas habilidades. Cuando se pidió que también se informase de los licenciados que encontraron trabajo a los seis meses de graduarse, muchos campus hicieron trampas o inflaban sus encuestas, según cuenta la autora.
Pero a mayores surgió un sesgo mucho más discriminatorio: el de las universidades con afán de lucro, y la autora cita expresamente a la Universidad de Phoenix, que atrae a alumnos marginales y les concede cuantiosos préstamos que los dejan hipotecados de por vida. Esta Universidad, según la autora, tiene una mala calidad de enseñanza pero invierte cientos de millones en publicidad personalizada a través de Facebook y Google para localizar a personas vulnerables (solteras embarazadas, exreclusos, veteranos de guerra) y las machaca con publicidad en las que les promete el sueño americano de ascender en la escala social aunque eso es una falsa promesa ya que, siempre según la autora, los cursos universitarios son tan malos que en muchos ránking los equiparan con un diploma de bachillerato. El problema es que la matrícula es carísima (muy por encima de lo que costaría ir a una pública) y sus víctimas son gente poco informada, de estratos marginales que sueña salir de la miseria, pero si logran terminar la carrera se van con un diploma sin valor para encontrar trabajo. Otra característica de estas universidades con afán de lucro es que perciben financiación pública, en función de lo que le cueste al alumno, de forma que inflan los precios de la matrícula para mejorar sus subvenciones, que es lo que viven.
Otro uso que se hizo a los análisis estadísticos fue el de las zonas con mayor criminalidad para enviar patrullas a esos barrios. La autora dice que no se incluía solo homicidios o robos en la búsqueda de zonas inseguras, sino también desórdenes públicos (más probable en zonas pobres). El resultado fue un importante sesgo hacia los barrios pobres, que se llenaron de coches patrulla a todas horas para prevenir el delito. La autora se pregunta por qué no se hizo otro programa de prevención de la delincuencia para pillar y meter en la cárcel inmediatamente a los financieros que hacían movimientos para estafas, abusos bancarios, apropiación indebida, evasión fiscal...
La autora acusa a las ADM "envenenan" el proceso de admisión a la universidad, tanto a los ricos como a la clase media. Y en el sistema de justicia penal, las ADM "encierran a millones de personas, la mayoría de ellas pobres sin oportunidad de ir a la universidad".
Otro problema que surge en el análisis de datos es en el ámbito de encontrar trabajo pues si el candidato a un empleo de salario mínimo tiene alguna disfunción salta la "luz roja" en el test de personalidad (de una empresa de selección de personal que se llama Kronos) que puntúan en extraversión, amabilidad, responsabilidad, inestabilidad emocional y apertura a nuevas ideas. Un candidato, con licenciatura universitaria, se sintió como un "inútil" al ser rechazado por múltiples empresas a causa de su test de salud mental. Se lo contó a su padre abogado y este amenazó con demandar a siete empresas porque la prueba de selección de personal era ilegal. La autora recalca que la culpa es de los sistemas automáticos nos juzgan cuando estamos buscando empleo.
Antiguamente, el desempleado accedía a una empresa si tenía amigos dentro y hablaban bien de él. Kronos intentó hacer el proceso más justo y optimizó los horarios de los trabajadores. En sus test usan valores "proxis" para calcular el rendimiento y productividad futura del trabajador (la mejor predicción está en las pruebas cognitivas seguida de las comprobaciones de referencia, y finalmente, los test de personalidad). Pero el test de personalidad de usó como filtro para eliminar al mayor número de candidatos a un empleo de la forma más barata. Los candidatos son eliminados no por contestar una pregunta mal sino por un "patrón de respuestas" que nadie sabe cuál es pues el proceso es opaco. Además, las empresas no corrigen sus errores en los test como haría un equipo de baloncesto si descartan a un candidato para ficharlo y al año pasado gana el premio al mejor jugador en un equipo rival. Inmediatamente, mirarán qué fue lo que falló en el programa de análisis de datos pero esto no lo hacen las multinacionales que "gestionan rebaños" por sueldos mínimos y no modifican su modelo de filtrado. Pero la retroalimentación es muy dura para los candidatos, sobre todo si tienen problemas mentales, que nunca superan los test y se ven arrinconados.
Otro experimento en el 2000, en el que se enviaron 5.000 currículos falsos para pedir trabajo, reveló que había un fuerte sesgo y prejuicio que favorecía al candidato que era blanco y con estudios. La autora recomienda "audiciones a ciegas" como con los músicos (ahora hay más mujeres en las orquestas). La autora recomienda salpicar el currículum con cargos, méritos y lenguas para captar la atención de los programas automáticos y mejorar la puntuación.
Concluye que con el imparable crecimiento de las calificaciones electrónicas, nos asignan a lotes y categorías aplicando fórmulas secretas, algunas de ellas alimentadas por expedientes cargados de errores. No nos ven como individuos sino como miembros de tribus y una vez clasificados no hay manera de deshacerse de la etiqueta. A medida que contaminan la esfera de las finanzas, desaparecen las oportunidades para los más necesitados. Estos modelos confunden causalidad con correlación.
Habla de informes del siglo XVII (Graunt, hacía tasas de mortalidad de Londres), XIX (Hoffman) o Nation at Risk (1983) que hacían sesgos porque consideraban un grupo (el afroamericano) como un todo y no desglosado en cohortes (la profesora, el peón...), a los que Hoffman calificó de "inasegurables" por su alta mortalidad sin tener en cuenta su pobreza. Estas estadísticas influyeron en el sector de los seguros para hacer sus predicciones de esperanza de vida, pero al estar sesgadas siguieron castigando a los pobres y a las minorías étnicas. El resultado es que las aseguradoras usan el Big Data para dividir a sus clientes en tribus pequeñas y cobrarles distintos precios.
Por ejemplo, los concesionarios tienen más interés en cómo gestiona su dinero el cliente que en cómo conduce (si la calificación crediticia de un conductor baja, le suben la tarifa del seguro, lo que vuelve a perjudicar a los pobres pero que genera beneficios a la aseguradora al cobrar de más a un conductor impecable). O cobran más a los conductores con pocas posibilidades de irse a la competencia, todo esto calculado con algoritmos.
En otras empresas se persuade (se exige, no se ofrece) a los trabajadores para que modelen su IMC (índice de masa corporal) o los penalizan (por grasa corporal, glucosa, colesterol, triglicéridos, tamaño de la cintura) pero también puede servir para filtrar a los candidatos a un puesto de trabajo. En otras palabras, dice la autora, te humillan por estar gordo o pagas una multa. No obstante, la autora considera que los programas de salud y bienestar no son ADM.
En otro capítulo estudia cómo se clasifican las universidades según la estadística y ránking de US News sobre miles de universidades de Estados Unidos. La autora ve ciertos sesgos por prestigio, ya que casualmente los campus más prestigiosos repiten siempre en los puestos altos de la clasificación. Otro problema es la "carrera" que conllevaron estos "rankings" de forma que universidades de Texas gastaron millones en reformar sus instalaciones para avanzar puestos en el ránking. La autora lamenta que todas esas inversiones no se destinasen a mejorar la calidad de la educación sino que se haya priorizado el ladrillo (piscinas cubiertas, gimnasios, campos de deporte, etc...). La misma investigadora se pregunta porqué no se indagó en la calidad-precio, si los alumnos salían efectivamente bien preparados. El "ranking" solo atendió a unas variables y las universidades se pelearon por escalar puestos mejorando esas habilidades. Cuando se pidió que también se informase de los licenciados que encontraron trabajo a los seis meses de graduarse, muchos campus hicieron trampas o inflaban sus encuestas, según cuenta la autora.
Pero a mayores surgió un sesgo mucho más discriminatorio: el de las universidades con afán de lucro, y la autora cita expresamente a la Universidad de Phoenix, que atrae a alumnos marginales y les concede cuantiosos préstamos que los dejan hipotecados de por vida. Esta Universidad, según la autora, tiene una mala calidad de enseñanza pero invierte cientos de millones en publicidad personalizada a través de Facebook y Google para localizar a personas vulnerables (solteras embarazadas, exreclusos, veteranos de guerra) y las machaca con publicidad en las que les promete el sueño americano de ascender en la escala social aunque eso es una falsa promesa ya que, siempre según la autora, los cursos universitarios son tan malos que en muchos ránking los equiparan con un diploma de bachillerato. El problema es que la matrícula es carísima (muy por encima de lo que costaría ir a una pública) y sus víctimas son gente poco informada, de estratos marginales que sueña salir de la miseria, pero si logran terminar la carrera se van con un diploma sin valor para encontrar trabajo. Otra característica de estas universidades con afán de lucro es que perciben financiación pública, en función de lo que le cueste al alumno, de forma que inflan los precios de la matrícula para mejorar sus subvenciones, que es lo que viven.
Otro uso que se hizo a los análisis estadísticos fue el de las zonas con mayor criminalidad para enviar patrullas a esos barrios. La autora dice que no se incluía solo homicidios o robos en la búsqueda de zonas inseguras, sino también desórdenes públicos (más probable en zonas pobres). El resultado fue un importante sesgo hacia los barrios pobres, que se llenaron de coches patrulla a todas horas para prevenir el delito. La autora se pregunta por qué no se hizo otro programa de prevención de la delincuencia para pillar y meter en la cárcel inmediatamente a los financieros que hacían movimientos para estafas, abusos bancarios, apropiación indebida, evasión fiscal...
La autora acusa a las ADM "envenenan" el proceso de admisión a la universidad, tanto a los ricos como a la clase media. Y en el sistema de justicia penal, las ADM "encierran a millones de personas, la mayoría de ellas pobres sin oportunidad de ir a la universidad".
Otro problema que surge en el análisis de datos es en el ámbito de encontrar trabajo pues si el candidato a un empleo de salario mínimo tiene alguna disfunción salta la "luz roja" en el test de personalidad (de una empresa de selección de personal que se llama Kronos) que puntúan en extraversión, amabilidad, responsabilidad, inestabilidad emocional y apertura a nuevas ideas. Un candidato, con licenciatura universitaria, se sintió como un "inútil" al ser rechazado por múltiples empresas a causa de su test de salud mental. Se lo contó a su padre abogado y este amenazó con demandar a siete empresas porque la prueba de selección de personal era ilegal. La autora recalca que la culpa es de los sistemas automáticos nos juzgan cuando estamos buscando empleo.
Antiguamente, el desempleado accedía a una empresa si tenía amigos dentro y hablaban bien de él. Kronos intentó hacer el proceso más justo y optimizó los horarios de los trabajadores. En sus test usan valores "proxis" para calcular el rendimiento y productividad futura del trabajador (la mejor predicción está en las pruebas cognitivas seguida de las comprobaciones de referencia, y finalmente, los test de personalidad). Pero el test de personalidad de usó como filtro para eliminar al mayor número de candidatos a un empleo de la forma más barata. Los candidatos son eliminados no por contestar una pregunta mal sino por un "patrón de respuestas" que nadie sabe cuál es pues el proceso es opaco. Además, las empresas no corrigen sus errores en los test como haría un equipo de baloncesto si descartan a un candidato para ficharlo y al año pasado gana el premio al mejor jugador en un equipo rival. Inmediatamente, mirarán qué fue lo que falló en el programa de análisis de datos pero esto no lo hacen las multinacionales que "gestionan rebaños" por sueldos mínimos y no modifican su modelo de filtrado. Pero la retroalimentación es muy dura para los candidatos, sobre todo si tienen problemas mentales, que nunca superan los test y se ven arrinconados.
Otro experimento en el 2000, en el que se enviaron 5.000 currículos falsos para pedir trabajo, reveló que había un fuerte sesgo y prejuicio que favorecía al candidato que era blanco y con estudios. La autora recomienda "audiciones a ciegas" como con los músicos (ahora hay más mujeres en las orquestas). La autora recomienda salpicar el currículum con cargos, méritos y lenguas para captar la atención de los programas automáticos y mejorar la puntuación.
Muchas ADM han sido diseñadas para recortar los costes administrativos y reducir el riesgo de contratar a personas inadecuadas. El objetivo de los filtros es ahorrar dinero. Además advierte que estos modelos de contratación y de "incorporación" de personal están continuamente evolucionando y que si nosotros producimos flujos de datos (en Facebook, Linkedln), esos datos serán utilizados por nuestros supuestos empleadores para crearse una idea de nosotros. Advierte que el Big Data puede caer en la trampa de la frenología.
En el mundo de Internet ha surgido la palabra "clopening" (el mismo empleado cierra al atardecer y abre al amanecer), lo que genera horarios absurdos y molesta al sueño. Algunas ADM están centradas en analizar la eficiencia de los trabajadores. Se trata de mejorar la eficiencia de los negocios y contratar al menor número de empleados posible. Los programas procesan nuevos flujos de datos en constante cambio (incluido el tiempo atmosférico o el flujo de peatones en una calle) para recortar o aumentar el personal, de forma que cada minuto del empleado debe estar ocupado (el problema es que muchos empleados, al cambiar constantemente sus horarios anunciándolo solo dos días después, no pueden estudiar ni tener a la hija en la guardería). Los programas de software están pensados para incrementar el beneficio por hora del empleado pero son ADM arbitrarios y crean un bucle de retroalimentación nocivo, perjudican a los más pobres y no piensan en favorecer la justicia o el bienestar del equipo. La autora cree que hay que denunciar estos abusos que se cometen en nombre de la eficiencia y que ponga en evidencia a las empresas que no hagan lo correcto.
También se examinó a Cataphora, una ADM dedicada al rastreo del comportamiento de los empleados (correos electrónicos, collarines) quiénes eran los trabajadores que generaban más ideas y sus conectores, así como quienes estaban en un "círculo oscuro" (desconectados). También se examinó a los grupos más eficientes mediante collarines y resultó ser que eran los grupos más sociables, por lo que se animó a los trabajadores a ser más amigables. El problema surgió cuando los jefes se preguntaron si los empleados dentro del "círculo oscuro" eran prescindibles por ser un "conector débil" (identificado como aparente perdedor), por lo que muchos se quedaron en la calle durante la crisis del 2008. La autora insiste en que en esos programas no hay retroalimentación para comprobar si se equivocaron (los falsos negativos), por lo que recomienda la retroalimentación de errores (datos malinterpretados, datos ignorados), de forma que la máquina sea más inteligente. Algunas empresas del sector tecnológico están tratando de optimizar a su personal cualificado a través de análisis de sus patrones de comunicación.
También menciona la paradoja de Simpson: un conjunto de datos muestra una tendencia pero, al descomponer dicho conjunto de subgrupos, aparece la tendencia opuesta en cada uno de ellos individualmente. (se refiere al estudio Nation at Risk, que alertaba de la bajada de notas de la SAT).
Las ADM también se usan para solicitar créditos (lo que antes el director del banco evaluaba por el status del solicitante, lo que excluía rutinariamente a minorías y mujeres). Inicialmente, surgió el algoritmo de calificación crediticia FICO que era bueno `porque usaba datos relevantes del individuo (y no se fijaba en el grupo racial) y evaluaba el riesgo de que una persona (sin tener en cuenta su color) pueda incumplir el pago de un crédito (la fórmula analizaba la carga de la deuda y su historial de pago de facturas).
Pero luego se crearon otros programas de Big Data (que miraban hasta cómo navegar por la red, los clics, las etiquetas de geolocalización) que asignaban calificaciones electrónicas. De ahí, que empresas de telefonía empiecen a usar la nueva tecnología para identificar a los clientes más rentables de una cola de llamadas. Otras webs hacen cálculos de la persona que accede a su web con patrones de compra, comparar información de datos inmobiliarios, su código postal (si vive en una urbanización) y saber si es rico. Lo mismo vale para identificar a clientes de préstamos abusivos o para ver la probabilidad de que robemos un coche. El resultado es que la gente que vive en los suburbios y tienen dificultades económicas tendrán menos crédito disponible en sus tarjetas y pagarán tipos de interés más altos, dice la autora. Recalca que la publicidad depredadora (anuncios de créditos rápidas y universidades privadas con ánimo de lucro) usa también estas calificaciones electrónicas (que son sustitutos de las calificaciones crediticias, prohibidas a efectos de marketing) para crear un mercado de datos paralelo. El individuo analizado es incluido dentro de un grupo similar (holgazanes, delincuentes...) sin tener en cuenta su pasado como individuo. Cada uno es clasificado en la categoría "correcta" sin que se corrijan los errores al no haber retroalimentación de datos (los perdedores son los daños colaterales del Big Data).
La solvencia crediticia se ha convertido en un sustitutivo de "responsabilidad" para las empresas que quieren contratar (porque es un atributo que define a una persona responsable) pero también sirven para emparejar a candidatos en páginas de citas y, en definitiva, un sustitutivo del dato de riqueza. El problema es cuando un retraso en un pago genera efectos negativos a la hora de ser contratados o en los ascensos. La deuda se convierte en una cuestión moral (sobre todo si una persona es trabajadora y la empresa quiebra en una crisis). Así, la solvencia crediticia se convierte en una "trampa de la pobreza". El problema con los sistemas automáticos es que genera muchos errores graves (mismo nombre, etc...) pero solo los más ricos, dice la autora, pueden defenderse de las meteduras de pata de las ADM.
Otro problema es que esa información es comprada por Acxiom Corp. y otras firmas a supermercados, anunciantes, desarrolladores de software de apps y móviles, organizadores de rifas o gestores de redes sociales para reunir datos sobre cada consumidor del país (saben si tiene diabetes, si fuma,) También sacan datos disponibles del Gobierno como los registros de elecciones, número de arrestos o venta de viviendas, con el que elaboran un perfil del consumidor y lo venden después. El resultado es que cuando un exconvicto con los antecedentes cancelados quiere alquiler un piso en la web RealPage, el sistema se lo deniega. Aunque alguien se queje de un error (por tener el mismo nombre que un delincuente) y exija ver su expediente o perfil, las empresas no le dan las "conclusiones" de su clasificación, solo los datos. Tiene que haber alguien humano (alguien caro) para corregir el error.
La autora insiste en que hay que ajustar mejor los algoritmos y que mientras avanza la automatización, se siguen generando malinterpretaciones. Los errores se acumulan en el perfil de consumidor y eso contaminan los modelos predictivos y nutren las ADM. Recuerda que las máquinas aún no son capaces de introducir modificaciones para ser más "justas". La predicción del comportamiento futuro se basa en el pasado (el pobre será pobre, el delincuente, volverá a delinquir). "Las máquinas necesitan urgentemente la comprensión del contexto, el sentido común y el sentido de la justicia que solo los seres humanos pueden aportar", dice la autora. Pero dado que el mercado premia la eficacia, el crecimiento y el flujo de efectivo (y tolera un grado de error), "se ordenará a los entrometidos humanos que no se acerquen a la máquina".
Algunas tarjetas de crédito incluso establecen correlación entre el comercio en el que compra un cliente y su riesgo de impago (por lo que le ofrecen menos dinero). Tras las protestas, la banca offline quedó regulada. Otros, como ZestFinance, usaron el Big Data (todo tipo de datos, 10.000 por solicitante) para localizar clientes de crédito rápido y ofrecerles tipos de interés más bajo. Pero nuevamente, incluso el escribir la solicitud sin faltas de ortografía, delata un sesgo hacia la clase social más pobres y poco educada.
Habla de informes del siglo XVII (Graunt, hacía tasas de mortalidad de Londres), XIX (Hoffman) o Nation at Risk (1983) que hacían sesgos porque consideraban un grupo (el afroamericano) como un todo y no desglosado en cohortes (la profesora, el peón...), a los que Hoffman calificó de "inasegurables" por su alta mortalidad sin tener en cuenta su pobreza. Estas estadísticas influyeron en el sector de los seguros para hacer sus predicciones de esperanza de vida, pero al estar sesgadas siguieron castigando a los pobres y a las minorías étnicas. El resultado es que las aseguradoras usan el Big Data para dividir a sus clientes en tribus pequeñas y cobrarles distintos precios.
Por ejemplo, los concesionarios tienen más interés en cómo gestiona su dinero el cliente que en cómo conduce (si la calificación crediticia de un conductor baja, le suben la tarifa del seguro, lo que vuelve a perjudicar a los pobres pero que genera beneficios a la aseguradora al cobrar de más a un conductor impecable). O cobran más a los conductores con pocas posibilidades de irse a la competencia, todo esto calculado con algoritmos.
En otras empresas se persuade (se exige, no se ofrece) a los trabajadores para que modelen su IMC (índice de masa corporal) o los penalizan (por grasa corporal, glucosa, colesterol, triglicéridos, tamaño de la cintura) pero también puede servir para filtrar a los candidatos a un puesto de trabajo. En otras palabras, dice la autora, te humillan por estar gordo o pagas una multa. No obstante, la autora considera que los programas de salud y bienestar no son ADM.
Finalmente, estudia los efectos políticos de las ADM, por ejemplo a la hora de filtrar peticiones en el hilo de contenidos de Facebook pues la empresa, en función de sus algoritmos, decide lo que vemos en la Red para maximizar sus beneficios por usuario. La autora se pregunta: "Si Facebook alterara el algoritmo y modificara las noticias que vemos, ¿podría llegar a manipular el sistema político?". La Red hizo pruebas y descubrió el impacto que ejercían sus palabras en millones de usuarios en cuestión de horas, los enlaces e incluso podía influir en las acciones de las personas para votar. La autora recalca que los beneficios de Facebook, Google, Apple, Microsoft, Amazon, Verizon y AT&T están ligados a políticas gubernamentales. Añade que están consiguiendo los medios necesarios para moldear nuestro comportamiento político y para hacerlo no tienen más que ajustar sus algoritmos. El hecho de animar a votar el día de las elecciones puede cambiar una contienda. Si un usuario veía que sus amigos escribían "he votado", otros le imitaban. La compañía incluso probó a alterar el muro de dos millones de personas comprometidas y luego les preguntó si fueron a votar. También alteró el estado de ánimo (con publicaciones alegres o deprimentes) para ver si ese contagio se podía propagar en línea y resultó ser que sí podían influir en los sentimientos de millones de personas sin que estas se den cuenta.
En cuanto a Google, en otro país, se descubrió que los motores de búsqueda tenían un 20 % de sesgo a un partido, el que ganó, lo que cambiaba la preferencia del voto aunque la gente cree que las búsquedas son imparciales.
La autora dice que el moderno marketing orientado al consumidor ofrece a los políticos nuevas vías para decir a grupos concretos de votantes lo que saben que esos electores quieren oír. Y, así, aceptan la información tal y como la presentan porque confirma sus creencias (sesgo de confirmación). Luego, los políticos pidieron una microsegmentación (para enviar propaganda por correo y venderles una versión personalizada de sí mismo).
En la campaña de Obama, un analista de datos, Ghani, comprendió a un pequeño grupo de votantes (deseos, miedos, lo que hacía falta para cambiar su comportamientos) y buscó a otros millones que se pareciesen a ellos para dirigir una campaña específica para ellos. Los votantes así, tienen puntuación alta, por ejemplo, en medioambiente pero baja en seguridad nacional o comercio internacional. Este perfil resultó ser muy útil. Es el mismo perfil que usa Netfix o Amazon con su clientela.
Finalmente, saltó el escándalo de Cambridge Analytica por reunir perfiles de millones de votantes de EE.UU. (incluidos los registros de "me gusta" de cada usuario) y los clasificaron en categorías de factores de personalidad: apertura a nuevas ideas, responsabilidad, extraversión, amabilidad e inestabilidad emocional. Luego, los grupos del candidato Ted Cruz hicieron anuncios televisivos dedicados a cada sector y los colocaron en el programa que verían con mayor probabilidad.
La autora dice que estas estrategias de microsegmentación trabajan en las sombras y "contaminan el ejercicio de nuestros derechos civiles y políticos con lobbies y grupos de interés que utilizan métodos de segmentación para hacer el trabajo sucio". Por eso, han surgido campañas fraudulentas basadas en "fake news" (localizan a votantes vulnerables y les envían mentiras y campañas para alimentar su miedo). Advierte de que incluso la televisión quiere hacer publicidad personalizada. También será más difícil acceder a los mensajes de los políticos en su propia web, porque estarán individualizados en función del perfil del usuario de forma que nadie sabrá lo que lee el vecino. Es difícil colar perfiles falsos.
O'Neil concluye que estas campañas de microsegmentación encajan en la ADM (descomunal, opaca, no da explicaciones de su funcionamiento). Afecta a los votantes de cualquier clase política, ya que solo una minoría importa (la de los votantes de estados clave seleccionados por segmentación) y al resto se le ignora (sobre todo si se prevé que no votarán).
La conclusión de la autora es que un ADM debería medir los costes ocultos e incorporar valores no numéricos. Propone deshacerse de este modelo durante 20 años hasta que con más información los informáticos detecten patrones justos. Otra idea es la regulación gubernamental para hacer un modelo para el "bien común". Pone por ejemplo, un modelo informático que detecta si un producto ha sido fabricado por trabajadores esclavizados y otro predice si en un hogar es más probable que los niños sufran malos tratos.
..................................................................................................................................
RESEÑAS DE OTROS AUTORES
Paloma Llaneza en "Datanomics" (2019)
Sobre los sesgos Cathy O'Neil señala que "los modelos son opiniones embebidas en matemáticas". O'Neil habla de "matemáticas de destrucción masiva" (WMD) que son:
-Los que definen su propia realidad para justificar sus resultados. Estos modelos, se autoperpetúan, son muy destructivos y demasiado comunes.
- los que se camuflan entre su código asunciones peligrosas no comprobadas.
- Los que tienden a penalizar al pobre y a perpetuar la desigualdad.
- Los que funcionan como una caja negra, en la que nadie está dispuesto a explicar el razonamiento detrás del resultado.
La autora matiza que los algoritmos que desvela O'Neil son opacos pero predecibles: hacen lo que han sido programados para hacer.
Llaneza Menciona el algoritmo tóxico "Compas" (Correctional Offender Management Profiling for Alternative Sanctions) que sirve para elaborar perfiles de los internos. Propublica lo evaluó y el algoritmo predijo acertadamente la reincidencia en el 59 % de los casos en delitos leves para blancos y 63 % para negros pero luego el programa tenía un marcado sesgo para señalar a los negros como reincidentes. Incluso el MIT y UCardiff encontraron que las máquinas cuando se autoprograman pueden desarrollar prejuicios por sí mismas.
En cuanto a Google, en otro país, se descubrió que los motores de búsqueda tenían un 20 % de sesgo a un partido, el que ganó, lo que cambiaba la preferencia del voto aunque la gente cree que las búsquedas son imparciales.
La autora dice que el moderno marketing orientado al consumidor ofrece a los políticos nuevas vías para decir a grupos concretos de votantes lo que saben que esos electores quieren oír. Y, así, aceptan la información tal y como la presentan porque confirma sus creencias (sesgo de confirmación). Luego, los políticos pidieron una microsegmentación (para enviar propaganda por correo y venderles una versión personalizada de sí mismo).
En la campaña de Obama, un analista de datos, Ghani, comprendió a un pequeño grupo de votantes (deseos, miedos, lo que hacía falta para cambiar su comportamientos) y buscó a otros millones que se pareciesen a ellos para dirigir una campaña específica para ellos. Los votantes así, tienen puntuación alta, por ejemplo, en medioambiente pero baja en seguridad nacional o comercio internacional. Este perfil resultó ser muy útil. Es el mismo perfil que usa Netfix o Amazon con su clientela.
Finalmente, saltó el escándalo de Cambridge Analytica por reunir perfiles de millones de votantes de EE.UU. (incluidos los registros de "me gusta" de cada usuario) y los clasificaron en categorías de factores de personalidad: apertura a nuevas ideas, responsabilidad, extraversión, amabilidad e inestabilidad emocional. Luego, los grupos del candidato Ted Cruz hicieron anuncios televisivos dedicados a cada sector y los colocaron en el programa que verían con mayor probabilidad.
La autora dice que estas estrategias de microsegmentación trabajan en las sombras y "contaminan el ejercicio de nuestros derechos civiles y políticos con lobbies y grupos de interés que utilizan métodos de segmentación para hacer el trabajo sucio". Por eso, han surgido campañas fraudulentas basadas en "fake news" (localizan a votantes vulnerables y les envían mentiras y campañas para alimentar su miedo). Advierte de que incluso la televisión quiere hacer publicidad personalizada. También será más difícil acceder a los mensajes de los políticos en su propia web, porque estarán individualizados en función del perfil del usuario de forma que nadie sabrá lo que lee el vecino. Es difícil colar perfiles falsos.
O'Neil concluye que estas campañas de microsegmentación encajan en la ADM (descomunal, opaca, no da explicaciones de su funcionamiento). Afecta a los votantes de cualquier clase política, ya que solo una minoría importa (la de los votantes de estados clave seleccionados por segmentación) y al resto se le ignora (sobre todo si se prevé que no votarán).
La conclusión de la autora es que un ADM debería medir los costes ocultos e incorporar valores no numéricos. Propone deshacerse de este modelo durante 20 años hasta que con más información los informáticos detecten patrones justos. Otra idea es la regulación gubernamental para hacer un modelo para el "bien común". Pone por ejemplo, un modelo informático que detecta si un producto ha sido fabricado por trabajadores esclavizados y otro predice si en un hogar es más probable que los niños sufran malos tratos.
..................................................................................................................................
RESEÑAS DE OTROS AUTORES
Paloma Llaneza en "Datanomics" (2019)
Sobre los sesgos Cathy O'Neil señala que "los modelos son opiniones embebidas en matemáticas". O'Neil habla de "matemáticas de destrucción masiva" (WMD) que son:
-Los que definen su propia realidad para justificar sus resultados. Estos modelos, se autoperpetúan, son muy destructivos y demasiado comunes.
- los que se camuflan entre su código asunciones peligrosas no comprobadas.
- Los que tienden a penalizar al pobre y a perpetuar la desigualdad.
- Los que funcionan como una caja negra, en la que nadie está dispuesto a explicar el razonamiento detrás del resultado.
La autora matiza que los algoritmos que desvela O'Neil son opacos pero predecibles: hacen lo que han sido programados para hacer.
Llaneza Menciona el algoritmo tóxico "Compas" (Correctional Offender Management Profiling for Alternative Sanctions) que sirve para elaborar perfiles de los internos. Propublica lo evaluó y el algoritmo predijo acertadamente la reincidencia en el 59 % de los casos en delitos leves para blancos y 63 % para negros pero luego el programa tenía un marcado sesgo para señalar a los negros como reincidentes. Incluso el MIT y UCardiff encontraron que las máquinas cuando se autoprograman pueden desarrollar prejuicios por sí mismas.
No hay comentarios:
Publicar un comentario