Boletín Nº 184 - Marzo 2018
Cathy
O’Neil desmonta la supuesta neutralidad del ‘big data’
Algoritmos para la manipulación
política y la discriminación
El escándalo creado por el uso
ilegal de cuentas de Facebook para propaganda política pone de máxima actualidad
al alegato de Cathy O’Neil
contra las "armas de destrucción matemática". En su libro, la experta
estadounidense en ciencia de datos desmonta los sesgos y diseños erróneos de
algoritmos manejados por empresas, policías y gobiernos con consecuencias
nefastas para la igualdad de oportunidades, los derechos laborales y la calidad
democrática.
Pablo Francescutti|| 22 marzo
2018 13:00
El conocimiento detallado del
perfil de los usuarios de redes sociales permite a los políticos adaptar su
propaganda a medida de cada individuo. / Pixabay
En 2011, Sarah Wysocki, maestra primaria en Washington DC, fue calificada
por un algoritmo de evaluación docente. En vez de valorar su forma de enseñar,
corregir, tutorizar, etc., medía indicadores
indirectos: las notas de sus alumnos. Aunque gozaba de la estima de los padres
y del director de su colegio, el ‘modelo de valor añadido’ puntuó a Wysocki muy bajo en enseñanza de lengua y matemáticas.
Basándose en decenas de pruebas de un solo
curso (para tener validez estadística debería haber procesado cientos de
exámenes), la despidieron. La cosa no acabó ahí: en los años siguientes, una
inspección detectó numerosas tachaduras en las pruebas: los maestros, temiendo
ser echados por el algoritmo, enmendaron al alza los ejercicios de sus
estudiantes.
|
Cathy O’Neil desnuda en su libro los errores
estadísticos y la falaz neutralidad de ciertos modelos matemáticos
|
Otro ejemplo del efecto perverso del big data en la educación lo brindan los rankings de
universidades, inventados en 1988 por la revista US News and World Report para vender
ejemplares a los estudiantes. Aparte de ser confeccionados por periodistas
sin idea de pedagogía, al tomar como referencia a las universidades de élite
anglosajonas, priorizan parámetros que les benefician como la reputación
(favorable a los centros más antiguos) y omiten los que les perjudican, como
el precio de la matrícula (de incluirse, aquellas perderían posiciones y las
universidades públicas subirían).
|
|
|
|
|
Consecuencia: las
instituciones de élite aumentaron sus precios, los demás se vieron sometidos a
exigencias inalcanzables y proliferó la picaresca para escalar posiciones en
las tablas.
Son algunos de los
casos examinados en Armas de
destrucción matemática
(título español que no recoge el juego de palabras entre mass
y math patente en el original Weapons
of Math Destruction). Con
pocas fórmulas y abundantes analogías, Cathy O’Neil desnuda los errores estadísticos y la falaz
neutralidad de ciertos modelos matemáticos, dando una muy oportuna réplica a la
visión del big data como panacea de todos los males
sociales y económicos.
Fiasco en las predicciones
En sus páginas señala las
dos premisas erróneas que sustentaban la predicción de impagos hipotecarios,
cuyo fiasco detonó la crisis financiera de 2008: el futuro no diferirá del
pasado, y los impagos son hechos aleatorios no relacionados entre sí. O’Neil no habla de oídas; doctora en matemáticas porla Universidad de Harvard, fue analista cuantitativa del
fondo de inversion D.E. Shaw antes de unirse al movimiento Occupy Wall Street, cuyo espíritu impregna su blog mathbabe y este libro.
|
Su lupa se detiene
en los modelos de prevención criminal que orientan a los policías y jueces
estadounidenses. Su preferencia por determinadas variables geográficas y
figuras delictivas envía a los agentes a patrullar barrios pobres con altas
tasas de delitos violentos y faltas al orden público, ignorando los distritos
financieros donde se fraguan las estafas que arruinan a millones.
Ciertos algoritmos
prevén el potencial reincidente de un reo a partir de criterios insuficientes
como su área de residencia y su amistad con personas con antecedentes
penales, propiciando con ello sentencias más duras. ¿Resultado?
Estigmatización de las zonas marginadas, sobrerrepresentación carcelaria de
las minorías étnicas desfavorecidas e impunidad de la delincuencia de guante
blanco.
En la selección de personal para trabajos de
baja remuneración se aplican algoritmos que no tienen la finalidad de
encontrar "al mejor empleado sino de excluir a tantas personas como sea
posible de manera barata", resalta O’Neil. Otros
ayudan al sector del seguro a identificar clientes de mayor riesgo para
encarecer sus pólizas (sin abaratar las del resto de asegurados, dicho sea de
paso), desvirtuando el significado social de una institución nacida para
compensar los reveses de la fortuna.
|
El libro Armas de
destrucción matemática ha sido editada por Capitán Swing.
|
|
|
|
|
|
|
|
Algoritmos y redes sociales
El último apartado se
dedica a un área candente: el uso non sancto de
los algoritmos de las redes sociales. El conocimiento detallado del perfil de
sus usuarios permite a los políticos adaptar su propaganda a medida de cada
individuo, potenciando la práctica demagógica de decir a cada uno lo que quiere
oír, y, mucho más peligroso, la manipulación de sus emociones con fines
electorales.
La irracionalidad subyacente a la ‘racionalidad
numérica’ nos remite al principio GIGO (del inglés garbage
in, garbage out), es decir
si introcuces datos malos en un ordenador, saldrán
datos malos. Es lo que ocurre con modelos que, al decir de O’Neil,
"son opiniones incrustadas en matemáticas", por lo común, prejuicios racistas y
clasistas. La condición de secreto comercial de los algoritmos, que les sustrae
al escrutinio público, garantiza la opacidad de estas "armas de destrucción
matemática". La gente ignora cómo procesan sus datos y por qué es clasificada
de tal o cual manera con pernicioso impacto en sus vidas.
|
"Nuestra época exige
una legislación que proteja a la ciudadanía de los abusos perpetrados
mediante la minería de datos", señala O’Neil
|
Advierte la autora
que con el big data se explota "la mezcla de miedo
y confianza que siente la gente por las matemáticas para evitar que hagan
preguntas".
Enamorada de su
disciplina, cree que la ciencia de los números puede contribuir al bien común
y defiende métricas que, en vez de desechar solicitantes de empleo, se
destinen a aprovechar las cualidades laborales de cada candidato; que en
lugar de enviar más gente a la cárcel, descubran las prisiones que favorecen
la reintegracion de los exconvictos;
o, como el modelo de Mira Bernstein, que revelen indicios de trabajos forzados
en los proveedores de grandes marcas.
|
|
|
|
|
O’Neil cree que es crucial que el mundo académico se
moje en el asunto, tal como han hecho en la Universidad de Princeton con software
robótico que simula ser personas para detectar sesgos en los motores de
búsqueda y buscadores de empleo en la red.
Una analogía transmite
su mensaje final: así como las pésimas condiciones en las fábricas de la
Revolución Industrial obligaron a imponer las leyes laborales, "nuestra época
exige una legislación que proteja a la ciudadanía de los abusos perpetrados
mediante la minería de datos".
Cabe apuntar que no estamos ante una obra de
divulgación; la autora privilegia la denuncia por encima de la explicación
minuciosa de los defectos matemáticos y estadísticos de los modelos
cuestionados (una tarea imposible de cumplir en tan pocas páginas y con tantos
ejemplos abarcados). Pese a esa deficiencia, el lector agradece su aldabonazo
en la conciencia pública, que le pone en guardia contra las nuevas y
sofisticadas formas de perpetrar injusticias.
|
Cuadro de datos
|
|
Autora: Cathy O’Neil.
Título: Armas de destrucción matemática. Cómo el Big Data aumenta la
desigualdad y amenaza la democracia
Género: ensayo
Editorial: Capitán Swing
Lugar y fecha de publicación: Madrid, 2017
280 páginas,
19 euros
|
|
|
Zona geográfica: España
Fuente:SINC
|
|