Radar de Algoritmos by Gerard Sentís

Gerard Sentís es el coordinador de m4Social de la Taula del Tercer Sector Social de Catalunya y es el partner invitado de este mes del club digital. Os dejamos su linkedin

Gerard participa en nuestro club para presentarnos el informe «Radar de algoritmos y procesos de decisión automatizada para el acceso a los derechos sociales de la ciudadanía» ¿Sabías que muchas de las decisiones que se toman en las administraciones públicas sobre prestaciones, ayudas, informes sociales…las realizan algoritmos y procesos automatizados? ¿Podemos confiar 100% en que estos algoritmos tomen estas decisiones tan cruciales para la vida de algunas personas?

Pero lo primero es lo primero, os dejamos con Gerard

De dónde surge la idea

Desde la Taula del Tercer Sector Social de Catalunya han querido poner sobre la mesa un debate en torno a la inteligencia artificial y la automatización de procesos en las administraciones públicas. Para ello, realizaron el estudio mencionado anteriormente (al final de este post tenéis el documento utilizado en la presentación) en el que se llevó a cabo un análisis para descubrir en qué procesos de la administración pública estaban siendo utilizados algoritmos y automatizaciones donde las personas profesionales ya no actuaban directamente evaluando algunos informes sino que eran estos procesos los que lo hacían.

Se han detectado oportunidades importantes brindadas por estos procesos como es el dar una respuesta más rápida a la ciudadanía y en agilizar y dar mas fiabilidad a algunos procesos. Sin embargo, también se plantean algunos problemas como son la confidencialidad de los datos, la transparencia de cómo se toman estas decisiones en las que no ha participado específicamente ninguna persona y también en lo que se refiere a la confianza que dan a la persona que recibe o especialmente a la que se le niega un derecho. Es decir, conocer el por qué se ha tomado esa decisión y no otra.

Tres ejemplo

Ejemplo 1: Servicios de emergencia del Ayuntamiento de Barcelona. Los/as profesionales de estos servicios dedican horas a atender a personas psicológicamente, con medicación, etc. en situaciones de verdadero estrés. Después de estar horas atendiendo debían redactar un informe completo para que quedara el rastro de su actuación y posibles implicaciones posteriores, posibles servicios donde derivar estos casos o actuaciones a seguir. Lo que se hace ahora es que estos profesionales rápidamente graben por voz al terminar su actuación y se genere un informe oral que automáticamente se transforma en un informe escrito y a partir de aquí se resume y se crea el camino de derivaciones o actuaciones que hay que seguir. Se recortan tiempos de estos profesionales y, sobretodo después de una carga emocional muy fuerte, los/as profesionales pueden irse a descansar o dedicarse a otras cuestiones.

Ejemplo 2: Informes en relación a las ayudas de pobreza energética. El sistema analiza toda la documentación que una persona en situación de vulnerabilidad presenta. Esto permite analizar toda ella rápidamente y se acortan los tiempos en los que la persona espera para recibir una prestación social. Reduciendo, así, el riesgo de sufrir cortes de luz o gas.

Ejemplo 3: Recomendador de prestaciones. Un espacio web donde las personas introducen sus datos y en función de las preguntas que se les hacen el mismo software les va recomendando prestaciones a las que supuestamente tienen derecho. El recomendador no tramita las prestaciones pero sí guía a la persona. Al menos ya sabe dónde ir a buscar esa supuesta ayuda y la documentación que necesita preparar para solicitarla.

En conclusión, y en palabras de Gerard, lo que se ha querido es generar un debate público en todos los niveles de los agentes sociales: administraciones públicas, entidades, redes estatales, europeas. Un debate sobre todas estas prestaciones que son dadas a través de estos procesos. Ya que, Sí son una oportunidad: mejoramos los tiempos de respuesta, recortamos esperas, descongestionamos el trabajo de muchos/as profesionales… pero quizá No estamos poniendo especial atención en si existen sesgos en estos algoritmos que se van repitiendo y perpetúan las desigualdades del mundo real.

Os dejamos la presentación que se utilizó en la presentación del estudio: Descarga Aquí

Sesgos y algoritmos

En este mismo blog ya hablamos hace algunos meses sobre el problema que estos algoritmos pueden presentar de la mano de una de nuestras primeras partner invitadas Liliana Acosta. Os dejamos el enlace al post: https://clubdigital.larueca.org/los-sesgos-en-la-inteligencia-artificial-discriminan-las-maquinas-by-liliana-acosta/

Y recordamos la reflexión que hacíamos en esa entrada:
¿la inteligencia artificial puede ser sexista? ¿racista? ¿clasista? pero…¿no se supone que es inteligente? Sí, es inteligente porque lo que se intenta es que sea capaz de tomar sus propias decisiones y aprender de sus propios actos. Sin embargo, esta inteligencia… finalmente no deja de ser un «trozo de software» que alguien ha pensado y tecleado en un ordenador para hacerlo realidad y que funcione. Las decisiones están basadas en lo que una serie de humanos pensaron en un principio. Y, además, y de forma habitual podríamos decir que suelen ser humanos de clase media-alta (pues han tenido la oportunidad de estudiar carreras STEAM en buenas universidades), hombres, pues está demostrada la mayoría aplastante de hombres en estas profesiones, liderados por hombres, pues es bien sabido que hay pocas mujeres directivas y menos en empresas tecnológicas, etc…

Los tipos de sesgo que se puedan dar se explican de manera extraordinaria en la revista e-tech. Según esta revista existen 4 tipos de sesgos:

Sesgo estereotipado

Los algoritmos solo son tan buenos como las personas que los desarrollan. Tal como indica The New Scientist, el aprendizaje automático tiende a amplificar el sesgo sexista y racista del mundo real. Lo vemos, por ejemplo, en el software de reconocimiento de imágenes que no identifica correctamente las caras que no son blancas. De forma parecida, las muestras de datos sesgadas pueden enseñar a las máquinas que las mujeres compran y cocinan, mientras que los hombres trabajan en oficinas y fábricas. Este tipo de problema suele ocurrir cuando las personas que entrenan los datos introducen involuntariamente sus propios prejuicios en el trabajo que realizan.

Sesgo de muestreo

Los sesgos también pueden ocurrir cuando una muestra se obtiene de tal manera que alguna parte de la población estadística prevista tienen menos probabilidades de ser incluidos que otros. En otras palabras, los datos utilizados para entrenar un modelo no reflejan con precisión el entorno en el que operará.

Se podría introducir un sesgo de muestreo, por ejemplo, si un algoritmo utilizado para el diagnóstico médico se entrena solo con los datos de una población. Del mismo modo, si un algoritmo destinado a operar vehículos sin conductor durante todo el año se entrena solo a partir de los datos recopilados durante los meses de verano, una nevada podría confundir el sistema.

Distorsión del valor sistemático

La distorsión del valor sistemático se produce cuando el verdadero valor de una medición se sobrestima o subestima sistemáticamente. Este tipo de error generalmente ocurre cuando hay un problema con el dispositivo o proceso utilizado para realizar las mediciones.

En un nivel relativamente simple, pueden producirse errores de medición si los datos de entrenamiento se capturan en una cámara que filtra algunos colores. A menudo el problema es más complejo.

En la atención sanitaria, por ejemplo, es difícil implementar un proceso uniforme para medir los datos de los pacientes a partir de registros electrónicos. Incluso los registros superficialmente similares pueden ser difíciles de comparar. El motivo es que un diagnóstico generalmente requiere interpretar los resultados de las pruebas y hacer varios juicios en diferentes etapas de la evolución de una enfermedad, y el momento de la decisión inicial depende de cuándo el paciente se sintió lo suficientemente mal como para acudir al médico. Un algoritmo debe ser capaz de tener en cuenta todas las variables para hacer un pronóstico preciso.

Sesgo algorítmico

El sesgo algorítmico es lo que sucede cuando un sistema de aprendizaje automático refleja los valores de las personas que lo desarrollaron o entrenaron. Por ejemplo, el sesgo de confirmación se puede convertir en un algoritmo si el objetivo, ya sea intencional o no intencional, es demostrar una suposición u opinión. Esto podría suceder en un entorno empresarial, periodístico o político, por ejemplo.

Ha habido varios casos notorios de sesgo algorítmico relacionados con redes sociales y motores de búsqueda e incluso en el ámbito de la contratación corporativa.

Y además, cabe aportar, como no, el sesgo de género.

En definitiva, a través de este debate, se busca equilibrar los beneficios de la automatización con la necesidad de asegurar un uso justo y equitativo de la inteligencia artificial en las decisiones que afectan a la ciudadanía.