El diseño ético es una estrategia de gestión de riesgos | Keith Avery | octubre 2022

¿Cómo convence a los tomadores de decisiones para que hagan del diseño ético una prioridad?

Crédito de la imagen: Alois Komenda a través de Unsplash.

Advertencia de contenido: este artículo trata sobre el suicidio, tenga cuidado al leerlo.

TL;DR: No es suficiente hablar sobre el diseño ético como “lo correcto”. Las grandes organizaciones que operan en sistemas complejos tienen muchas prioridades contrapuestas. En última instancia, son responsables ante sus accionistas y sus beneficios. Para atraer a los tomadores de decisiones, debemos repensar el diseño ético como una estrategia de gestión de riesgos.

El diseño ético es una estrategia de gestión de riesgos

Cuando se trata de diseño y ética técnica, a menudo hacemos un argumento moral. Diseño incluido lo correcto a hacer. Nosotros, como diseñadores, tenemos la obligación de considerar el impacto de nuestro trabajo y mitigar el daño potencial. La limitación de este enfoque del diseño ético es la escala. A menudo trabajamos dentro de una esfera de influencia limitada, como ser el diseñador de una característica particular de un producto. Si bien podemos y absolutamente debemos usar nuestras posiciones para defender el diseño ético, a menudo esto tiene un impacto limitado en el sistema más amplio en el que operamos.

Es importante reconocer que existimos en estos sistemas mucho más grandes. Las corporaciones multinacionales operan dentro de una infraestructura compleja de responsabilidad de los accionistas, marcos legales globales y sistemas económicos más amplios. De hecho (digan lo que digan) su principal responsabilidad no es con los usuarios de sus productos o con el personal que los crea. Cuando se trabaja a este nivel, apelar a “hacer lo correcto” suele ser ineficaz. Demasiadas otras prioridades en competencia.

Quizás la mejor manera de abogar por el diseño ético es discutir su relación con el riesgo. El diseño ético es una forma de gestionar el riesgo desde el principio.

Voy a discutir algunos de los riesgos clave que se pueden mitigar mediante la implementación de principios de diseño ético. Las categorías a continuación son algo artificiales, definitivamente no son mutuamente excluyentes. Como con cualquier sistema complejo, estas cosas se cruzan entre sí.

Riesgo 1: Amenaza a la seguridad pública

En este momento, hay innumerables ejemplos de cómo la tecnología puede causar un daño significativo a las personas, las comunidades y la sociedad en su conjunto. He hablado de esto antes en términos de daño e impacto. Pero, en el lenguaje del riesgo, estos son ejemplos riesgo de seguridad pública.

Un caso trágico reciente que ilustra el impacto de la tecnología en la seguridad pública es el suicidio de Molly Russell, de 14 años. La decisión de la investigación se informó recientemente y el forense principal concluyó que Molly “murió como resultado de un acto de automutilación mientras sufría de depresión y los efectos negativos del contenido en línea” (en este caso de Pinterest e Instagram). Los expertos revisaron parte del material de autolesiones que las plataformas recomendaron a Molly en el período previo a su muerte. Uno de ellos le dijo al tribunal:

“Tuve que ver esto por un corto período de tiempo y fue muy perturbador, perturbador… hubo períodos en los que no pude dormir bien durante semanas, así que teniendo en cuenta que el niño vio esto durante varios meses. Solo puedo decir que ella era [affected]especialmente dado que ella era una niña deprimida de 14 años. Ciertamente la afectará y la hará sentir aún más desesperada”.

Las conclusiones de la investigación son terribles. El tribunal trazó claramente una línea entre las decisiones comerciales y de diseño de las empresas de redes sociales y el impacto real en la vida de una persona.

No hay duda de que las decisiones tomadas por estas organizaciones globales representan una amenaza para la seguridad pública. Pero para cambiar el enfoque: ¿qué pasa con los riesgos para las propias organizaciones?

Riesgo 2: reputacional

Casos como el de Molly Russell contribuyen a una montaña de malas relaciones públicas para Meta (la empresa propietaria de Instagram, antes llamada Facebook). Esto se produce después de filtraciones de alto perfil el año pasado por parte de la denunciante Frances Haugen, cuyos documentos demostraron que Facebook ha priorizado repetidamente el “crecimiento sobre la seguridad”. Los documentos publicados por Haugen muestran que la organización sabía que Instagram era un lugar “tóxico” para los jóvenes y optó por no compartir esos hallazgos. Sabían que “el 32% de las adolescentes encuestadas dijeron que cuando se sentían mal con sus cuerpos, Instagram las hacía sentir peor”. Sabían que “el 13 % de los adolescentes del Reino Unido y el 6 % de los usuarios estadounidenses encuestados rastrearon el deseo de suicidarse en Instagram”.

Facebook se discute a menudo en los medios por todas las razones equivocadas. Estas historias negativas son el resultado de una empresa que toma decisiones estratégicas que no priorizan el diseño de productos inclusivos y éticos. En cambio, priorizan la innovación y el crecimiento. Trabajar a esta velocidad no permite una consideración cuidadosa de las devastadoras consecuencias imprevistas del diseño. Del testimonio de Haugen, vimos que mientras Facebook se dedica a la investigación interna (que fundamental al diseño ético), prefieren ignorar descubrimientos que los lleven en una dirección diferente.

“Había conflictos de intereses entre lo que era bueno para el público y lo que era bueno para Facebook… Facebook optó una y otra vez por optimizar para sus propios intereses, como ganar más dinero”. —Francis Haugen

Este es el pensamiento clásico a corto plazo. Ignore la evidencia que podría detener el desarrollo de las funciones que desean desarrollar para que puedan maximizar los ingresos. Esto puede tener un beneficio a corto plazo para las ganancias. Pero con el tiempo, el riesgo para la reputación crece. La reputación de Facebook está en su punto más bajo. Están perdiendo el apoyo de sus usuarios, empleados e inversores.

¿Podría haber un riesgo de reputación significativo detrás de la decisión de Facebook de cambiar la marca a Meta el año pasado? La compañía afirma que el nuevo nombre refleja mejor lo que hace a medida que hace la transición a la realidad virtual y planea construir un “metaverso”. Pero para una visión más cínica (¿o realista?), parece que llegó en un momento muy conveniente para desviar la atención de las crecientes malas noticias. ¿Es esta una etapa tardía en un intento de gestionar el riesgo reputacional?

Riesgo 3: legal y regulatorio

Por supuesto, los litigios en los medios no son el único impacto negativo de la tecnología poco ética. ¿Qué pasa cuando pasa de inmoral a francamente ilegal?

Muchas de las formas en que la tecnología causa daño no están realmente reguladas… todavía. La legislación es lenta y depende en gran medida de factores políticos. Lo que hemos visto durante la última década es que el ritmo de cambio en las empresas de tecnología supera con creces el ritmo de cambio en las instituciones legales. No hay precedentes legales para muchos de los daños que ahora vemos perpetrados por grandes empresas tecnológicas. Para tomar una de mis citas favoritas para resumir la vida moderna:

El verdadero problema de la humanidad es este: tenemos emociones paleolíticas; instituciones medievales; y tecnologías divinas. — E. O. wilson

Donde existe un marco regulatorio sólido, las empresas enfrentan desafíos. Una investigación reciente realizada por la Oficina del Comisionado de Información (ICO), el organismo de control de datos del Reino Unido, descubrió que TikTok pudo haber violado la ley de protección de datos. La investigación encontró que TikTok puede haber procesado datos de niños menores de 13 años sin el consentimiento de los padres. También encontraron que la empresa puede haber procesado datos de categoría especial sin fundamentos legales. Esto podría resultar en una multa de TikTok de £ 27 millones.

La noticia llega semanas después del anuncio de que un organismo de control irlandés había multado a Meta con 349 millones de libras esterlinas. Su investigación reveló que la plataforma había establecido cuentas para jóvenes de 13 a 17 años como “públicas” de forma predeterminada. Esta elección de diseño expuso los datos personales de los niños (como números de teléfono y direcciones de correo electrónico) al público en Internet.

Podría decirse que la legislación de protección de datos es más avanzada que en otras áreas de tecnología maliciosa. Pero esto está cambiando. La UE ha propuesto una nueva ley (Ley de IA) destinada a mitigar el uso nocivo de la IA al prohibir las tecnologías de IA que causan daños físicos y psicológicos. Para las empresas que no consideran el diseño ético desde el principio, aumentan los riesgos regulatorios.

Riesgo 4: Comercial

El riesgo comercial no es realmente una categoría separada, es la culminación de todo lo anterior. Las decisiones organizacionales que representan un riesgo para la salud pública tienen un impacto negativo en la reputación. Esto, a su vez, genera riesgos para los beneficios de la empresa. En algunos casos, una organización puede enfrentar riesgos legales.

En febrero de este año, se informó que los usuarios activos diarios de Facebook habían disminuido por primera vez en los 18 años de historia de la empresa. Sus acciones cayeron más del 20%, recortando el valor de mercado de la empresa en unos 200.000 millones de dólares. Entonces correlación no es causalidad. No podemos relacionar directamente esta actividad en el mercado de valores con la creciente actitud negativa hacia Facebook. También hay otros factores, como el ascenso de TikTok como un competidor importante.

Pero no sería un gran salto sugerir que los informes regulares sobre el impacto perjudicial de Facebook en la sociedad podrían poner en guardia a los inversores. Es posible que simplemente no quieran correr el riesgo.

La reducción de riesgos

Reconocer los riesgos de un diseño deficiente es solo el comienzo. Implementar un cambio real requiere un pensamiento sistémico. El Center for Humane Technology ha creado una base para cambiar sistemas complejos. Muestra los diversos grados de impacto que pueden causar las interferencias en diferentes niveles del sistema.

Diagrama de balancín que muestra puntos con un impacto creciente a medida que se mueven hacia la derecha del diagrama.  De izquierda a derecha, puntos de impacto: 1. Cambios de plataforma, 2. Gobernanza interna, 3. Regulación externa, 4. Modelo de negocio, 5. Meta económica, 6. Cultura y paradigma.
“The Framework for Change in Complex Systems” del Center for Humane Technology, inspirado en el libro de Donella Meadows “12 Leverage to System”.

Para que Facebook realmente resuelva los problemas descritos anteriormente y comience a tener un impacto positivo en la sociedad, un nuevo logotipo no ayudará. Pueden comenzar con cambios en las características y la plataforma o actualizaciones en la gestión interna y las estructuras del equipo. Pero para tener el mayor impacto, necesitan repensar su modelo de negocio y sus objetivos económicos. No veo que esto suceda pronto.

El lado positivo de esto es que la cultura en general se está volviendo cada vez más consciente de estos problemas. En última instancia, cambiar el sentimiento público puede conducir a un cambio de paradigma. Todavía tenemos esperanza.

Previous post ¿La compatibilidad con dispositivos móviles es un factor de clasificación de Google?
Next post Cómo una conferencia de noticias de SEO formó una comunidad

Deja una respuesta