¿Cómo puede ayudarte la IA a escribir correos electrónicos?

Creamos un prototipo de editor de correo electrónico de IA con generación de texto de procesamiento de lenguaje natural (NLP) y le pedimos a 156 personas que escribieran correos electrónicos con él. Comparamos diferentes configuraciones de interfaz de usuario y su uso por hablantes nativos o autores extranjeros en inglés. Nuestra motivación fue explorar la creación de texto impulsada por IA para apoyo escritores – en lugar de reemplazar ellos con IA. Esto es lo que aprendimos.

Como investigadores de Human-Computer InteraCDecidimos crear y probar un sistema interactivo de inteligencia artificial para escribir. La siguiente figura muestra su interfaz de usuario implementada como una aplicación web: ofrece una vista de editor de texto simple con funciones típicas (por ejemplo, ingresar, editar, eliminar, mover el cursor) así como sugerencias.

Las sugerencias se pueden seleccionar usando el mouse y el teclado (pestaña: acepta la primera oferta; flechas arriba / abajo: cambiar la selección; entrar: aceptar selección).

Además, nuestra interfaz de usuario incluía información relacionada con un estudio específico, a saber, una tarea (script) por correo electrónico y un botón para enviar correo electrónico y completar la tarea. El siguiente video muestra nuestro prototipo en acción.

La interfaz de usuario general está inspirada en proyectos relacionados (p. Ej. Escribe con un transformador demo de HuggingFace). A nuestro leal saber y entender, nuestro proyecto representa la primera evaluación formal y detallada de investigación de usuarios de un sistema de este tipo.

Como modelo para generar texto, usamos GPT-2 proporcionado por HuggingFace y lo refinamos para un gran conjunto de datos de correo electrónico (Enron), incluido un preprocesamiento adicional.

Probamos y mejoramos nuestro prototipo muchas veces en un estudio piloto en el que participaron 30 personas: por ejemplo, en base a sus comentarios, ajustamos la interfaz de usuario y mejoramos el modelo que sirve para aumentar la velocidad de generación de texto.

Reclutamos a 156 personas para probar el prototipo. Aproximadamente el 40% eran hablantes nativos de inglés. Cada persona completó cuatro tareas de redacción de correo electrónico (es decir, guiones cortos). Por lo tanto, cada participante utilizó cuatro versiones diferentes de nuestro sistema, como se muestra en la siguiente figura: Específicamente, comparamos el uso de cero, uno, Tres y seis ofertas. El orden de las tareas se equilibró entre las personas para reducir el sesgo a través de los efectos del aprendizaje.

Registramos los datos de participación y pedimos a las personas sus opiniones y comentarios mediante cuestionarios. La encuesta se realizó en línea y tomó alrededor de 22 minutos en promedio.

Echemos un vistazo a los datos y los resultados.

Nueve patrones fundamentales de interacción

Hemos modelado y analizado las interacciones del usuario en forma de secuencias (por ejemplo, escribir, escribir, borrar, escribir, elegir una opción, …). Esto identificó nueve patrones de interacción principales para escribir con IA en un bucle en tres categorías: creación, edición y navegación de texto. La figura visualiza estos comportamientos rudimentarios.

Métricas clave de participación

Además, analizamos métricas clave basadas en interacciones registradas. Estos histogramas muestran la descripción general. A continuación, lo dividiré en ideas específicas combinadas con otros datos que no se muestran aquí (como los comentarios de las personas).

Beneficios: varias oraciones te ayudan a encontrar frases

Varias oraciones ayudan a los autores a encontrar frases útiles, como lo demuestran varios resultados:

• Mostrar más ofertas aumenta las posibilidades de aceptar una de ellas.
• Mostrar más sugerencias reduce la necesidad de que los usuarios cambien manualmente el texto sugerido después de ser aceptado.
• Dar a los usuarios una opción de opciones amplía el uso general del texto sugerido en un correo electrónico.

Costo: las propuestas requieren mucho tiempo y acción.

Sin embargo, las ofertas pueden tener un precio por la efectividad:

• Como era de esperar, los usuarios tardan más en elegir entre más ofertas.
• Específicamente, con seis oraciones, las personas tardan más en escribir correos electrónicos.
• Las sugerencias alteran la experiencia del usuario en la interfaz de usuario: por ejemplo, mostrar más sugerencias desplaza parcialmente la interacción del usuario de mecanografía a favor navegación (listas de propuestas).

La interacción con las sugerencias varía

Como se muestra en la figura con nueve plantillas arriba, la interacción con las ofertas es diferente. Ejemplos de niveles bajos a altos de participación son: entrada en serie ignorando oraciones, integrando oraciones periódicamente, usándolas de manera más densa y combinando varias de ellas en una fila. Las variaciones pueden ocurrir tanto entre personas como dentro de una persona durante el proceso de escritura.

El conocimiento del idioma importa

Finalmente, nuestros resultados brindan información sobre el impacto del uso de oraciones de texto al escribir en un idioma nativo o no nativo:

• Los hablantes nativos aceptan más oraciones y ganan relativamente más al ver más oraciones en paralelo.
• El tiempo dedicado a varias oraciones es menos costoso para los hablantes no nativos.
• Los hablantes nativos percibieron las oraciones como un poco más positivas e influyentes en términos de redacción, contenido e inspiración para otras frases y palabras.

En general, este trabajo motiva tres hallazgos específicos al desarrollar herramientas de escritura que integran la creación de texto con IA:

1. Primero, los diseñadores deben estar abiertos a explorar una variedad más amplia de opciones de interfaz de usuario de lo que se pensaba anteriormente para tales sistemas. Por ejemplo, podríamos probar más que los valores predeterminados reales sugiriendo una frase (como Gmail Smart Compose) o tres palabras (como el teclado de un teléfono inteligente).
2. En segundo lugar, debemos Considere los objetivos de diseño además de la eficiencia: La generación continua de texto a menudo tiene como objetivo reducir la escritura y ahorrar tiempo. Sin embargo, nuestros resultados también destacan las posibilidades de desarrollo para otros fines, como la inspiración o el aprendizaje de idiomas. Dichos objetivos también pueden estar mejor alineados con una visión de colaboración humano-IA en lugar de reemplazar a los escritores.
3. Finalmente, necesitamos más considerar explícitamente los grupos de usuarios y sus necesidades y preferencias al desarrollar herramientas de escritura de IA. Por ejemplo, como se muestra aquí para el nivel de dominio del idioma, diferentes personas (o el mismo usuario en diferentes contextos) pueden beneficiarse de diferentes configuraciones de AI y UI.

En breve:

Si está integrando la creación de texto con inteligencia artificial para lograr velocidad y eficiencia, muestre una oración. Si está diseñando para inspirarse o aprender un idioma, proporcione a sus usuarios varias frases para elegir. De todos modos, considere diferentes grupos de usuarios.

El desplazamiento está potencialmente oculto no solo en el modelo, sino también en la interfaz de usuario.

Hay otra conclusión más amplia aquí: nuestros resultados sugieren que el diseño de interfaces de usuario para ofertas únicamente para mejorar la eficiencia puede evitar que ciertos grupos de usuarios utilicen el sistema a voluntad. Específicamente, la optimización de las herramientas de escritura de IA para la eficiencia puede no ser lo mejor para los intereses, por ejemplo, para hablantes no nativos. Dado el reciente debate sobre el sesgo en los modelos de PNL, esto indica que el diseño de la interfaz de usuario puede ser otra fuente potencial de sesgo a considerar cuando se trata de interactividad para ciertos grupos de usuarios.

Aún no se han explorado muchas opciones fundamentales de diseño de interfaces de usuario para el uso interactivo de modelos de inteligencia artificial a partir del procesamiento del lenguaje natural. Para resolver este problema, examinamos un aspecto clave del diseño (recuento de cláusulas concurrentes), así como un aspecto importante relacionado con el usuario (dominio del idioma) que no se había explorado previamente en este contexto.

Hemos descubierto que mostrar varias oraciones es útil para generar ideas a expensas de la eficiencia. Por lo tanto, la cantidad de sugerencias que se muestran en la interfaz de usuario depende de sus objetivos de diseño y de los usuarios objetivo. En este sentido, las diferencias observadas en el uso de hablantes nativos y no nativos resaltan claramente la importancia de desarrollar IA interactiva con diferentes orígenes en mente.

Puede encontrar más información en nuestro artículo que se publicará en la conferencia CHI’21 a finales de este año. La preimpresión ya está disponible en arXiv.