La nueva tecnología de google antitrolls está enfocada en combatir el acoso virtual, para lograrlo se vale de nuevas herramientas basadas en la inteligencia artificial. El laboratorio de ideas de Google, llamado Jigsaw (rompecabezas en español), fue comisionado en febrero de este año para usar los recursos de la empresa con el objetivo de combatir problemas de ética y libertad de expresión en internet.

Llamado Conversation AI, el nuevo software de Jigsaw está destinado a bloquear comentarios tóxicos en cualquier sitio de la red. El programa usa tecnología de aprendizaje automático para detectar lenguaje abusivo, y le proporciona un “potencial de daño” del 0 al 100 (donde 100 es extremadamente dañino y 0 es completamente seguro). El software iniciaría su período de pruebas en la sección de comentarios del New York Times, y Wikipedia también planea usarlo, aunque a la fecha aún no se sabe de qué forma.

¿Cómo se establecen los criterios?

Esta tecnología de google antitrolls pronto será liberada para el uso de desarrolladores, con el objetivo de que los sitios web o redes sociales como Instagram o Facebook puedan detectar los comentarios hirientes antes de que el destinatario pueda leerlos. La especialidad de Conversation AI es precisamente identificar insultos y reportarlos de inmediato a los administradores del sitio, de modo que puedan reprender a los trolls y eliminar mensajes que contengan lenguaje tóxico.

Sin embargo, hay buenas razones por las que los expertos permanecen escépticos acerca de la pertinencia del uso de lenguaje automático para combatir trolls cibernéticos. Los antecedentes de esta tecnología –softwares de control parental y filtros anti spam- han fallado a la hora de juzgar lo que deben dejar pasar y lo que no. El éxito de Conversation AI va a depender de bajo qué criterios humanos va a operar y cómo serán implementados.

Pero no todo es incertidumbre, el proyecto Conversation AI está basado en el software de detención de insultos implementado por Riot Games en el juego en línea League of Legends, el cual ha sido bastante exitoso hasta la fecha, pues ha logrado reducir el comportamiento tóxico de los jugadores hasta en un 60%. Esto muestra que Jigsaw ha tomado influencias y metodologías de distintos proyectos para desarrollar el software de google antitrolls.

Otra preocupación que se ha expresado por la comunidad en internet, traída a la luz pública en un artículo de la revista Wired, es hasta qué punto Conversation AI puede ser usado para censurar comentarios que parezcan lenguaje tóxico, pero no lo sean, y que sólo sean etiquetados como tales debido a la influencia de ciertas ideologías. Al preguntarle a al desarrollador Lucas Dixon sobre el potencial de este tipo de “daño colateral”, dijo “nosotros estamos a favor de que las comunidades cibernéticas tengan el tipo de conversaciones que deseen tener”.

Aún no está claro qué tan buena es esta tecnología, pero, de acuerdo con Google, el software tiene un 92% de efectividad en la detección y tan solo 10% de posibilidad de falsas alarmas, cifras que mejorarán con el tiempo. Todo parece indicar que se han terminado los días en que los trolls de internet permanecían impunes a través de las secciones de comentarios.