Así es como la IA de Facebook busca cosas malas

30 noviembre 2019




El contexto: La gran mayoría de la moderación de Facebook se realiza ahora de forma automática por los sistemas de aprendizaje automático de la empresa, lo que reduce la cantidad de contenido desgarrador que sus moderadores tienen que revisar. En su último informe sobre la aplicación de las normas comunitarias, publicado a principios de este mes, la empresa afirmó que el 98% de los vídeos y fotos de terroristas se eliminan antes de que nadie tenga la oportunidad de verlos, por no hablar de denunciarlos. 


Entonces, ¿qué estamos viendo aquí? La compañía ha estado entrenando sus sistemas de aprendizaje de máquinas para identificar y etiquetar objetos en videos -desde lo mundano, como jarrones o personas- hasta lo peligroso, como pistolas o cuchillos. La IA de Facebook utiliza dos enfoques principales para buscar contenido peligroso. Una es emplear redes neuronales que buscan características y comportamientos de objetos conocidos y los etiquetan con diferentes porcentajes de confianza (como podemos ver en el video de arriba).


Formación en curso: Estas redes neuronales están entrenadas en una combinación de videos pre etiquetados de sus revisores humanos, reportes de usuarios, y pronto, de videos tomados por la Policía Metropolitana de Londres. Las redes neuronales son capaces de usar esta información para adivinar lo que la escena completa podría estar mostrando, y si contiene algún comportamiento o imágenes que deberían ser marcadas. En una conferencia de prensa celebrada esta semana, dio más detalles sobre el funcionamiento de sus sistemas.


¿Y luego qué? Si el sistema decide que un archivo de vídeo contiene imágenes o comportamientos problemáticos, puede eliminarlo automáticamente o enviarlo a un revisor de contenido humano. Si rompe las reglas, Facebook puede crear un hash, una cadena única de números para denotarlo y propagarlo por todo el sistema, de modo que el otro contenido coincidente se eliminará automáticamente si alguien intenta volver a cargarlo. Estos hashes pueden ser compartidos con otras empresas de medios sociales para que también puedan quitar copias del archivo en cuestión.


"Estos videos[de la Policía Metropolitana] son increíblemente útiles para nosotros. Los eventos terroristas son raros, afortunadamente, pero significa que la cantidad de datos de entrenamiento es tan pequeña", dijo en una llamada la gerente de ingeniería Nicola Bortignon.


Un punto débil: Facebook sigue luchando por automatizar su comprensión del significado, los matices y el contexto del lenguaje. Es por eso que la compañía confía en que la gran mayoría de los mensajes de acoso e intimidación que rompen sus reglas sean denunciados: sólo el 16% de estos mensajes son identificados por sus sistemas automatizados. A medida que la tecnología avanza, podemos esperar que esa cifra aumente. Sin embargo, lograr que la IA entienda realmente el lenguaje sigue siendo uno de los mayores desafíos del campo.


El panorama general: En marzo, un terrorista mató a 49 personas en dos mezquitas de Christchurch, Nueva Zelanda. La masacre fue retransmitida en directo por Facebook, y los vídeos de la misma circularon por el sitio durante meses. Fue una llamada de atención para la industria. Si volviera a ocurrir ahora, hay más posibilidades de que sea capturado y retirado más rápidamente.


Vía: https://www.technologyreview.com/f/614774/this-is-how-facebooks-ai-looks-for-bad-stuff

Elihu A. Cruz

Sígueme en Twitter @_elihucruz

Sigue leyendo


Image message

Mantente al día con las noticias