Microsoft a utilisé Machine Learning pour créer un bot qui commente des articles d'actualité pour une raison quelconque – Serveur d’impression

L'Internet social a un problème de bot. Les faux comptes nuisent à Twitter et Facebook, et le contenu conçu pour mal informer les lecteurs est devenu un sujet qui a attiré l'attention du Congrès.

Ce problème difficile et croissant n’a pas empêché une équipe de chercheurs de créer un algorithme capable d’analyser les reportages, puis de se chamailler avec de vrais humains dans la section commentaires.

Les ingénieurs de l'Université de Beihang et de Microsoft Chine ont développé un robot qui lit et commente les articles de presse en ligne. Ils appellent leur modèle «DeepCom», abréviation de «deep commenter».

Selon la recherche, le système est composé de deux réseaux de neurones: un réseau de lecture qui "comprend" un article et sélectionne des points importants, et un réseau de génération qui rédige un commentaire basé sur ces points et le titre de l'article. Le système est basé sur la manière dont les humains consomment les informations en ligne: nous allons probablement lire le titre, retirer quelques points clés et écrire un commentaire basé sur les points les plus intéressants pour nous – ou les soutenir ou les contester en fonction de nos propres opinions personnelles.

DeepCom fait la même chose, mais automatiquement. Et ses créateurs ont l'intention de l'utiliser pour encourager les commentaires humains sur les articles, pour inciter plus de gens à les lire et à s'intéresser au contenu.

Il existe deux versions du papier DeepCom en ligne. Une version a été publiée sur le serveur de pré-impression arXiv le 26 septembre et une autre le 1er octobre. La version précédente de l'article cite une utilisation potentielle de DeepCom et des sections de commentaire en général: "… encourageant les utilisateurs à parcourir le flux de commentaires, partager de nouvelles informations et discuter les uns avec les autres. Compte tenu de la prévalence des articles de presse en ligne avec commentaires, il est très intéressant de mettre en place un système automatique de commentaire de nouvelles avec des approches basées sur les données. "

Le document suggère essentiellement qu'un système générant automatiquement un faux engagement et un débat sur un article pourrait être bénéfique, car il pourrait duper de vrais humains en s'engageant avec l'article.

Cette déclaration est omise de la nouvelle version. À la place, les chercheurs écrivent qu'ils se rendent compte qu'il peut y avoir des risques avec une IA prétendant être un humain et commentant les reportages.

L'exemple qu'ils donnent dans le journal est très bénin: après avoir lu un article sur le classement de la FIFA, DeepCom envoie deux commentaires. L’une des réponses est la suivante: "Si le Brésil est fortement basé sur le Championnat d'Europe de 2018, d'où la progression de l'Angleterre, comment se positionne le Brésil à 3?" Les autres commentaires, "L'Angleterre sur l'Espagne, le Portugal et l'Allemagne. Intéressant."

Au cours des dernières années, les faux comptes et réseaux de botnets – des systèmes de bots interconnectés travaillant ensemble – sont devenus une épidémie pour les plateformes de médias sociaux telles que Twitter et Facebook. Sur Twitter, de faux comptes avec des photos de profil stock-image sévissaient, se succédant par centaines de milliers et twittant sur la propagande politique. En mai, Facebook a supprimé deux milliards de faux comptes, dont des milliers exprimaient des idées politiques et la désinformation.

Un porte-parole de l'équipe de recherche de Microsoft a déclaré à la carte mère que l'équipe traitait des risques décrits dans le document. Mais dans la dernière version de ce document, datée du 1er octobre, le maximum reconnu par les risques, c’est qu’ils existent – et non ce que les chercheurs prévoient de faire pour éviter les dommages potentiels causés par de faux commentateurs.

"Nous sommes conscients que de nombreuses utilisations de ces techniques peuvent poser des problèmes éthiques et que des pratiques optimales seront nécessaires pour guider les applications (…). Il existe un risque que les personnes et les organisations utilisent ces techniques à grande échelle pour simuler les commentaires provenant de personnes." de manipulation politique ou de persuasion ", écrivent les chercheurs dans la version mise à jour du document. Cette déclaration ne figure pas dans la version précédente. "Dans notre utilisation cible, nous divulguons explicitement les commentaires générés sur les actualités comme formulés automatiquement par un chatbot amusant et engageant."

Fondamentalement, les chercheurs disent que le système qu'ils proposent devrait clairement indiquer que les commentaires générés automatiquement sont générés automatiquement. Mais cela n’empêcherait pas quelqu'un d'adapter le code à son propre commentateur de bots avec moins de transparence.

Un commentateur-bot comme DeepCom ne serait pas non plus immunisé contre les biais qui affectent tous les systèmes d'IA. DeepCom est formé à deux jeux de données: un jeu de données chinois créé par crawling Tencent News, un site Web chinois populaire contenant des articles de presse et d’opinion, et un jeu de données anglais construit à partir d’articles de presse crawlés et des commentaires de Yahoo News. Ces deux éléments mêlent à la fois des articles d'opinion et des éditoriaux et du journalisme. Tous les articles de presse étant (actuellement) écrits par des humains, ils sont inévitablement tous biaisés. Le document n'aborde pas les problèmes de biais potentiels dans les données.

"Bien que ce type de recherche sur l'IA comporte des risques, nous pensons qu'il est important de développer et de démontrer de telles techniques pour comprendre des applications précieuses et potentiellement troublantes de la technologie", écrivent les chercheurs dans la dernière version du document.

Whitney Phillips, professeur adjoint en communications, culture et technologies numériques à l'Université de Syracuse, qui étudie les cyber-trolls, a expliqué que, à l'instar d'autres technologies telles que Deepfakes, les risques pour les communautés vulnérables reviennent souvent après coup. Et parfois, les expériences peuvent être biaisées en faveur de certains résultats en fonction des questions auxquelles les chercheurs tentent de répondre.

"[H]Maintenant, nous posons des questions et y répondons (ce qui nous apparaît même comme une question qui mérite d’être posée) a tout à voir avec la place que nous occupons dans le monde », a déclaré Phillips à Motherboard. «Certains ne courent aucun risque, car ils n’ont jamais eu à y penser ni à s’inquiéter des conséquences qui pourraient en découler.»

Correction du 7 octobre 2019 à 12 h 50: cet article disait à l'origine que le code source de DeepCom était partagé sur Github. DeepCom avait une page de projet sur Github, mais le code source n’a jamais été partagé de manière externe avec Microsoft. La carte mère regrette l'erreur.