Des intelligences artificielles utilisées pour générer de fausses images pédopornographiques

Des internautes se partagent des conseils pour créer des images à caractère sexuel impliquant des mineurs, ou même des IA spécialisées dans ce genre d'images. Les limitations mises en place par ces entreprises ne suffisent pas toujours, quand elles existent.

Les scènes dépeintes sont fausses, mais le danger est réel. Des internautes utilisent des IA de génération d'images comme Stable Diffusion pour générer des images à caractère pédopornographique, selon le média américain Bloomberg.

Rien que sur les quatre premiers mois de l'année 2023, 68 ensembles d'images pédopornographiques générées par IA ont été publiés sur un forum dédié à ce type de contenus, selon Avi Jager, un responsable de la startup de modération ActiveFence. Ce nombre s'élevait à seulement 25 sur les quatre derniers mois de 2022, selon l'expert cité par Bloomberg, qui refuse de nommer le forum concerné pour des raisons de sécurité.

Une modération imparfaite (ou inexistante)

Les IA de génération d'images comme Midjourney sont capables de générer des images de plus en plus réalistes. Des capacités qui ouvrent de nouvelles possibilités artistiques, mais qui soulèvent aussi de nombreuses inquiétudes face au risque accru de désinformation et d'abus.

De nombreuses entreprises d'IA générative comme Stable Diffusion ont mis en place des mesures de sécurité pour éviter la création de contenus illégaux, par exemple en bloquant les requêtes comportant certains termes. Mais ces garde-fous ne sont pas infaillibles: selon Avi Jager, les internautes concernés s'échangent des astuces pour contourner ces limites, par exemple en utilisant d'autres langues que l'anglais, moins bien modérées.

Certaines structures choisissent quant à elles de ne fixer aucune limite à leur IA, y compris pour des requêtes potentiellement illégales. C'est par exemple le cas de l'IA Openjourney, qui ne bloque aucun mot. Certains utilisateurs affirment ainsi avoir réussi à générer des images gores ou pédopornographiques sans difficulté.

Enfin, certains de ces utilisateurs se partagent des modèles créés spécifiquement pour la production d'images pornographiques en partie entraînés avec des images d'enfants, ainsi que des instructions pour les utiliser, selon un rapport d'ActiveFence publié mardi 23 mai.

"Ça ne fait que commencer"

Stability AI, la startup à l'origine de Stable Diffusion, "interdit strictement tout usage de [ses] plateformes dans des buts illégaux ou immoraux", déclare leur porte-parole à Bloomberg. L'entreprise affirme avoir pris de nombreuses mesures contre la génération de contenus pédopornographiques, dont le blocage de certains mots et l'entraînement des modèles sur des jeux de données expurgés de ce type d'images.

Pour le moment, le Centre national pour les enfants disparus et exploités [National Center for Missing and Exploited Children] américain n'a pas détecté de hausse massive des images pédopornographiques générées par IA, mais "nous ancitipons que ça va augmenter", déclare sa responsable légale Yiota Souras à Bloomberg.

"On est à l'aube de quelque chose de nouveau. Ça ne fait que commencer", redoute la responsable.

L'organisation reçoit déjà plus de 32 millions de signalements par an, dont la quasi-totalité liés à la détention d'images pédopornographiques. Elle dit être en discussion avec les législateurs américains et les plateformes pour discuter de la méthode à adopter si les images générées par IA se font plus nombreuses.

De telles images artificielles ne sont pas considérées comme illégales aux États-Unis. Elles le sont en revanche dans de nombreux autres pays comme la France, le Royaume-Uni, l'Australie ou le Canada.

Luc Chagnon