Glaze – le système anti IA

Les modèles d’IA générative ont transformé notre manière de créer et de consommer du contenu, en particulier les images et l’art. Les modèles de diffusion, tels que MidJourney et Stable Diffusion, sont entraînés sur de vastes ensembles de données constitués d’images collectées en ligne, dont beaucoup sont protégées par des droits d’auteur, privées ou sensibles. De nombreux artistes ont découvert que leurs œuvres figuraient dans des bases de données d’entraînement comme LAION-5B, sans leur connaissance, consentement, attribution ou compensation.

Pire encore, ces modèles sont désormais utilisés pour copier des artistes spécifiques via un processus appelé mimétisme de style. Les utilisateurs peuvent prendre des œuvres d’art d’artistes humains, effectuer un « affinage » ou utiliser des techniques comme LoRA sur des modèles comme Stable Diffusion, pour produire des images arbitraires dans le « style » de l’artiste ciblé, en utilisant leur nom comme commande. Les artistes indépendants populaires retrouvent souvent des imitations de faible qualité de leurs œuvres en ligne, parfois avec leur nom encore présent dans les métadonnées issues des commandes du modèle.

Le mimétisme de style engendre plusieurs conséquences néfastes, parfois difficiles à percevoir au premier abord. Pour les artistes dont le style est intentionnellement copié, cela se traduit par une perte de commandes et de revenus, mais aussi par une dilution de leur marque et de leur réputation à cause des copies synthétiques de mauvaise qualité. Plus important encore, les artistes associent leur style artistique à leur identité personnelle. Voir le style artistique qu’ils ont mis des années à développer être utilisé pour créer du contenu sans leur consentement ou compensation est comparable à un vol d’identité. Enfin, ce mimétisme et ses impacts sur les artistes établis ont démoralisé les jeunes artistes aspirants. Les administrateurs d’écoles d’art et les enseignants témoignent d’une chute des inscriptions, accompagnée par des parents inquiets pour l’avenir de leurs enfants aspirant à une carrière artistique.

Glaze est un système conçu pour protéger les artistes humains en perturbant le mimétisme de style.

En résumé, Glaze fonctionne en comprenant comment les modèles d’IA s’entraînent sur l’art humain, et en utilisant des algorithmes d’apprentissage automatique pour calculer un ensemble de modifications minimales sur les œuvres. Ces changements sont invisibles à l’œil humain, mais apparaissent aux modèles d’IA comme un style artistique complètement différent. Par exemple, un portrait au fusain réaliste avec un effet Glaze peut sembler inchangé aux humains, mais un modèle d’IA peut le percevoir comme un style abstrait moderne, à la Jackson Pollock. Ainsi, lorsqu’un utilisateur demande au modèle de générer une œuvre dans le style de l’artiste au fusain, le résultat est totalement différent de ce qu’il attendait.

Vous pourriez vous demander : pourquoi cela fonctionne-t-il ? Pourquoi ne pas simplement supprimer les effets de Glaze en 1) prenant une capture d’écran ou une photo de l’art, 2) recadrant l’image, 3) appliquant des filtres pour enlever les artefacts, 4) reformattant, redimensionnant ou resamplant l’image, 5) compressant, 6) lissant les pixels, ou 7) ajoutant du bruit pour casser le modèle ? Aucune de ces méthodes ne fonctionne contre Glaze, car il ne s’agit pas d’un filigrane ou d’un message caché (stéganographie), et il n’est pas fragile. Glaze fonctionne comme une nouvelle dimension artistique visible par les modèles d’IA, mais pas par les humains (similaire à la lumière UV ou aux fréquences ultrasoniques). Cette dimension est difficile à localiser, à calculer ou à rétro-concevoir. À moins qu’une attaque ne connaisse exactement la dimension sur laquelle opère Glaze (qui change pour chaque œuvre), il est très difficile d’en perturber les effets.

Risques et limites. La recherche en apprentissage automatique évolue rapidement, et il existe des risques inhérents à l’utilisation d’un outil comme Glaze.

• Les modifications apportées par Glaze sont plus visibles sur des œuvres avec des aplats de couleurs ou des arrière-plans lisses. La nouvelle mise à jour (Glaze 2.0) a considérablement amélioré cet aspect, mais nous continuons à chercher des moyens d’y remédier.
• Malheureusement, Glaze n’est pas une solution permanente contre le mimétisme par IA. Les systèmes comme Glaze doivent relever le défi de résister à de futures améliorations algorithmiques, ce qui pourrait rendre les œuvres précédemment protégées vulnérables. Glaze est donc une première étape essentielle pour la protection des artistes, en attendant des solutions plus durables (légales ou réglementaires).
• Malgré ces risques, nous avons conçu Glaze pour qu’il soit aussi robuste que possible et l’avons testé contre les systèmes et contre-mesures connus. Nous pensons que Glaze est l’outil le plus solide pour protéger les artistes contre le mimétisme de style, et nous continuerons à l’améliorer et à le mettre à jour face aux nouvelles attaques.
• Glaze est conçu pour protéger contre le mimétisme individualisé via l’affinage de modèles sur de nouveaux styles artistiques. Il est moins ou pas du tout efficace lorsque l’attaquant tente de reproduire un style déjà intégré dans les modèles de base comme SDXL ou SD3 (impressionnisme, Van Gogh, sous-genres populaires d’anime comme Genshin Impact).

Pourquoi Glaze ? Parce que nous avons mené des recherches sur l’apprentissage automatique adversarial, et cette opportunité pouvait avoir un impact positif important ; parce que, malgré les accusations de « cloisonnement » ou « d’élitisme », la grande majorité des artistes sont des créateurs indépendants, passionnés, et peinent à vivre de leur art ; et parce que les processus juridiques et réglementaires peuvent prendre des années, risquant d’arriver trop tard pour empêcher l’IA générative de détruire la communauté des artistes humains.

Nos objectifs. Nos principaux objectifs sont d’apprendre et de découvrir de nouvelles choses grâce à nos recherches, et d’avoir un impact positif sur le monde. Je (Ben) parle en mon nom (et probablement pour l’équipe) lorsque je dis que nous ne recherchons pas de profit. Il n’y a pas de modèle économique, d’abonnement, de frais cachés, ni de start-up. Nous avons rendu Glaze gratuit pour tous, mais pas open source, afin de compliquer les attaques adaptatives. Glaze est conçu pour fonctionner sans connexion réseau, ce qui signifie qu’aucune donnée (ou art) n’est envoyée à nous ou à qui que ce soit. La seule communication avec nos serveurs consiste en des vérifications périodiques pour des mises à jour logicielles.

WebGlaze. Depuis le déploiement initial de Glaze en mars 2023, nous avons compris que nous ne connaissions pas bien les méthodes de travail des artistes. Beaucoup travaillent principalement sur des appareils mobiles et n’ont pas accès à des ordinateurs puissants avec GPU. Nous avons reçu beaucoup de retours demandant un Glaze plus accessible. En août 2023, nous avons lancé WebGlaze, un service web gratuit que les artistes peuvent utiliser sur téléphone, tablette ou tout appareil avec un navigateur pour glacer leurs œuvres sur des serveurs GPU que nous finançons dans le cloud Amazon AWS. Comme le reste de Glaze, WebGlaze est financé par des subventions de recherche pour garantir sa gratuité.

Pour les utilisateurs de Mac, de PC plus anciens, de GPU non-Nvidia, ou de GPU Nvidia GTX 1660/1650/1550, ou pour ceux qui n’utilisent pas d’ordinateur, WebGlaze est la solution idéale. Ce service est et restera, pour l’avenir prévisible, uniquement accessible sur invitation. Tout artiste humain ne recourant pas à des outils d’IA générative peut obtenir une invitation gratuite en nous envoyant un message sur Twitter ou Instagram (@TheGlazeProject), ou un email (réponse plus lente). Une fois l’invitation reçue et un compte créé, il suffit d’aller sur WebGlaze pour glacer vos œuvres.

Pour en savoir, je vous invite à consulter le site officiel : https://glaze.cs.uchicago.edu/what-is-glaze.html