这款名为Nightshade的工具会破坏训练数据，可能对图像生成AI模型造成严重损害。这一新工具让艺术家在上传作品到网络前对其像素进行不可见的改动，以致这些作品一旦被纳入AI训练集，就可能导致生成的模型以混乱且不可预测的方式崩溃。Nightshade旨在作为艺术家对抗未经创作者许可即使用其作品训练模型的AI公司的一种方式。使用这种工具“投毒”训练数据可能会损害如DALL-E、Midjourney和Stable Diffusion等图像生成AI模型的未来迭代，使部分输出变得无用——例如狗变成猫，汽车变成牛等。
OpenAI、Meta、Google和Stability AI等AI公司面临着众多艺术家提起的诉讼，他们声称自己的受版权保护的材料和个人信息被未经同意或补偿地擅自刮取。芝加哥大学的教授Ben Zhao领导了创造Nightshade的团队，他表示希望这能帮助将权力平衡从AI公司转回艺术家，创建一个强大的威慑力，防止对艺术家版权和知识产权的不尊重。Meta、Google、Stability AI和OpenAI未对MIT科技评论关于他们可能如何回应的请求发表评论。
Ben Zhao的团队还开发了名为Glaze的工具，允许艺术家“掩盖”他们自己的个人风格，以防止被AI公司刮取。它的工作方式与Nightshade类似：通过以人眼难以察觉的方式改变图像像素，操纵机器学习模型将图像解释为与实际显示不同的内容。该团队计划将Nightshade整合进Glaze，艺术家可以选择是否使用这个数据投毒工具。团队也打算将Nightshade开源，这将允许其他人对其进行修改并制作自己的版本。Ben Zhao表示，使用它的人数越多，其版本越多，工具就越强大。大型AI模型的数据集可能包含数十亿图像，因此被刮取到模型中的投毒图像越多，这种技术造成的破坏就越大。
有针对性的攻击 Nightshade利用了生成式AI模型的一个安全漏洞，即它们是在大量数据上训练的——在这种情况下，是从互联网吸取的图像。Nightshade搅乱了这些图像。
那些希望在线上传作品但不希望其图像被AI公司刮取的艺术家可以将作品上传至Glaze，并选择以与他们不同的艺术风格进行掩盖。然后，他们还可以选择使用Nightshade。一旦AI开发者刮取互联网以获取更多数据以调整现有AI模型或构建新模型，这些投毒样本就会进入模型的数据集并导致其发生故障。投毒数据样本可以操纵模型学习，例如，将帽子的图像解释为蛋糕，将手提包的图像解释为烤面包机。投毒数据很难清除，因为这需要科技公司费力地找出并删除每一个损坏的样本。
研究人员在Stable Diffusion的最新模型上测试了这种攻击，并在他们自己从头训练的AI模型上进行了测试。当他们向Stable Diffusion提供了仅50张投毒的狗图像，然后提示它自己创建狗的图像时，输出开始显得奇怪——有太多肢体和卡通脸的生物。使用300个投毒样本，攻击者可以操纵Stable Diffusion生成的狗图像看起来像猫。生成式AI模型擅长在词语之间建立联系，这有助于毒素传播。Nightshade不仅感染了“狗”这个词，还感染了所有类似的概念，如“小狗”、“哈士奇”和“狼”。毒药攻击也适用于与之间接相关的图像。例如，如果该模型刮取了用于提示“幻想艺术”的投毒图像，“龙”和“《魔戒》中的城堡”等提示同样会被操纵为其他东西。
Ben Zhao承认，人们可能会滥用数据投毒技术进行恶意用途。然而，他说攻击者需要成千上万的投毒样本才能对更大、更强大的模型造成实质性损害，因为它们是在数十亿数据样本上训练的。
“我们还不知道对这些攻击的强大防御。我们还没有在野外看到现代[机器学习]模型的投毒攻击，但这可能只是时间问题，”康奈尔大学的教授Vitaly Shmatikov说，他研究AI模型安全但没有参与这项研究。“现在是研究防御的时候了，”Shmatikov补充道。
滑铁卢大学的助理教授Gautam Kamath研究AI模型中的数据隐私和鲁棒性，他没有参与这项研究，但表示这项工作是“非常棒的”。Kamath表示，这项研究表明，这些新模型的漏洞“并不会神奇地消失，事实上只会变得更加严重。”他说：“这在这些模型变得更加强大，人们对它们的信任更高的情况下尤其如此，因为随着时间的推移，赌注只会越来越高。”
强大的威慑力
哥伦比亚大学的计算机科学教授Junfeng Yang研究过深度学习系统的安全性，他没有参与这项工作，但表示如果Nightshade能让AI公司更尊重艺术家的权利——例如，更愿意支付版税，那么它可能会产生巨大影响。
开发了生成式文本到图像模型的AI公司，如Stability AI和OpenAI，已提出让艺术家选择退出，不将他们的图像用于训练模型的未来版本。但艺术家表示这还不够。使用过Glaze的插画家和艺术家Eva Toorenent说，退出政策要求艺术家跳过许多环节，但仍然让科技公司拥有所有权力。
Toorenent希望Nightshade能改变现状。她说：“这会让AI公司三思而后行，因为他们有可能因为未经我们同意使用我们的作品而破坏整个模型。”
另一位艺术家Autumn Beverly表示，像Nightshade和Glaze这样的工具让她重新获得了在网上发布作品的信心。此前，在发现自己的作品未经同意就被刮取到了流行的LAION图像数据库后，她将其从互联网上撤下。她说：“我真的很感激我们有这样一个工具，能帮助艺术家重新掌控自己作品的权力。”
