人工智能是一把双刃剑，它带来的不仅仅是便利，还有不断增强的安全威胁。越来越多成熟的人工智能技术被用于虚假信息活动。深度伪造视频、音频、图像、生成文本被不法分子滥用。

深度伪造（Deepfakes）是深度学习（Deep Learning）与伪造（Fake）二者的组合词，出现于人工智能和机器学习技术时代。一开始专指用基于人工智能尤其是深度学习的人像合成技术。随着技术的进步，深度伪造技术已经发展为包括视频伪造、声音伪造、文本伪造和微表情合成等多模态视频欺骗技术。

深度伪造内容主要分为四种：深度伪造视频；深度伪造声音克隆；深度伪造图像；深度伪造生成文本

深度伪造视频

是通过生成对抗网络（GAN）技术，可以合成或修改视频中的人脸、表情、身体动作等。不过目前，高度逼真的深度伪造视频需要大量的高端计算资源、时间、金钱和技巧。对于电脑CPU 的要求也非常高，开发人员还需要一帧一帧地检查合成视频中是否有被怀疑的标志，比如眼睛眨的频率等。但是随着时间的推移，创建深度伪造视频会变得越来越便宜，所需的训练时间也会越来越少。视频质量也会越来越逼真，难以被分辨和检测。

2022年6月，FBI发布了一则公告，揭露了有人利用Deepfake技术，在远程应聘中假扮成他人的情况。

声音克隆是深度伪造应用的另一个方向，相比视频则应用更加广泛，当前就已经有许多在线网站和手机应用可以提供变声的服务。

2021年底，国内一段以“搞钱万能论”为主题的视频在网络上疯狂传播。乍一看，这段言论的“发表者”竟然是新东方教育科技集团的董事长俞敏洪先生。但是随后，俞敏洪先生就通过其个人社交帐号发布了辟谣视频，他表示搞钱视频里的话没有一句是自己说的。

这段视频后来被证实是通过语音合成技术生成的。

深度伪造图像

相比深度伪造视频，合成深度伪造图像的成本更低。深度伪造图像一般以人脸图片为主，看起来非常逼真，目前就有网站可以生成逼真的本不存在的人脸图片。

深度伪造生成文本

通过使用自然语言模型，人工智能还可以生成文本。2020年9月，Guardian就使用OpenAI开发的GPT-3生成了一篇文章。此外，GPT-3机器人还被用于在Reddit社区发帖超过1周时间，平均每分钟发1个帖。

有专家对此表示担忧，文本生成程序可能会被外国对手利用来规模化生成基于文本的宣传材料。对手也可能使用深度伪造文本生成技术就特定主题大规模生成虚假新闻，应用于信息战中。

深度伪造不同于以往相对简单的PS图像篡改或是其他的视频、音频篡改技术，而是基于训练样本进行人工智能的深度学习。样本数据越多，计算机对目标对象的模拟越真实，最后达到以假乱真的地步。深度伪造还结合目标对象的脸型、语音、微表情、笔迹等生物特征进行综合学习，这是以往任何伪造技术所不能比拟的。

因此，此项技术如果任由其发展，会引发很多的社会问题。

首先，深度伪造内容可被用于加剧社会分裂。深度伪造技术结合社交网络的涟漪效应，可以带来大规模的以讹传讹式扩散，达到信息作战目标。在澳大利亚战略政策研究所《深度伪造技术武器化》报告中详细阐述了舆论攻防网络信息作战方面，借助于深度伪造技术，特别是文本生成工具的改进，可让人类“放手不管”，能以更快、更经济的方式生成“足够好”内容。此外，基于文本的深度伪造技术可实现自动评论，不但显著降低操作所需的技巧、时间，还使在线宣传成本降低，从而降低开展大规模网络信息战的成本，并扩大参与者的范围。

其次，深度伪造内容有可能会降低民众对政府机构的信任。例如，目前大多数伪造内容都是针对名人政客的，如果在伪造逼真的政府官员视频中加入暴力、种族歧视等内容就会大大降低人们对政府机构的信任。

再次，基于深度伪造技术的新型AI网络攻击

再次，基于深度伪造技术的新型AI网络攻击会更加猖獗。深度伪造音频是最先进的新型人工智能（AI）网络攻击形式之一，黑客借助其音频生成技术冒充高级管理人员，形成了一种强大的新工具来增强其企业电子邮件泄露（BEC）攻击。

而防止这种攻击的现有技术手段目前实施起来很昂贵，解决它的一种可能性是使用认证系统进行组织间呼叫，另一个是使用区块链技术和IP语音（VoIP）呼叫来验证呼叫者。