如果您相信在互联网上看到的内容，您可能会认为拜登总统号召全国征兵，并将挑选男女参加乌克兰战争。但这其实是一个恶意 deepfake 视频制作者编造的谎言。
恶意行为者正在利用人工智能制作冒充政客、名人和知名人士的视频。至少，我们会看到一些听起来像是美国总统在一起玩 Minecraft 的愚蠢而明显的伪造视频，但在最坏的情况下，这种技术可能会对国家安全构成真正的威胁。
AI想象一下，如果拜登宣布启动《选择性服务法案》，并开始召集20多岁的年轻人参战，会发生什么pic.twitter.com/896Htrtteu
– The Post Millennial (@TP PostMillennial) 2023年2月27日
。
2018年，喜剧演员出身的奥斯卡影帝乔丹-皮尔（Jordan Peele）以首批病毒式传播的深度伪造视频的形式向公众发出警告。视频显示，巴拉克-奥巴马说出了远远超出其典型话语的短语，其中包括出人意料的 “保持清醒，婊子们！”
耶鲁大学毕业生里朱尔-古普塔（Rijul Gupta）看到这段视频后，立即被人工智能的力量所震撼。他在最近接受 TCN 采访时回忆说，无尽的可能性开始在他脑海中涌现，有积极的，也有消极的，他意识到世界需要一家有 “道德骨干 “的公司来关注这一领域。
因此，他和耶鲁大学的毕业生、语言学专家埃玛-布朗（Emma Brown）创办了 DeepMedia 公司，致力于揭露深度造假技术。
DeepMedia有两款产品：人工智能翻译和配音服务DubSync和深度伪造检测服务DeepIdentify.AI。后者是他们的主要产品，因此最近与美国国防部（DOD）签订了一份为期三年、价值 2500 万美元的合同，还与盟军签订了其他未公开的合同。
“古普塔告诉 TCN：”我们从第一天起就知道，我们希望与国内外政府合作，[以及]与联合国等大型可信机构合作，我们现在是联合国的合作伙伴。”[我们想]帮助确保–自上而下和自下而上–道德规范被纳入人工智能的骨干。”
古普塔说，DeepMedia 最初是由美国国防部引进的，目的是培训该部门如何利用技术进行欺诈和制造政治误导。从那时起，DeepMedia 签署了更多合同，比如与美国空军签署合同，将其技术用于帮助 “确保美国和国际公民的安全”。
它是如何工作的？
DeepIdentity.AI 会对照片或视频进行审查，寻找不一致或不准确之处，以表明该图像或视频存在严重的伪造问题。常见的迹象包括嘴巴不自然地颤抖或出现物理上不可能出现的阴影等。
“DeepMedia 首席运营官艾玛-布朗（Emma Brown）告诉 TCN：”我们可以追踪面部在现实中的外观和移动方式，然后绘制成地图。”我们可以确定什么是正常的面部运动”。
她解释说，一张照片可以在五秒钟内处理完毕，而一段两分钟的视频将在五分钟内得到 “端到端的全面处理，包括对人脸、声音[和]亮点的详细分析”。最终用户随后将收到有关检测到多少操纵行为以及操纵行为在视频或图像中的位置的信息。
“还记得病毒式传播的假教皇吗？我们能够验证其中哪些部分是真的教皇，哪些是假的，”布朗说。”有些事情在现实生活中根本不可能发生。这些都在阴影和角度方面引起了我们探测器的警觉。
她称，得益于大量的训练数据，该模型的检测准确率 “超过 95%”。当然，DeepMedia 探索的是网上发现的深度人工智能假货，但其数据集真正出众的地方在于与翻译和配音服务 DubSync 的互动。
“我们的 DubSync 平台本质上是一个深度假货生成器。我们需要创建一个生成器来了解什么是好的深度伪造，”布朗解释道。”这就是我们的深度赝品检测的动力。”
布朗称，DubSync的deepfake生成器 “比其他人领先6到12个月”，以确保公司拥有最新的训练数据。这样做是为了防止不良分子制造出比人工智能所能检测到的更先进的深度假货。但保持这种领先是一场持久战。
“这当然是一场猫捉老鼠的游戏。布朗说：”从真正意义上讲，任何假装不在这个领域的人都不是这个领域的人。”我们相信，我们能够不断地发现，尤其是通过我们的持续研究和生成方面的工作。
虽然 DeepIdentify 可通过 DeepMedia 的 API 和其他软件包使用，但当政府和金融机构与公司签订合同时，他们需要更高级的功能。
“我们有现有的缺陷检测工具，但美国政府、国防部–这些都是世界上最优秀的人才。他们需要的不仅是世界上最好的，而且要超越世界上最好的，”古普塔解释说。”[我们]实际上正在进行新的研究，并提出新的工具和新的解决方案。
我们为什么要关心？
在目前的状态下，deepfake 技术最著名的是无聊的模仿视频、不切实际的总统模仿和有害的假色情。但这种技术也可用于制造国家间的真实紧张局势，可能导致人员伤亡、恐怖袭击和其他有害或破坏性反应。
“美国国家安全律师兼地缘政治分析师伊琳娜-祖克曼（Irina Zuckerman）告诉 TCN：”深度伪造可以作为影响战争进程的信息行动的一部分，例如 2022 年 3 月发布的深度伪造事件，乌克兰总统泽连斯基似乎在该事件中命令他的部队投降。”他否认了那段视频的真实性，并提供了证据，那段视频做得不是特别好–但未来的视频可能会做得很好。
2024年美国大选在即，深度伪造技术是可能影响投票的最新问题–就像2018年的剑桥分析丑闻一样。
“祖克曼解释说：”国家反对派或出于政治动机的个人可能会发布篡改过的视频，让民选官员或其他公众人物发表煽动性言论或做出不当行为。”此类事件会破坏公众信任，对公共话语产生负面影响，制造分裂，并可能被用来影响选举或其他关键决策过程。”
干扰可能没那么简单。事实上，深刻的伪造可能被用来否认现实，并试图反驳事实信息和事件。
“还有可能出现’虚假红利’的问题，这是一种虚假信息的形式，可以利用深度造假来否认原始内容的真实性，制造进一步的混淆视听，损害安全问题，诋毁友好的美国消息来源和资产、分析师、盟国政府甚至官员，”祖克曼说。
正是因为这种对国家安全的威胁，该公司表示正在与美国国防部生态系统、欧洲和亚洲的盟国和伙伴国以及一家未具名的 “非常大的社交媒体公司 “合作，帮助检测流传甚广的假新闻。
仅在去年，生成式人工智能技术和工具就得到了快速发展。随着深度伪造技术的发展，用肉眼识别欺诈视频肯定会变得更加困难，而这正是 DeepMedia 这样的检测公司旨在帮助人们确保安全和知情的地方。
