日新月异的AI技术以及其自我迭代的功能，使监管面临诸多挑战。有舆论认为，人们或能使用AI，对AI所生成的内容进行反向检测。

有中国人上个月底因人工智能（AI）“换脸变声”技术被骗走430万元（人民币，约81万新元），使AI技术的安全隐患引起关注，也反映了相关法律保护仍处于“真空地带”。

拉惹勒南国际研究院卓越国家安全研究中心高级研究员洪正君受访时指出，冒充骗局在AI之前早已存在，只不过AI技术使人们更难区分真伪。他说，作为情感动物，人们容易相信看得见、听得到的事物，而AI的深度合成技术颠覆了公众眼见为实的认知，使诈骗行为屡屡得逞。

新加坡管理大学计算与信息系统学院副教授朱飞达研判，这样的方案无法长期解决问题，因为AI“生成对抗网络”所具备的深度学习和相互对抗技术，意味着越先进的检测方法将会促使AI更好地生成以假乱真的内容，形成道高一尺、魔高一丈的现象。

朱飞达说，信任机制将使造假的成本代价变得更高，但也意味着中国网络空间的监督可能变得更严格。他说：“这其实也是见仁见智。因为有人觉得，如果你不认为自己发布的内容是假的，那其实也不必担心政府将你的身份和数据绑定在一起。”

他说：“不要以为别人被冒充对你没有影响。每一个假账户都是骗子可能犯罪的门路，你的朋友被冒充，意味着你们周边的人可能将成为诈骗犯的目标。”

至于民众该如何防范AI诈骗，受访专家均认为，人们应加强思辨能力、个人信息保护，以及对AI技术的认知。更重要的是，当人们接到涉及钱财的请求时，应进行多方查证，确保信息来源的可靠度。

为了规范AI的发展，中国政府自今年1月起规定，要求提供AI生成内容功能的服务，应当进行显著标识，避免公众混淆或者误认。国家互联网信息办公室今年4月也发布针对生成式AI技术的监管草案，其中提到禁止非法获取、披露、利用个人信息和隐私、商业秘密。

洪正君指出，人们实际可做的，就是在发现自己或亲友的身份在社交媒体上被盗用时，立刻进行举报。

付成晨认为，现有中国法律对AI生成内容的立法仍然处于“真空地带”，显然与AI的迅速发展现状有所脱节。他说，法律永远处在追赶新世界的道路上，立法更新将有助于把AI的副作用降到最低，让该技术可持续发展。

洪正君建议，当局可对滥用AI的不法分子实施更严厉的处罚。他说：“AI就像是一把刀，它的存在和使用并不违法；但如果你用它来犯罪，你就应该受到额外的惩罚。”

受访专家认为，AI的出现颠覆了公众眼见为实的认知，而当局可在数据源头建立一套信任机制，从根本解决以假乱真的问题。

湖北今天律师事务所资深刑事律师付成晨接受《联合早报》访问时估计，目前市面上的AI诈骗约九成是通过AI换脸冒充亲友进行。此外，还有人用该技术“造黄谣”，生成淫秽的图像视频进行勒索敲诈，或传播这些内容牟利。

内蒙古警方今年5月披露一起AI诈骗案，骗子通过深度伪造（deepfake）AI技术“换脸变声”，冒充成他人和受害人进行视频通话；博得对方信任后，在短短10分钟内骗走430万元。

与其对虚假内容进行监测和预防，朱飞达建议在生成AI内容的源头建立一套信任机制。他解释，产生内容的主体仍旧是一个人，如果能把这套机制与个人身份和他所生产的数据进行绑定，将能从根本上更好地抑制产生虚假内容的动机，并允许执法者更精确地追溯造假内容的来源。

中国多地警方过去两周接连在官方社交媒体发布警示，指有犯罪分子利用AI技术生成具有欺骗性的内容，以假乱真进行犯罪活动。

深度伪造AI技术前几年已开始盛行，但在过去一年取得快速进展，并通过与其他生成式AI技术（如语音合成器和大型语言模型）的结合，使其生成的内容更加逼真。

他说，这些活动都可构成犯罪行为，“只要你用AI进行犯罪，中国刑法里的483条罪名，总有一条会符合”。

（记者是《联合早报》深圳特派员）