辨认「ChatGPT 造假」，结果逾越 OpenAI：北大、华为的 AI 天生检测器来了

丁大婶吉祥

呆板之心专栏
呆板之心编辑部
AI 造假的乐成率很高，前几天「10 分钟骗 430 万」还上了热搜。在最热门的大语言模子上，研究职员近来探索了一种辨认方法。
随着天生式大模子的不停进步，它们天生的语料正渐渐迫近人类。固然大模子正在解放无数文书的双手，它以假乱真的强劲本领也为一些非法分子所使用，造成了一系列社会题目：





来自北大、华为的研究者们提出了一种辨认各式 AI 天生语料的可靠文本检测器。根据是非文本的差别特性，提出了一种基于 PU 学习的多标准 AI 天生文本检测器练习方法。通过对检测器练习过程的改进，在划一条件下能取得在长、短 ChatGPT 语料上检测本领的可观提拔，办理了现在检测器对于短文本辨认精度低的痛点。



论文地点：https://arxiv.org/abs/2305.18149
代码地点 ( MindSpore ) ：https://github.com/mindspore-lab/mindone/tree/master/examples/detect_chatgpt
代码地点 ( PyTorch ) ：https://github.com/YuchuanTian/AIGC_text_detector
弁言
随着大语言模子的天生结果越发传神，各行各业急迫必要一款可靠的 AI 天生文本检测器。然而，差别行业对检测语料的要求差别，比方在学术界，广泛必要对大段完备的学术文本举行检测；在交际平台上，必要对相对简短而较为支离破裂的假消息举行检测。然而，既有检测器每每无法分身各式需求。比方，主流的一些 AI 文本检测器对较短的语料猜测本领广泛较差。
对于差别长度语料的差别检测结果，作者观察到较短的 AI 天生文本大概存在着一部门归属上的「不确定性」；大概更直白地说，由于一些 AI 天生短句同时也经常被人类利用，因而很难界定 AI 天生的短文本是否来自于人或 AI。这里枚举了几个人和 AI 分别对同一题目做出答复的例子：



由这些例子可见，很难对 AI 天生的简短答复举行辨认：这类语料与人的区别过小，很难严酷判定其真实属性。因此，将短文本简朴标注为人类 / AI 并按照传统的二分类题目举行文本检测是不符合的。
针对这个题目，本研究将人类 / AI 的二分类检测部门转化为了一个部门 PU（Positive-Unlabeled）学习题目，即在较短的句子中，人的语言为正类（Positive），呆板语言为无标志类（Unlabeled），以此对练习的丧失函数举行了改进。此改进可观地提拔了检测器在各式语料上的分类结果。
算法细节
在传统的 PU 学习设定下，一个二分类模子只能根据正练习样本和无标志练习样本举行学习。一个常用的 PU 学习方法是通过订定 PU loss 来估计负样本对应的二分类丧失：
此中，表现正样本与正标签盘算的二分类丧失；表现将无标志样本全部假定为负标签盘算的二分类丧失；表现将正样本假定为负标签盘算的二分类丧失；表现的是先验正样本概率，即正样本在全部 PU 样本中的预估占比。在传统的 PU 学习中，通常将先验设置为一个固定的超参数。然而在文本检测的场景中，检测器必要处置惩罚各式长度差别的文本；而对于差别长度的文本而言，其正样本在全部和该样本雷同长度的 PU 样本中的预估占比也是差别的。因此，本研究对 PU Loss 举行了改进，提出了长度敏感的多标准 PU（MPU）loss 丧失函数。
详细地，本研究提出了一个抽象的循环模子对较短文本检测举行建模。传统的 NLP 模子在处置惩罚序列时，通常是一个马尔可夫链的布局，如 RNN、LSTM 等。此类循环模子的这个过程通常可以明白为一个渐渐迭代的过程，即每个 token 输出的猜测，都是由上一个 token 及之前序列的猜测效果和该 token 的猜测效果颠末变更、融合得到的。即以下过程：
为了根据这个抽象的模子举行先验概率的估计，必要假定该模子的输出为某个句子为正类（Positive）的置信度，即判断为人说出的样本的概率。假设每个 token 的贡献巨细为句子 token 长度的反比，黑白正（Positive）即无标志（Unlabeled）的，且为无标志的概率远宏大于为正的概率。由于随着大模子的词汇量渐渐迫近人类，绝大部门词汇会同时出如今 AI 和人类语料中。根据这个简化后的模子和设定好的正 token 概率，通过求出差别输入环境下模子输出置信度的总盼望，来得到终极的先验估计。



通过理论推导和实行，估计得到先验概率随着文本长度的上升而上升，终极渐渐稳固。这种征象也符合预期，由于随着文本变长，检测器可以捕获的信息更多，文本的 「泉源不确定性」也渐渐削弱：
之后，对于每个正样本，根据其样本长度得到的独特先验对 PU loss 举行盘算。末了，由于较短文本仅有部门 " 不确定性 "（即较短文本也会含有一些人大概 AI 的文本特性），可以对二分类 loss 和 MPU loss 举行加权相加，作为终极的优化目的：
别的必要留意的是，MPU loss 适配的是长度较为多样的练习语料。倘若既有的练习数据单质化显着，大部门语料为大段冗长的文本，则无法全面发挥 MPU 方法的功效。为了使得练习语料的长度更多样化，本研究还引入了一个在句子层面举行多标准化的模块。该模块随机遮掩练习语料中的部门句子，并对余下句子在保存原有次序的条件下举行重组。颠末练习语料的多标准化操纵，练习文本得到了长度上的极大丰富，从而充实使用了 PU 学习举行 AI 文本检测器练习。
实行效果



如上表所示，作者先在较短的 AI 天生语料数据集 Tweep-Fake 上查验 MPU loss 的结果。该数据会合的语料均为推特上较为短小的语段。作者又在传统的语言模子微调底子大将传统二分类 loss 更换为含有 MPU loss 的优化目的。改进之后的语言模子检测器结果较为突出，凌驾了别的基线算法。



作者又对 chatGPT 天生文本举行了检测，颠末传统微调得到的语言模子检测器在短句上体现较差；颠末 MPU 方式在划一条件下练习得到的检测器在短句上体现精良，且同时可以或许在完备语料上取得可观的结果提拔，F1-score 提拔了 1%，逾越了 OpenAI 和 DetectGPT 等 SOTA 算法。



如上表所示，作者在溶解实行中观察了每个部门带来的结果增益。MPU loss 增强了长、短语料的分类结果。



作者还对比了传统 PU 和 Multiscale PU（MPU）。由上表可见 MPU 结果更胜一筹，能更好地适配 AI 多标准文本检测的使命。
总结
作者通过提出基于多标准 PU 学习的方案，办理了文本检测器对于短句辨认的困难，随着将来 AIGC 天生模子的泛滥，对于这类内容的检测将会越来越紧张。这项研究在 AI 文本检测的题目上迈出了坚固的一步，盼望将来会有更多雷同的研究，把 AIGC 内容举行更好的管控，防止 AI 天生内容的滥用。
THE END
转载请接洽本公众号得到授权
投稿或寻求报道：content@jiqizhixin.com