上周帮运营组改他们用大模型生成的618活动复盘稿熬了俩小时改完提交公司合规系统直接被打回。 当时我第一反应就是手动改能降低AI率吗之前网上搜的野路子怎么一个都没用一开始我用的是网上流传最广的操作同义词替换把“基于”换成“本着”“优化”换成“调优”调整下主动句被动句的语序甚至把几个标点特意从半角改成全角。 算下来修改字数占总内容的30%我当时觉得怎么着也能把AI生成率拉到30%以下的合格线。 结果后台一跑直接出72%的AI生成率给我整得当场怀疑检测系统是不是故意针对我。后来我翻了之前存的AIGC检测相关的论文资料才发现我之前的操作全是在表皮使劲根本没碰到底层判定逻辑。 现在主流的商用AIGC检测工具根本不会傻傻匹配关键词替换的差异核心靠两个维度做判定语义Embedding的分布距离还有整段文本的平均困惑度。我自己用OpenAI的Embedding接口跑了个小测试就测我刚才说的那种仅换同义词的改写和原始AI文本的语义相似度import openai from sklearn.metrics.pairwise import cosine_similarity def get_embedding(text, modeltext-embedding-3-small): text text.replace(\n, ) return openai.Embedding.create(input [text], modelmodel)[data][0][embedding] # 原始AI生成文本的embedding ai_emb get_embedding(大语言模型通过预训练学习通用语义表示能够生成符合语法规则的通顺文本) # 仅换同义词改写后的文本embedding rewrite_emb get_embedding(大型语言模型经过预训练习得通用语义表征可以产出符合语法规范的通顺内容) print(cosine_similarity([ai_emb], [rewrite_emb])) # 输出结果[[0.96271848]]你看最后输出的余弦相似度高达96%在向量空间里这两句话几乎是叠在一起的。 等于说我改了半小时的换词操作在检测模型眼里等于啥都没干相当于把白T恤染成浅一点的白T恤还是白的。第二个维度的困惑度解释起来也很简单就是语言模型预判下一个词是什么的平均概率倒数。 AI生成内容的时候每一步都会选当下概率最高的词往外蹦整段内容的每一个词的出现概率都特别高平均下来困惑度就极低。 正常完全AI生成的1000字文本用开源的GPT2模型测出来的困惑度普遍在12-20之间。 而人类自己随便写的大白话因为经常会用一些跳脱的、不在最优路径上的词困惑度基本都在60以上。 我当时写了个小脚本批量测了下我改了俩小时的复盘稿平均困惑度才18.7几乎和纯AI生成的没差。 给大家也贴个可以直接跑的测困惑度的命令行脚本不用写复杂代码# 安装依赖包 pip install transformers torch # 读取本地文本文件计算平均困惑度 python -c from transformers import GPT2LMHeadModel, GPT2Tokenizer import torch tokenizer GPT2Tokenizer.from_pretrained(gpt2) model GPT2LMHeadModel.from_pretrained(gpt2) text open(test_target.txt, r).read() inputs tokenizer(text, return_tensorspt) loss model(inputs.input_ids, labelsinputs.input_ids).loss print(f当前文本困惑度{torch.exp(loss).item():.2f}) 到这我才反应过来我之前所有的手动修改操作既没有改变文本在向量空间里的分布位置也没有拉高整段的平均困惑度相当于无效劳动。仅动表层文字的手动改根本碰不到AI检测的核心判定逻辑我当时不信邪又试了好几种网上传的野方法调整段落顺序加几个无关的emoji故意写错一两个常用字甚至把几段话拆碎了重新拼接。 最后测出来的结果AI生成率最低也没下过65%纯纯浪费时间。后来我换了个思路完全抛开“改字”的思路从根上重构表达逻辑。 原来AI写的是“本次活动覆盖用户1200人整体满意度达94%达成预期目标”我根本不去换里面的词直接改成我自己真实的现场经历“活动当天我在签到处守了3小时10点刚到的时候排队直接堵到了电梯口最后数签到表实际到了1027个用户散场的时候有七八个同学拉着我问下一场活动的时间。” 这种内容全是只属于我自己的私有细节根本不可能出现在大模型的预训练语料里每一个词的组合都是低概率事件直接就能把整段的困惑度拉上去。我按照这个思路把整篇1500字的复盘稿全部顺了一遍全程没有刻意换一个同义词所有句子都是顺着我自己的说话逻辑重写的。 改写完之后我习惯性地丢到团象AI检测里跑一遍确认检测率降到阈值以下再往下走。最后出来的检测结果直接给到17%连我自己都没想到效果这么夸张我甚至拿去给公司的合规岗同事复核他们说这个稿子完全看不出来有AI生成的痕迹。之后我拉了个对照实验找了5篇AI生成的1000字技术文档分别用不同的手动修改模式处理最后测下来的结果完全推翻了我之前的认知。 第一个对照组仅做同义词替换修改占比30%最后平均AI检测率89%几乎和原文没差。 第二个对照组调整语序换同义词修改占比50%最后平均AI检测率76%还是在高风险区间。 第三个对照组完全重写每一句话的用词但严格保留AI原来的逻辑框架和表达顺序修改占比100%最后平均AI检测率42%只是刚摸到合格线边缘。 第四个对照组在第三个组的基础上每300字插入至少1处只有参与项目的人才知道的私人细节最后平均AI检测率19%全部达标。这里有个很少有人知道的细节哪怕你逐句用自己的话把AI的内容全翻译一遍只要你完全顺着AI给你的逻辑链路往下走你写出来的句子大概率还是大模型的高概率路径组合根本拉不动困惑度。 我之前踩坑的时候就干过这事把AI写的技术方案逐句念一遍用自己的话复述结果测出来困惑度还是只有29卡在合格线外面卡了半天。后来我试了个更省时间的法子直接对着AI的原文张嘴念用语音输入转成文字再顺一遍不通顺的地方。 这种方式出来的内容因为你说话的逻辑天生就和大模型的生成逻辑不一样很容易带出很多口语化的低概率表达测出来的困惑度比我手打重写平均还要高20%左右。最后再补几个最近踩出来的反常识坑很多人照着网上的攻略做反而踩了雷。 第一个千万别为了降AI率故意写错别字现在几乎所有商用检测模型都已经把无意义的错别字当成了对抗样本特征反而会给你打上高风险的标签误判率直接拉满。 第二个别随便往内容里加当下的网络热词这些热词在大模型的预训练语料里的权重特别高反而会把整段的平均困惑度往下拉起到反效果。 第三个不要大段删掉AI的内容之后东拼西凑这样会导致整段的语义突发性波动特别大检测模型扫一眼特征直接就能判定是拼接改写的内容。上周我把这套方法教给运营组的小姑娘她改了篇2000字的品牌推文前后花了不到40分钟测出来AI率14%直接过了合规系统。 最近我赶团队周报懒得自己从头写都是先让大模型搭个框架我顺着框架把这周干的杂七杂八的琐事往里一填最后出来的内容连我老板都夸我写得细节足。
