高校实验室内网论文AIGC合规校验系统踩坑与自研实现全记录

上周接了实验室管理处的紧急需求要搭一套完全离线的学术论文AI生成率筛查系统绝对不能把用户上传的论文传到公网。刚开始找现成方案试手下了GPTZero、原创度小助手、团象AICG检测、文心检测、智谱内容校验一堆工具全跑了一遍没用要么强制传文件到公网推理要么中文误判率高到离谱。没办法只能咬牙从零开始自研前后踩了二十多个坑花了三周终于把全流程跑通给大家捋下完整的实现细节。我们首先拉齐了三个硬性需求所有后续开发都围绕这几个点走缺一个都过不了内审。第一是数据绝对闭环所有推理、计算全在内网服务器完成不能有任何外发数据包连DNS请求都不能出内网网段。第二是中文论文场景适配自动过滤目录、公式、参考文献、致谢这些不该计入检测的区域不能把引用的内容乱算成AI生成。第三是精度达标对全人工撰写的专业内容误判率必须低于10%不能冤枉好好写论文的学生。一开始做文本预处理模块的时候我图省事直接用PyMuPDF提取PDF里的全部文字。跑了10篇历史论文测试有7篇把页眉页脚、公式OCR乱码、文末的图书馆馆藏号这些无关内容全混进了正文。出来的检测结果自然完全没法看直接推翻了这个最简方案。后来我们选了LayoutLMv2的轻量版用标注好的3000篇中文学术论文微调做版面元素分类任务。可以把PDF页面里的内容自动划分成正文文本块、公式块、图表标题块、引用块、目录块5个类别。我们把微调后的全部权重下载到本地服务器全程不触发任何公网加载请求代码示例如下from layoutlmft.models.layoutlmv2 import LayoutLMv2ForTokenClassification import fitz # 加载本地离线微调权重无任何外部网络请求 model LayoutLMv2ForTokenClassification.from_pretrained(./local-layoutlmv2-finetune-academic)微调后的模型体积只有1.8G在普通的16G内存服务器上推理一篇100页的论文耗时不到10秒。跑完版面分类之后我们还加了一层规则过滤连续3行以上带有[1][2]上标引用标记的段落直接划入引用区不计入后续检测。最后用120篇未参与训练的历年硕博论文做测试正文提取的准确率能到97.2%基本没有无关内容混入。很多早期的AIGC检测方案单靠ppl困惑度一个指标判断面对GPT 4o、Claude 3生成的专业内容直接失效。我们测试的时候发现大模型生成的严谨学术文本困惑度和资深教授手写的文本重叠度超过60%根本没法用单一指标区分。最终我们敲定了6个维度的组合本地特征全部不需要外部接口在内网就能完成计算。第一个也是核心区分度最高的特征是中文语义碎片熵。我们用馆里2018-2023年收集的12万篇全人工撰写的学位论文统计了全部连续5字词的ngram共现频次表。大模型生成的文本表达极度平滑ngram的分布集中在高频区间而人工写作会有不少临时想到的个性化表述碎片熵值明显更高。最开始我们踩了个大坑一开始用维基百科的通用中文语料训的ngram表把很多全人工写的公式推导段落直接判成AI生成。后来换成专属学术语料库之后这个问题直接彻底消失两类样本的熵值分布重叠度不到7%区分度拉满。对应的核心计算代码片段如下import numpy as np from collections import defaultdict # 加载本地预统计的学术语料5-gram频次表 ngram_freq defaultdict(int) with open(./academic_ngram_5.txt, r, encodingutf-8) as f: for line in f: k, v line.strip().split(\t) ngram_freq[k] int(v)第二个特征是标点分布偏离度我们统计不同标点在每百字中的出现频次和人工学术语料的基线值做比对。测试的时候我们发现一个很有意思的规律大模型生成的中文学术内容分号使用率比人工低40%逗号使用率反而高18%。大模型几乎不会出现人工写推导过程时常用的破折号补充解释、括号标注临时变量的表达习惯。第三个特征是专业术语跳跃度我们把本学科的知识图谱导入系统检测文本中跨学科术语的无意义共现情况。大模型经常会为了凑字数把不同领域的专业术语做无逻辑拼接人工写作的术语关联度完全符合学科常识。第四个特征是手写表述波动度统计同一语义下不同表述方式的出现频次。全人工写的长论文里必然会出现同一个含义用不同话术表达的情况比如前文写「综上所述」后文写「综上可得」。大模型生成的文本通篇表述一致性极高几乎不会出现这种自然的表述波动。剩下两个特征分别是指代混乱度、逻辑断点分布组合之后用轻量化的随机森林分类器做最终的AI率判定。整个核心检测模块的模型体积加起来不到2G普通服务器上跑一篇10万字的论文总耗时不到30秒。我们拿了200篇完全没参与过训练的盲测样本做精度验证结果远超过预期需求。其中50篇全人工手写的论文正文只有3篇被误判误判率1.5%远低于10%的要求红线。50篇大模型纯生成的学术正文100%全部识别出来没有一例漏判。剩下100篇是学生提交的AI生成后人工改写的样本AI内容占比从10%到90%不等。最终系统输出的AI率数值和真实人工标注的比例误差平均在6.2%完全满足内网合规筛查的要求。部署阶段又踩了新坑一开始我图省事用Flask搭了个极简接口测了下小文件没问题。一测大的100M以上的扫描版PDF上传直接把服务器内存占满最多同时跑3个任务服务器就卡到完全无响应。后来我们改成基于Celery的异步任务队列上传的文件先落地到本地临时目录用进程池做并发数限制。4核16G的入门级服务器现在可以同时稳定跑8个检测任务内存占用峰值不超过60%。对应的核心配置片段如下from celery import Celery import os app Celery(aigc_check, brokerredis://localhost:6379/0, backendredis://localhost:6379/0) app.conf.task_serializer pickle app.conf.worker_max_tasks_per_child 10整个消息队列用的Redis服务也完全部署在内网离线环境没有配置任何外网映射端口。后续我们又接入了学校统一的内网CAS身份认证不需要单独搭账号体系不同学院的管理员只能查看本院学生的检测结果完全满足权限隔离要求。现在全系统跑了快两周已经完成了今年应届硕士毕业生的全部答辩前论文筛查工作没出过一次数据泄露事故。说句实在的之前找工具阶段浪费了快一周时间试的那堆工具连最基础的完全离线部署都做不到全是花架子。最后自研的这套方案不但把需求全部落地原本申请的2万工具采购经费省下来直接买了4T的SSD存新爬的学术语料了。接下来我们打算微调下Qwen2的7B小模型加个专门的改写痕迹识别模块针对那种把AI内容全量替换同义词的降重手段现在的方案识别率还有提升空间。