《大话文渊慧典》：外三篇-从北美到台北：全世界都在抢救古籍，用的却都是“别人家的轮子”

——大胖老师“二黑你在哈佛待了半年他们古籍OCR用的什么引擎”——二黑“说出来你可能不信是谷歌图书的通用OCR。”——大胖老师“……谷歌图书就是那个把‘Google’翻译成‘谷歌’的谷歌”——二黑“对。就是那个把竖排繁体当横排简体扫的谷歌。”——小菜“等会儿哈佛那么有钱怎么还用别人的轮子”——二黑推了推眼镜“这个问题我从波士顿想到北京最后得出了一个结论——全世界搞古籍数字化的都在开别人的车。只是有些车挂着奔驰标里面装的却是拖拉机的发动机。”一、二黑的“轮子理论”二黑从哈佛回来以后带回了整整一个硬盘的资料还有一套被他称为“轮子理论”的分析框架。这套理论后来成了实验室的“圣经”之一被小菜打印出来贴在白板旁边标题是《论全世界古籍数字化项目为什么都在用别人家的轮子》。二黑的理论其实很简单。他画了一个2×2的矩阵横轴是“OCR引擎来源”自研还是外购/借用纵轴是“针对古籍优化程度”通用还是专训。然后把全球各大古籍数字化项目往里一填结果触目惊心哈佛燕京谷歌图书OCR外购通用后来自己打了些补丁但底层没变。欧洲数字图书馆Tesseract为主开源通用拉丁文还行中文全仗着量大出奇迹——量大了错误也多了去了。日本NDL自研了一部分但核心架构是基于开源框架改的日文优化很好中文一塌糊涂。台北故宫/中研院自研的清代奏折OCR专训程度最高但完全封闭不对外。中国大陆各大馆早期用过汉王、清华紫光后来换过各种商业方案近年开始用PaddleOCR——但大多是直接拿通用模型用没做深度适配。“看见没”二黑指着这个矩阵“除了台北中研院那套不公开的系统全球所有大型古籍数字化项目用的全是‘别人家的轮子’。有些轮子是好轮子——比如PaddleOCR的中文模型本身就很强——但再好也是通用轮子。古籍是一辆三百年历史的老爷车你给它装一个特斯拉的轮子跑是能跑但过弯的时候肯定飘。”大胖老师点头补充“二黑说的对。古籍OCR需要的不只是能认字的轮子是需要专门针对竖排、繁体、异体、夹注做过适配的整套悬挂系统。通用OCR只给你轮子不给你悬挂。所以全世界的古籍项目都在用别人家的轮子然后自己吭哧吭哧地调悬挂。调得好的是少数大多数是凑合着开开到哪儿算哪儿。”二、哈佛的“轮子”谷歌图书留下的后遗症二黑打开他的硬盘翻出一份他在哈佛交换时做的技术调研。那是他花了两周时间到处找内部文档、跟工程师聊天、甚至翻了一些陈年的项目结题报告才拼凑出来的“哈佛古籍OCR技术演进史”。“故事要从2004年说起。”二黑开始讲“那年谷歌启动了‘谷歌图书’计划号称要把全世界的书都扫完。哈佛是第一批合作馆之一把大量馆藏——包括中文古籍——交给了谷歌。谷歌用他们的定制扫描仪批量扫描然后跑他们的通用OCR引擎。这个引擎是怎么设计的呢它最初的假想对象是英文印刷书横排、拉丁字母、标准字体。中文是后来加的模块但也仅限于现代简体横排。古籍的竖排繁体完全不在它的设计目标里。”“但书已经扫了数据已经跑了一遍OCR生成了文字层。哈佛后来也知道识别质量不行怎么办呢他们不是没尝试过换引擎。2014年前后内部做过一次评估想把中文古籍那部分用新的OCR引擎重新跑一遍。但一算账吓回去了——几十万册书原始扫描文件好几PB重新跑一遍的算力成本、人力成本、加上后续重新校对和发布预算超过三百万美元。这个数字即使对哈佛也不是小数目。而且当时市面上也没有成熟的中文古籍OCR引擎换了也不保证好多少。于是继续将就用谷歌的老轮子一直到现在。”小菜听到这儿忍不住插嘴“这不是跟我们有的图书馆一样吗第一批数字化用了不靠谱的方案后面想改也改不动只能硬着头皮继续用。”二黑点头“这就是典型的‘技术债’。起步早不全是优势起步早意味着你被锁死在早期不够成熟的技术上后期升级成本巨大。我们起步晚反而可以绕过这个坑直接用最新最好的技术。这是后发优势跟中国移动支付直接跳过信用卡阶段一个道理。”三、欧洲的“轮子”Tesseract一台运转了四十年的老爷车二黑又翻开另一页PPT上面画着一台蒸汽机车的示意图旁边写着“Tesseract”。小菜笑了“你这比喻也太损了吧。”“损归损但一点没冤枉它。”二黑一本正经地说“Tesseract最初是1985年惠普实验室的一个项目后来开源了谷歌接手维护。你可以把它理解成OCR界的老爷车——经典、稳定、社区庞大但架构是上世纪设计的。它的中文支持尤其是竖排繁体准确率就别指望了。但欧洲的数字图书馆们偏偏就爱用它因为它是开源的拉丁文识别效果好而且整个欧洲的学术圈都习惯了跟Tesseract打交道。”“2021年我在德国参加一个数字人文的会有个荷兰的团队展示他们用Tesseract处理中文古籍的成果。你猜他们怎么解决的竖排问题他们把整个页面切成单个字块每个字单独旋转90度再一个个喂给Tesseract最后再拼回去。效果嘛怎么说呢——能出结果但错得花样百出。”二黑模仿那位荷兰学者的语调“‘我们正在improve但Chinese characters实在是太complex了。’”大胖老师哈哈大笑“老外搞中文古籍就像咱们搞拉丁文手稿——态度没得说但先天不足。文字系统的壁垒是最难跨越的。汉字不是字母竖排不是横排古籍不是现代印刷品这中间的沟不是靠热情能填平的。”二黑补充“而且欧洲还有一个问题——他们的数字化标准定得太细太死了。METS、ALTO、TEI这些标准文档叠起来比我博士论文还厚。好处是跨国互操作极强坏处是等你把元数据标准讨论清楚十年过去了书都烂完了。相比之下我们的‘先上车再买票’思路——先扫出来、先认出来、先用起来格式不完美以后再说——其实更务实。”四、日本的“轮子”把别人的车改装成自己的日本国立国会图书馆的“NDL OCR”是二黑重点分析过的一个案例。他在白板上画了一条时间线“2015年日本国立国会图书馆启动大规模古籍数字化。他们一开始也是用别人的轮子——基于开源OCR框架做二次开发。但日本人有一个特点改装能力极强。他们把别人的车拆了换了发动机换了悬挂连内饰都重新包了一遍。到2021年NDL OCR对江户时代刻本的手写体识别率已经做到了90%以上变体假名都能认这在当时是全球领先的水平。”小菜问“那他们这算不算已经解决了古籍OCR问题”二黑摇头“只解决了一半。他们的优化是针对日文古籍的。日文汉字和中文汉字有很多交叉但也有大量不同的异体字、俗字。比如‘國’字日本常用的是‘国’中国古籍里有‘國’‘囯’‘囻’‘囶’等十几种写法。日本模型没见过这些会直接跳过或者输出假名。更关键的是中文古籍里有大量避讳缺笔字——康熙缺‘玄’乾隆缺‘弘’这些日本古籍里几乎不会出现。日本模型自然也没见过遇到‘玄’字缺最后一点它会以为是墨迹瑕疵直接忽略。”大胖老师接过话头“所以日本的方案给我们最大的启示是改装别人的轮子是可行的但只改一半不行。他们改完了日文的部分中文没改所以我们没法直接用。我们要做的是把他们改装的思路学过来——基于开源引擎针对中文古籍的特点做深度适配——但把优化的方向从日文换成中文。他们有他们的鱼生刀我们有我们的剁骨刀刃口方向不一样。”五、台北故宫/中研院那套神龙见首不见尾的“自研轮子”“最后说说台北中研院的那套清代奏折OCR。”二黑的表情变得有些复杂“这是我调研过的最神秘的一套系统。效果好到什么程度呢据看过演示的同行说清代奏折的馆阁体准确率95%以上。印章能自动提取批红皇帝的红笔批注能跟正文分开识别甚至能根据笔迹判断是哪位军机大臣代笔的。堪称古籍OCR界的劳斯莱斯。”小菜听得眼睛发直“这不就是我们的理想状态吗能不能买过来用”二黑苦笑了一声“买不到也不开源也不提供API接口。我跟他们的人聊过他们态度很客气但核心就一句话‘这是我们内部使用的系统没有对外授权的计划。’而且就算他们愿意授权费用怎么算那套系统是花了十几年、投入了不知道多少研究经费慢慢打磨出来的真要算成本估计不比商业专业厂商便宜。而且他们的系统是针对清代奏折这一个特定门类深度定制的。馆阁体是一种非常工整的官方楷书跟民间契约的潦草字、明刻本的古拙匠体字完全是两回事。专车专用但不够通用。”大胖老师拍了拍桌子“所以你们看到了吧。全世界不是没有好方案而是好方案要么太贵专业厂商八十万要么太封闭台北中研院不公开要么不对口日本方案只认日文要么太老哈佛还在用二十年前的谷歌OCR。这格局像极了一群人在沙漠里开车——每个人都开着自己的车有的快有的慢但用的都不是专门为这片沙漠设计的越野胎。所以我们做‘文渊慧典’的初衷就是造一套专门适配中国古籍的、开源的、免费的、谁都能用的越野胎。”六、为什么大家都用别人家的轮子二黑的“三座大山”理论小菜听了一圈忍不住问了一个核心问题“二黑既然全世界都知道通用OCR不适合古籍为什么不自己造轮子呢”二黑伸出三个手指“三座大山。”“第一座山数据。训练一个针对古籍的OCR模型至少需要几十万甚至上百万张标注过的古籍图像。这不是随便拍几张照片就行的需要专业人员一个字一个字地标注边界框和对应的文字。成本极高时间极长。全球有这种标注资源的机构一只手数得过来。”“第二座山人才。既懂深度学习又懂古籍的人比大熊猫还稀罕。大多数图书馆里坐着的是像王大姐这样的馆员她们认识古字但不会写Python。硅谷的算法工程师会写Python但给他一页竖排繁体他连正反都分不清。这个跨界的人才缺口短时间内填不上。”“第三座山经费。古籍数字化从来不是能赚大钱的赛道。商业公司没动力投入研发能凑合用通用方案就先凑合。图书馆自身经费有限能扫出来存着就谢天谢地了哪有钱去雇团队开发专门的OCR引擎。”他收起手指“这三座山直接导致了一个局面所有人都知道应该给古籍配专用轮子但所有人都造不起轮子。于是大家不约而同地选择了一个折中方案——用别人家现成的通用轮子凑合着开。能开多远算多远。”大胖老师站起来在二黑的“三座大山”旁边写了一行字“文渊慧典的策略移山。”他解释“我们没有能力独自造一座山但我们可以把三座山往下削。数据问题我们用的是PaddleOCR已经训练好的通用中文模型做底座它已经在几百万张现代图像上训练过了我们只需要在上面做相对轻量的古籍领域微调大大降低了标注数据的需求量。人才问题我们把复杂的技术封装起来做成一个王大姐都会用的Web界面算法层的代码由社区里的技术人员共同维护使用者不需要懂技术。经费问题开源、免费、纯CPU把成本压到零。”“我们不是自己造轮子也不是直接用别人家的通用轮子。我们是在别人家最好的轮子基础上专门针对中国古籍这辆老车重新设计了一套悬挂和轮胎花纹。轮子的核心是PaddleOCR这个开源社区贡献的悬挂和花纹是我们自己调的。这才是正确的‘用轮子’姿势。”七、尾声希望有一天全世界来用我们的轮子文章快结束时二黑说了一段话小菜觉得应该写进项目文档的扉页。“我在哈佛的时候有一次去东亚图书馆想查一份明代的方志。馆员帮我调出来屏幕上展示的是十几年前谷歌OCR生成的那个乱七八糟的文字层。我对着看了很久忽然意识到一个问题——全世界的古籍数字化项目不管你是在波士顿、东京、还是海德堡你现在看到的那些磕磕巴巴的文本背后多半是同一个年代、同一批通用引擎跑出来的。当年我们中国没有好用的古籍OCR引擎他们用的是西方的轮子跑在中国的古书上。效果不好但没有人能提供更好的选择。那个时候我们没有话语权。”“现在不一样了。PaddleOCR的繁体竖排模型已经追平甚至超过了大多数商业引擎我们在这个基础上做的‘文渊慧典’正在把它从一个通用工具变成一个古籍专用的利器。开源的力量让我们的轮子可以被全世界看到。也许再过五年哈佛再评估升级方案的时候他们会发现最好的中文古籍OCR引擎不在硅谷不在东京在GitHub上开源、免费、中国人做的为古籍量身定制的轮子。到了那一天全世界的古籍数字化项目都会换上中国造的轮子。这不是妄念这是路线图上已经画好的下一站。”大胖老师听完沉默了半晌然后端起保温杯难得正经地说了一句“二黑你这句话够我多活五年。”小菜在笔记本上写道“造轮子不是为了炫技是为了有朝一日让全世界抢救古籍的人用的都是咱们家的轮子。这一天不会太远。”窗外校图书馆的灯一盏接一盏地亮起来。实验室的屏幕上代码正在编译模型正在训练。那些沉睡的古籍还不知道在太平洋西岸的这间小小的实验室里一套为他们量身打造的新轮子正在成型。本文为注水技术版您看看即可不必当真写此文字就是图一乐-