——小菜“大胖老师前阵子我看新闻说哈佛燕京的数字化率都83%了日本的古籍也差不多认完了连欧洲都在用AI重建古罗马。怎么轮到咱们我回老家县图书馆王大姐还在用老办法读者要查一句话她就从铁皮柜里把发黄的书搬出来一页一页翻翻到眼花然后用手机拍张照发过去。这差距也太大了吧”——二黑推了推眼镜从抽屉里掏出三份报告一份是《全国古籍保护状况调研》一份是《基层图书馆数字化现状》还有一份是《王大姐的八小时工作实录》。“问题不在王大姐在我们。我们把数字化想得太简单了把技术送到王大姐手上的路比我们想象中难走得多。”——大胖老师端起保温杯看着窗外图书馆的方向“今天咱们就聊聊这个扎心的问题全世界的古籍都在跑步进入数字时代为什么我们的古籍还在靠王大姐翻相册”一、王大姐的相册不是她不想换是没人给她换大胖老师先讲了一个故事。2024年秋天他去中西部一个县图书馆调研。古籍书库在一栋老楼的顶层没有电梯铁皮柜生着锈窗户关不严冬天冷夏天潮。管理员刘大姐五十多岁一个人管着整层书库。大胖老师问她古籍数字化的情况她从抽屉里拿出一个厚厚的文件夹里面是她自己做的“电子目录”——其实就是在Excel里手动敲的书名、作者和索书号一共录了三千多条。大胖老师问她为什么不扫描成电子版刘大姐说“扫了呀前两年用经费买了一台高拍仪还配了一套软件。可软件要联网认证我们网速不行老是验证失败。后来那个公司技术员辞职了没人来修就搁那儿了。”大胖老师走到那台高拍仪旁边防尘布上落了一层灰旁边的电脑显示器黑着屏主机箱上贴着一张便签勿动已坏。“你看”大胖老师对小菜和二黑说“刘大姐不是不想数字化她连Excel都会自己琢磨着用。是没人给她一套真正能用、好用、用得起、坏了有人修的工具。她等了好几年等来的是吃灰的设备和过期的授权。最后她还是只能用老办法——翻相册。”二、第一座山起步晚了二十年时间债还没还完二黑在白板上画了一条时间线标出几个关键节点。“哈佛燕京大规模数字化是2000年开始的。谷歌图书计划是2004年。欧洲数字图书馆Europeana 2008年上线。日本国立国会图书馆的大规模古籍OCR也是2010年前后起步的。我们呢国家图书馆的系统性古籍扫描是2012年以后的事而OCR真正被当作一件事来抓要到2018年之后了。这中间差了十几二十年。”“这二十年人家不仅攒下了海量的扫描数据更重要的是攒下了一套成熟的流程扫描用什么参数、元数据怎么著录、质量怎么检查、数据怎么上网。我们很多馆到现在连扫描参数都没统一有的扫成300DPI有的扫成72有的扫完连文件名都没改一堆IMG_0001堆在硬盘里。”小菜叹了口气“这不就是时间债吗就像打游戏人家都满级了我们还在新手村。”“对。而且这个债没那么快还完。”大胖老师补充“但晚有晚的好处。他们起步早用的技术也老——哈佛到现在还在用谷歌图书二十年前的OCR引擎准确率感人升级成本又太高。我们起步晚可以直接用最新的深度学习模型一张白纸好画图。这叫后发优势。”三、第二座山缺钱缺人缺设备三座大山压基层二黑打开那份《基层图书馆数字化现状》报告念了一组数字。“全国县一级公共图书馆有古籍馆藏的大概占六成但其中拥有专用扫描仪的不超过30%有恒温恒湿古籍书库的更少。经费方面县馆一年的数字化专项经费平均不到5万元有些馆是零。人员方面有专职古籍管理员的馆不到一半很多是兼职或者由临近退休的老大姐一人扛着。”大胖老师接过话“你想想五万块钱能干什么买一台好点的专业扫描仪都够呛。请公司来数字化市场价一页几块钱一万页就好几万一个馆藏少说几千册根本做不起。雇专人录入年轻人在县城图书馆的工资也就两三千谁愿意来所以最后就是王大姐一个人一本书一本书地翻一个读者一个读者地应付。她不是不想数字化是真没条件。”“更扎心的是”小菜补充“咱们之前调研的时候有个馆长说他们馆最值钱的古籍是一套明版方志全国就两套。但库房空调坏了三年夏天温度将近四十度书页脆得一翻就掉渣。他想数字化打了好几年报告每次都卡在经费上。他说再等下去书就要成灰了。”四、第三座山技术门槛太高通用工具够不着古籍的“痒处”“就算有了扫描件很多馆也卡在OCR这一步。”二黑调出一张对比图“市面上的通用OCR哪怕是国际大厂的产品对古籍竖排繁体的支持都极差。我们测试过某国际大厂的PDF编辑器把‘子曰’认成‘子日’竖排当横排扫输出全是乱的。开源的呢Tesseract需要自己写代码调参王大姐连命令行都没见过。云端的呢按次收费一年下来比买软件还贵而且数据要上传图书馆根本不敢用。”“所以很多馆的状态是扫了但等于没扫。”大胖老师说“硬盘里存着几万张图片没有OCR没有索引没有全文检索。读者想查一个人名还是得翻相册——只不过从翻纸书变成了翻电子图片。王大姐的工作量一点没减少只是从搬书变成了拖滚动条。数字化没有让她更轻松只是让她换了个方式累。”五、国外也有国外的烦恼家家有本难念的经小菜不服气“可人家国外确实做得比我们好啊。”二黑推了推眼镜“看起来好扒开看也一堆问题。”他开始列国外同行的短板美国钱多但技术债重。哈佛燕京到现在还在用谷歌图书的通用OCR中文古籍识别准确率只有七成多。而且开放有限制很多资源仅限校内访问不是全人类共享。日本精细但对中文不友好。NDL OCR能认草书假名但遇到中文异体字就懵。而且他们主攻日文古籍中国的方志、契约、家谱不在他们的优化范围。欧洲标准严但中文边缘。Europeana的元数据标准全球最全但收录的中文古籍数量还不如我们一个省馆。他们的OCR引擎是拉丁文优先中文排在队尾。“所以你看”大胖老师总结“不是他们做得好我们差是大家的赛道不同。他们的人口少、古籍少、需求集中可以精耕细作。我们是海量古籍、海量需求、分散在全国各地需要的是能大规模推广、低成本复制的方案。拿他们的精品路线来衡量我们的普惠路线本身就不公平。”六、翻相册的困境本质是技术的“最后一公里”没打通二黑在白板上写了一个公式数字化成果 技术 × 推广 × 持续运维“技术我们有了PaddleOCR、PPStructure、文渊慧典的流水线证明开源加轻量化是可行的。推广我们也做了二十家试点图书馆微信群口口相传。但持续运维是目前最大的短板。一个县馆的系统崩了王大姐不会修又没有专职技术员怎么办之前那台吃灰的高拍仪不就是因为没人修才废掉的吗”大胖老师点头“这就是为什么我们坚持把文渊慧典做成‘双击就能用’的傻瓜式工具。不是因为我们喜欢做简陋的东西而是因为王大姐的环境就那样——没有技术员没有预算没有培训。我们要做的不是最强大的OCR而是最皮实的OCR。皮实到什么程度哪怕系统崩溃重启一下就能恢复哪怕电脑是十年前的也能慢慢跑哪怕没人管也能自动更新。做不到这三点任何先进技术送到基层最后都会变成下一台吃灰的机器。”七、我们的底气不是没有路是路正在修小菜问“那我们离‘让全国王大姐都不再翻相册’还有多远”大胖老师想了想说“技术上我们已经走通了。二十家试点图书馆的王大姐现在用的就是文渊慧典每天处理几十页古籍茶还没凉就出结果。但要把这套系统送到全国两千多个县还需要解决很多问题怎么让馆长知道有这个免费工具怎么让王大姐敢尝试怎么建立一支能远程支持的志愿者队伍怎么跟各地已有的数字图书馆系统对接这些不是敲代码能解决的是需要一个生态。”二黑补充“好消息是开源社区的力量正在起来。我们GitHub上已经有三十多个贡献者有人帮忙写文档有人帮忙修bug有人帮忙做测试。还有王大姐们在圈子里口口相传——一个馆用好了隔壁馆就跟着装。这种自下而上的扩散比自上而下的行政推动更扎实、更持久。”“所以”大胖老师放下保温杯“全世界都在数字化我们的古籍不会永远靠王大姐翻相册。技术已经来了只是还在路上。我们要做的是把这条路修得更宽、更平、更近让最偏远的县馆也能走上数字化的快车道。到了那一天王大姐只需要坐在电脑前喝一口茶点一下鼠标那些沉睡了几百年的文字就会在屏幕上亮起来。”窗外图书馆的灯次第亮起。小菜看着王大姐每天走过的那条走廊忽然觉得那条路并没有想象中那么长。本文为注水技术版您看看即可不必当真写此文字就是图一乐-
——小菜“大胖老师前阵子我看新闻说哈佛燕京的数字化率都83%了日本的古籍也差不多认完了连欧洲都在用AI重建古罗马。怎么轮到咱们我回老家县图书馆王大姐还在用老办法读者要查一句话她就从铁皮柜里把发黄的书搬出来一页一页翻翻到眼花然后用手机拍张照发过去。这差距也太大了吧”——二黑推了推眼镜从抽屉里掏出三份报告一份是《全国古籍保护状况调研》一份是《基层图书馆数字化现状》还有一份是《王大姐的八小时工作实录》。“问题不在王大姐在我们。我们把数字化想得太简单了把技术送到王大姐手上的路比我们想象中难走得多。”——大胖老师端起保温杯看着窗外图书馆的方向“今天咱们就聊聊这个扎心的问题全世界的古籍都在跑步进入数字时代为什么我们的古籍还在靠王大姐翻相册”一、王大姐的相册不是她不想换是没人给她换大胖老师先讲了一个故事。2024年秋天他去中西部一个县图书馆调研。古籍书库在一栋老楼的顶层没有电梯铁皮柜生着锈窗户关不严冬天冷夏天潮。管理员刘大姐五十多岁一个人管着整层书库。大胖老师问她古籍数字化的情况她从抽屉里拿出一个厚厚的文件夹里面是她自己做的“电子目录”——其实就是在Excel里手动敲的书名、作者和索书号一共录了三千多条。大胖老师问她为什么不扫描成电子版刘大姐说“扫了呀前两年用经费买了一台高拍仪还配了一套软件。可软件要联网认证我们网速不行老是验证失败。后来那个公司技术员辞职了没人来修就搁那儿了。”大胖老师走到那台高拍仪旁边防尘布上落了一层灰旁边的电脑显示器黑着屏主机箱上贴着一张便签勿动已坏。“你看”大胖老师对小菜和二黑说“刘大姐不是不想数字化她连Excel都会自己琢磨着用。是没人给她一套真正能用、好用、用得起、坏了有人修的工具。她等了好几年等来的是吃灰的设备和过期的授权。最后她还是只能用老办法——翻相册。”二、第一座山起步晚了二十年时间债还没还完二黑在白板上画了一条时间线标出几个关键节点。“哈佛燕京大规模数字化是2000年开始的。谷歌图书计划是2004年。欧洲数字图书馆Europeana 2008年上线。日本国立国会图书馆的大规模古籍OCR也是2010年前后起步的。我们呢国家图书馆的系统性古籍扫描是2012年以后的事而OCR真正被当作一件事来抓要到2018年之后了。这中间差了十几二十年。”“这二十年人家不仅攒下了海量的扫描数据更重要的是攒下了一套成熟的流程扫描用什么参数、元数据怎么著录、质量怎么检查、数据怎么上网。我们很多馆到现在连扫描参数都没统一有的扫成300DPI有的扫成72有的扫完连文件名都没改一堆IMG_0001堆在硬盘里。”小菜叹了口气“这不就是时间债吗就像打游戏人家都满级了我们还在新手村。”“对。而且这个债没那么快还完。”大胖老师补充“但晚有晚的好处。他们起步早用的技术也老——哈佛到现在还在用谷歌图书二十年前的OCR引擎准确率感人升级成本又太高。我们起步晚可以直接用最新的深度学习模型一张白纸好画图。这叫后发优势。”三、第二座山缺钱缺人缺设备三座大山压基层二黑打开那份《基层图书馆数字化现状》报告念了一组数字。“全国县一级公共图书馆有古籍馆藏的大概占六成但其中拥有专用扫描仪的不超过30%有恒温恒湿古籍书库的更少。经费方面县馆一年的数字化专项经费平均不到5万元有些馆是零。人员方面有专职古籍管理员的馆不到一半很多是兼职或者由临近退休的老大姐一人扛着。”大胖老师接过话“你想想五万块钱能干什么买一台好点的专业扫描仪都够呛。请公司来数字化市场价一页几块钱一万页就好几万一个馆藏少说几千册根本做不起。雇专人录入年轻人在县城图书馆的工资也就两三千谁愿意来所以最后就是王大姐一个人一本书一本书地翻一个读者一个读者地应付。她不是不想数字化是真没条件。”“更扎心的是”小菜补充“咱们之前调研的时候有个馆长说他们馆最值钱的古籍是一套明版方志全国就两套。但库房空调坏了三年夏天温度将近四十度书页脆得一翻就掉渣。他想数字化打了好几年报告每次都卡在经费上。他说再等下去书就要成灰了。”四、第三座山技术门槛太高通用工具够不着古籍的“痒处”“就算有了扫描件很多馆也卡在OCR这一步。”二黑调出一张对比图“市面上的通用OCR哪怕是国际大厂的产品对古籍竖排繁体的支持都极差。我们测试过某国际大厂的PDF编辑器把‘子曰’认成‘子日’竖排当横排扫输出全是乱的。开源的呢Tesseract需要自己写代码调参王大姐连命令行都没见过。云端的呢按次收费一年下来比买软件还贵而且数据要上传图书馆根本不敢用。”“所以很多馆的状态是扫了但等于没扫。”大胖老师说“硬盘里存着几万张图片没有OCR没有索引没有全文检索。读者想查一个人名还是得翻相册——只不过从翻纸书变成了翻电子图片。王大姐的工作量一点没减少只是从搬书变成了拖滚动条。数字化没有让她更轻松只是让她换了个方式累。”五、国外也有国外的烦恼家家有本难念的经小菜不服气“可人家国外确实做得比我们好啊。”二黑推了推眼镜“看起来好扒开看也一堆问题。”他开始列国外同行的短板美国钱多但技术债重。哈佛燕京到现在还在用谷歌图书的通用OCR中文古籍识别准确率只有七成多。而且开放有限制很多资源仅限校内访问不是全人类共享。日本精细但对中文不友好。NDL OCR能认草书假名但遇到中文异体字就懵。而且他们主攻日文古籍中国的方志、契约、家谱不在他们的优化范围。欧洲标准严但中文边缘。Europeana的元数据标准全球最全但收录的中文古籍数量还不如我们一个省馆。他们的OCR引擎是拉丁文优先中文排在队尾。“所以你看”大胖老师总结“不是他们做得好我们差是大家的赛道不同。他们的人口少、古籍少、需求集中可以精耕细作。我们是海量古籍、海量需求、分散在全国各地需要的是能大规模推广、低成本复制的方案。拿他们的精品路线来衡量我们的普惠路线本身就不公平。”六、翻相册的困境本质是技术的“最后一公里”没打通二黑在白板上写了一个公式数字化成果 技术 × 推广 × 持续运维“技术我们有了PaddleOCR、PPStructure、文渊慧典的流水线证明开源加轻量化是可行的。推广我们也做了二十家试点图书馆微信群口口相传。但持续运维是目前最大的短板。一个县馆的系统崩了王大姐不会修又没有专职技术员怎么办之前那台吃灰的高拍仪不就是因为没人修才废掉的吗”大胖老师点头“这就是为什么我们坚持把文渊慧典做成‘双击就能用’的傻瓜式工具。不是因为我们喜欢做简陋的东西而是因为王大姐的环境就那样——没有技术员没有预算没有培训。我们要做的不是最强大的OCR而是最皮实的OCR。皮实到什么程度哪怕系统崩溃重启一下就能恢复哪怕电脑是十年前的也能慢慢跑哪怕没人管也能自动更新。做不到这三点任何先进技术送到基层最后都会变成下一台吃灰的机器。”七、我们的底气不是没有路是路正在修小菜问“那我们离‘让全国王大姐都不再翻相册’还有多远”大胖老师想了想说“技术上我们已经走通了。二十家试点图书馆的王大姐现在用的就是文渊慧典每天处理几十页古籍茶还没凉就出结果。但要把这套系统送到全国两千多个县还需要解决很多问题怎么让馆长知道有这个免费工具怎么让王大姐敢尝试怎么建立一支能远程支持的志愿者队伍怎么跟各地已有的数字图书馆系统对接这些不是敲代码能解决的是需要一个生态。”二黑补充“好消息是开源社区的力量正在起来。我们GitHub上已经有三十多个贡献者有人帮忙写文档有人帮忙修bug有人帮忙做测试。还有王大姐们在圈子里口口相传——一个馆用好了隔壁馆就跟着装。这种自下而上的扩散比自上而下的行政推动更扎实、更持久。”“所以”大胖老师放下保温杯“全世界都在数字化我们的古籍不会永远靠王大姐翻相册。技术已经来了只是还在路上。我们要做的是把这条路修得更宽、更平、更近让最偏远的县馆也能走上数字化的快车道。到了那一天王大姐只需要坐在电脑前喝一口茶点一下鼠标那些沉睡了几百年的文字就会在屏幕上亮起来。”窗外图书馆的灯次第亮起。小菜看着王大姐每天走过的那条走廊忽然觉得那条路并没有想象中那么长。本文为注水技术版您看看即可不必当真写此文字就是图一乐-
