5月4日,古汉语命名实体识别国际评测(EvaHan2025)研讨会线上线下同步举行。
古汉语命名实体识别国际评测是专注于古代汉语的命名实体识别任务展开的技术评测比赛,目的是基于当前学界已有的古代汉语命名实体识别研究成果,探索大语言模型对古汉语的处理应用,与海内外高校、研究单位合作,共同推进古代汉语自动分析技术的研究。
会议邀请著名计算语言学家、新疆大学中国语言文学学院教授冯志伟做了题为“古汉语文本命名实体识别”的特邀报告。报告回顾了古汉语信息处理的概貌,指出古汉语文本在繁简字、标点与命名实体方面存在的特殊困难,以及当下的大语言模型对古文处理还较为薄弱的现状,提出古文命名实体识别是一项非常关键而迫切的研究任务。
李斌作了古汉语命名实体识别国际评测(EvaHan2025)总体情况报告,介绍了四家单位建设标注数据的艰辛历程,总结了十多个参赛队的技术特点和评测的三点主要结论:史传类古籍的六类命名实体中,人名、地名、时间、职官的识别效果好,而书名和国名还有待提升;中医古籍中的六类命名实体中,饮片、方剂、穴位的识别率较高,而证候、疾病和症状的识别率还较低;大语言模型对原文的随机修改是需要特别注意的问题。
研讨会期间,10支参赛队分别作了技术报告,展开交流与讨论。经过综合评比,蜜度科技股份有限公司—中国人民大学团队获得一等奖,南京大学团队和武汉大学—北京大学团队获得二等奖,多伦多大学—曼彻斯特大学团队和东北林业大学两个团队获得三等奖。冯志伟表示,本届评测有效地提升了古汉语特别是中医古籍中的命名实体效果,对挖掘古籍中的文化珍宝十分有益。李斌对各参赛队表示感谢并提出,未来还将举办更多古汉语的国际评测,推动古籍的保护和传承创新。
中国古代典籍浩如烟海,蕴含着深厚的史学与文学价值,是世界文明的瑰宝。为了更好地开发和利用古籍资源,传承并弘扬中华优秀传统文化,对古籍进行数字化深加工处理显得尤为重要。在古籍数字化加工的过程中,人名、地名、职官等命名实体标注是关键的一环,尤其是有着重要医疗价值的中医药方、证候等实体。如果根据传统方法,仅依靠专家学者手工完成命名实体标注,不仅耗费大量人力物力,还难以满足规模化处理的需求。因此,面向古汉语的命名实体识别工作,在推动古籍的创造性转化与创新性发展,以及促进中华文化的传承与传播方面,具有重要意义。目前,古汉语命名实体识别的研究尚未成熟,缺乏统一的评估体系和规范化的评测方法,推动标准化的古汉语命名实体识别评测显得尤为迫切和必要。专门针对古汉语的系列国际评测(EvaHan)将在2025年的评测中重点聚焦这一领域,力求建立高质量的数据集和统一的评测机制,推动古汉语命名实体识别研究的系统化和规范化发展。
据介绍,该评测由中国人工智能学会主办,南京师范大学文学院、南京师范大学语言大数据与计算人文研究中心、南京农业大学信息管理学院、南京理工大学经济管理学院、中国中医科学院中医药信息研究所联合组织。在5个月的时间里,2024年12月发布训练数据,2025年2月15日—22日正式开赛,2月底提交技术报告,3月中旬完成论文修改,5月4日举行评测研讨,线下会议地点在美国新墨西哥州阿尔伯克基市,是北美计算语言学大会NAACL2025子会议第二届古代语言处理研讨会(ALP2025)的重要组成部分。共有来自加拿大、法国等海内外高校的23支队伍报名参加评测,最终有13支队伍完赛。