当前位置：首页 > 编程日记 > 正文

一站式了解多模态、金融、事理知识图谱构建指南 | AI ProCon 2020

编程日记 2024-11-26 03:10:00

整理 | 许爱艳

出品 | AI科技大本营（ID：rgznai100）

【导读】7 月 3-4 日，由 CSDN 主办的第三届 AI 开发者大会（AI ProCon 2020）在线上举行。本次大会有超万人报名参与，参与人群覆盖 60+ 领域、5000 家企业。其中有来自行业内 70+ 顶尖企业、开源社区与科研高校的近 100 位行业领袖、技术大咖与研究学者。

他们用更新鲜、更有趣、更年轻的方式，聚焦智能时代 AI 技术的发展曲线以及 AI 与社会各行业结合的最新应用进展，深入解析热门 AI 技术在行业中的实践与落地经验，揭示技术与行业发展面临的机遇与挑战。

在 7 月 4 日的知识图谱与认知智能论坛上来自高校和企业 4 位知识图谱大咖围绕知识图谱的技术进展与在场景中的应用案例为大家带来了 4 场干货满满的主题演讲。目前，论坛的直播回放已上传，大家可以收藏反复学习。

扫描下方二维码，直接观看【知识图谱与认知智能】论坛回放

以下内容根据「知识图谱与认知智能」论坛 4 位嘉宾的演讲内容，由 AI科技大本营（ID：rgznai100）整理：

嘉宾 1：漆桂林，东南大学教授，AI ProCon 2020 「知识图谱与认知智能」论坛出品人，议题为《多模态知识图谱技术进展与应用》

首先，漆教授先带领大家了解从 2004 年至今，多模态技术及相关技术的发展历程。

直到 2013 年 NEIL：Image Knowledge Miner 出现前，无论是语义网还是 ImageNet，严格意义上来说都不算多媒体技术领域范畴，大多还处于图像与文本数据标注阶段。在 Image Knowledge Miner 项目中，研究者开始基于自动化抽取、半监督学习等技术抽取图像实体之间的关系；随后，语义网学者提出 IMGpedia 多模态知识图谱项目，不过 IMGpedia 没有对图像内可能存在的实体间关系进行深入挖掘；基于此，2019 年研究者们进一步提出 Richpedia 多媒体知识图谱。

虽然，知识图谱这类符号主义系统（System 2）与深度学习端到端的模型（System 1）两个系统都是从 Input（Question）到 Goal（Answer）的任务过程，但是两种系统的处理与推理逻辑却是完全不同的。如此，在常识性问题、知识性问答等任务中知识图谱可以弥补深度学习的不足。

那么，多模态知识图谱时又可以发挥哪些价值?

在现实场景中，多模态数据是普遍存在的，而多模态知识图谱可以帮助我们丰富信息，回答更多的问题。

多模态知识图谱的三大意义：

（1）多模态间是互补的关系

（2）通过跨模态可以获得更多的信息、细节与答案

（3）不同模态间可以进行消歧

那究竟什么是多模态知识图谱？如何定义？与传统知识图谱有哪些区别？以及更重要的课题——如何构建多模态知识图谱？可以怎么应用？在后半段的分享中，漆教授围绕三个研究工作中的问题及其解决方法都一一为大家进行了讲解。

有了这些方法与解决问题的思路，目前多模态知识图谱技术的研究与应用还面临着哪些挑战？接下来，大家还可以投入到哪些研究问题中？大家可以观看漆教授完整的演讲分享深入了解这些内容，相信可以为你目前的学习与研究带来启发。

嘉宾 2：丁效，哈尔滨工业大学助理研究员/硕士生导师，议题为《基于事理图谱的文本推理技术》

演讲开始，丁老师便引导大家开始思考：目前大家对知识图谱都有一定的了解，那么我们为什么需要事理图谱呢？什么是事理图谱呢？与大家熟知事理图谱又可以如何应用？有哪些典型的应用场景呢？

对事理图谱有了初步了解后，我们就要跟着丁老师一起进到事理图谱工作中开始学习了。现在大家都知道了，在事理图谱中，事件是非常重要的一个概念，我们只有明确清晰了事件的定义，才能在认知层面掌握事件之间的关系（归纳、因果、上下位、条件关系等），进而组织成为知识，并通过形成的这些认知在现实场景下发挥推理与引导作用。关于刚刚提到的这四种事件之间的关系，大家可以在视频里具体学习。

有了事理图谱，我们可以做哪些文本推理任务？接下来，我们就一起来看丁效老师为大家分享的基于事理图谱的五大文本推理任务及其关键技术。

不同的任务中还存在着不同的问题，针对这些问题目前又有哪些解决方法，在后半段的分享中，大家可以详细掌握五大任务中的关键方法与技术，满满干货，不容错过！

2018--2019 年间，丁效老师所在的哈工大 HIT-SCIR 实验室连续发布了两版《金融事理图谱》，在数据规模、事件数、事件关系以及抽取结果上都在不断丰富与提升。

同时，这些事理图谱的演示系统大家还可以在线体验。

除了这些应用，事理图谱还有哪些潜在应用？大家可以扫码观看丁老师的完整演讲。

前两位老师针对多模态知识图谱和事理图谱为大家分享了当下知识图谱的热门研究问题与关键技术应用，接下来是两位业界的技术大咖为大家带来的分享，一览群智的刘老师与文因互联的鲍捷老师将通过实际业务中的需求和面临的诸多问题与挑战，为大家分享将知识图谱落地场景的实践之道。

嘉宾 3：一览群智技术副总裁刘占亮，议题为《从AI到IA，知识图谱信息抽取在智能审单业务中的应用实践》

从大规模通用知识图谱到行业知识图谱，领域专业知识与逻辑变得更密集、更复杂深入，因而场景与需求也变得更复杂，知识图谱面临着诸多的新挑战。

以智能审单系统为例，在国际结算、跨境支付与保险理赔等场景中，知识图谱都是其背后强有力的技术支撑。

构建知识图谱的数据来源有结构化与非结构化的数据，而在知识图谱设计与构建的过程中，需要思考的一个重要问题是知识如何表示，在设计好图谱模式后，在进行知识抽取与映射转换。

在接下来的分享中，刘老师以智能审单系统包含的三个知识图谱——基础知识图谱、单据知识图谱与审核规则知识图谱为例，为大家介绍知识图谱构建的关键问题与实践经验。

基础知识图谱构建流程

单据知识图谱构建流程

单据知识图谱是智能审单系统中的核心技术，承担着对单据规范、单据条款、字段的理解能力，在实际业务场景的构建过程中会面临诸多挑战。

首先，面临着不同于其他 OCR 系统的技术挑战。单据图谱中的 OCR 技术不仅要识别文字，对识别后的票据还要进行要素抽取（业务分析模块）；其次，单据要素抽取并不是一项简单的工作，尤其是对没有统一模板制式的票据，在信息抽取模型构建过程中需要结合多种方法来帮助开放式票据的信息抽取；最后，通过 Schema 对抽取后的信息进行归一化。

审核逻辑知识图谱

下面展现了智能审单系统的完整业务流程，在构建知识图谱的过程中还有诸多技术问题，大家可以在刘老师的完整演讲中学习。

嘉宾 4：鲍捷，文因互联 CEO，议题为《深数据需要一把柳叶刀--知识图谱在金融领域实战》

如题，什么是深数据呢？这先要从一个大背景说起：感知智能时代与认知智能时代。

大家都知道，传统感知智能时代有三要素——算法、算力与数据，但它们在认知时代下却失去了原本的效果。

根本原因是认知时代是强依赖外源知识，有些问题不是有海量数据、算力资源和高精准的模型就可以解决的。所以，我们提出了新的要求——「深数据」这一概念由此而生，而传统方法在深数据上失去了原本的效能。

那究竟什么是深数据？其中最典型的案例就是在金融场景中。大部分的金融数据都是隐藏在 PDF 文件中的，目前，在信贷与债券领域中可以用到的数据不仅是结构化的数据，更多的数据是需要阅读 PDF 文件，理解其内容，进而辅助业务的实践，这就需要大量的行业或领域的专业知识。而我们需要做的就是通过机器训练进行部分的替代，识别并掌握各类文档中的语义信息，根据业务需求构建知识图谱。