当前位置： 首页 > 编程日记 > 正文

快速搭建对话机器人，就用这一招！

编程日记 2024-12-03 17:40:00

作者 | Milvus.io 

责编 | 胡巍巍

问答系统是自然语言处理领域一个很经典的问题，它用于回答人们以自然语言形式提出的问题，有着广泛的应用。其经典应用场景包括：智能语音交互、在线客服、知识获取、情感类聊天等。常见的分类有：生成型、检索型问答系统；单轮问答、多轮问答系统；面向开放领域、特定领域的问答系统。本文涉及的主要是在检索型、面向特定领域的问答系统，通常称之为——智能客服机器人。

在过去，客服机器人的搭建通常需要将相关领域的知识（Domain Knowledge），转化为一系列的规则和知识图谱。构建过程中重度依赖“人工”智能，换个场景，换个用户都需要大量的重复劳动。

随着深度学习在自然语言处理（NLP）中的应用，机器阅读可以直接自动从文档中找到匹配问题的答案。深度语言模型会将问题和文档转化为语义向量，从而找到最后的匹配答案。本文借助Google开源的Bert模型结合Milvus开源向量搜索引擎，快速搭建基于语义理解的对话机器人。

整体架构

本文通过语义相似度匹配来实现一个问答系统，大致的构建过程：

  1. 获取某一特定领域里大量的带有答案的中文问题（本文将之称为标准问题集）。

  2. 使用Bert模型将这些问题转化为特征向量存储在Milvus中，同时Milvus将给这些特征向量分配一个向量ID。

  3. 将这些代表问题的ID和其对应的答案存储在PostgreSQL中。

当用户提出一个问题时：

  1. 通过Bert模型将之转化为特征向量

  2. 在Milvus中对特征向量做相似度检索，得到与该问题最相似的标准问题的id

  3. 在PostgreSQL得出对应的答案。

系统架构图如下（蓝色线是导入过程，黄色线是查询过程）：

接下来，将手把手教您搭建一个在线问答系统。

搭建步骤

在搭建之前您需要安装Milvus、Postgresql，具体安装步骤请参考官网。

1.数据准备

本文中的实验数据来自：

https://github.com/SophonPlus/ChineseNlpCorpus。

该项目下的FAQ问答系统中的金融数据集，我们从中一共整理了33万条数据。结合这组数据，我们可以快速搭建一个xx银行智能客服机器人。

2.生成特征向量

本系统使用了Bert已预训练好的一个模型。在启动服务前，需要下载该模型：https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip

使用该模型将问题库转化为特征向量，以用于后续的相似度检索。更多bert服务相关可参考：https://github.com/hanxiao/bert-as-service

3.导入Milvus和PostgreSQL

将上述产生的特征向量归一化处理后导入Milvus中存储，然后j将Milvus返回的id以及该id对应的问题的答案导入PostgreSQL中。PostgreSQL中的表结构：

4.获取答案

用户输入一个问题，通过Bert产生特征向量后，在Milvus库中找出与之最相似的一个问题。本文采用的余弦距离来表示两个句子间的相似度，由于所有向量都进行了归一化，因此两个特征向量的余弦距离越接近1表示相似度也高越高。库中可能没有与用户给定问题比较相似的问题，所以在实践中我们可以设定了一个阈值0.9，当检索出来的最相似的距离小于该阈值时，则返回本系统未收录相关问题的提示。

系统演示

系统初始界面如下：

在对话框中输入你的问题，将会收到对应的答案。如图：

总结

上述的问答系统搭建是不是很简单？有Bert模型的加持，你根本不需要预先对语料进行分类整理、标签化等工作。同时，得益于开源向量搜索引擎Milvus的高性能和可扩展性，系统可以支撑上亿级别的语料库。Milvus向量搜索引擎已经加入Linux AI (LF AI)基金会进行孵化，欢迎大家加入Milvus社区。让我们一起加速AI技术的大规模落地。

声明：本文系作者投稿，不代表CSDN立场。

欢迎所有开发者扫描下方二维码填写《开发者与AI大调研》，只需2分钟，便可收获价值299元的「AI开发者万人大会」在线直播门票！

推荐阅读

  • GitHub标星2000+，如何用30天啃完TensorFlow2.0？

  • 斩获GitHub 2000+ Star，阿里云开源的Alink机器学习平台如何跑赢双11数据“博弈”？

  • 百年 IBM 终于 All In 人工智能和混合云！

  • 微软为一人收购一公司？破解索尼程序、写黑客小说，看他彪悍的程序人生！

  • 机器学习项目模板：ML项目的6个基本步骤

  • BM、微软、苹果、谷歌、三星……这些区块链中的科技巨头原来已经做了这么多事！

  • 你点的每个“在看”，我都认真当成了AI


https://www.dkcj.cn/info/30236.html

相关文章：

目前流行的源程序版本管理软件和项目管理软件都有哪些？各有什么优缺点？...

目前流行的源程序版本管理软件和项目管理软件：Microsoft TFS，Github，SVN，Coding 各自的优缺点： Microsoft TFS：优点：任务版上能将需求、项目进度一览无余，对于小团队而言&#xff0c…

编程日记2024/12/03 17:30:00

孙鑫mfc学习笔记第十四课

第十四课网络的相关知识，网络程序的编写，Socket是连接应用程序与网络驱动程序的桥梁，Socket在应用程序中创建，通过bind与驱动程序建立关系。此后，应用程序送给Socket的数据，由Socket交给驱动程序向网络上发…

编程日记2024/12/03 17:20:00

Linux环境编译安装Mysql以及补装innodb引擎方法

mysql安装 5.6以后可能会收费，所以选择5.1以下从台湾中山大学镜像下载 1.首先要安装C编译环境 # yum install gcc-c 2.下载解压 # wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-5.1/mysql-5.1.73.tar.gz# tar zxvf mysql-5.1.73.tar.gz# cd mysql-5…

编程日记2024/12/03 17:10:00

Python 炫技操作：合并字典的七种方法

来源 | Python编程时光（ID: Cool-Python）Python 语言里有许多（而且是越来越多）的高级特性，是 Python 发烧友们非常喜欢的。在这些人的眼里，能够写出那些一般开发者看不懂的高级特性，就是高手&am…

编程日记2024/12/03 17:00:00

shell脚本编程基础(1)及RAID阵列

shell脚本：Linux从底层到上层的系统架构：硬件-->内核-->库(lib)-->shell-->用户。shell既是一种命令语言，也是程序设计语言（shell脚本），作为一种命令语言，它提供了用户与内核的交互…

编程日记2024/12/03 16:50:00

freemarker基本语法及实例

EG.一个对象BOOK 1.输出 ${book.name} 空值判断：${book.name?if_exists }, ${book.name?default(‘xxx’)}//默认值xxx ${ book.name!"xxx"}//默认值xxx 日期格式：${book.date?string(yyyy-MM-dd)} 数字格式：${boo…

编程日记2024/12/03 16:40:00

前百度主任架构师创业，两年融资千万美元，他说AI新药研发将迎来黄金十年...

「AI技术生态论」 人物访谈栏目是CSDN发起的百万人学AI倡议下的重要组成部分。通过对AI生态专家、创业者、行业KOL的访谈，反映其对于行业的思考、未来趋势的判断、技术的实践，以及成长的经历。2020年，CSDN将对1000人物进行访谈，形…

编程日记2024/12/03 16:30:00

Linux环境安装卸载JDK以及安装Tomcat和发布Java的web程序

Linux环境：CentOS7.2 一.安装JDK 安装好的CentOS会自带OpenJdk，最好还是先卸载系统自带的JDK，然后自己重新去Oracle网站下载最新的JDK安装。 1.卸载系统自带的JDK 查看java信息 # java -version 查看JDK # rpm -qa | grep java 或者 还…

编程日记2024/12/03 16:20:00

（转）详解css3弹性盒模型（Flexbox)

今天刚学了css3的弹性盒模型，这是一个可以让你告别浮动、完美实现垂直水平居中的新特性。 Flexbox是布局模块，而不是一个简单的属性，它包含父元素和子元素的属性。 Flexbox布局的主体思想是似的元素可以改变大小以适应可用空间，当…

编程日记2024/12/03 16:10:00

Java开发环境的搭建以及使用eclipse创建项目

一、Java 开发环境的搭建 这里主要说windows环境下怎么配置Java环境。如果是Linux环境参考本博客另一篇文章即可： Linux环境安装卸载JDK 1.首先安装JDK java的SDK简称JDK。 去官网下载最新的JDK即可： http://www.oracle.com/technetwork/java/javase…

编程日记2024/12/03 16:00:00

​MMIT冠军方案 | 用于行为识别的时间交错网络，商汤公开视频理解代码库

作者 | 商汤出品 | AI科技大本营（ID:rgznai100）本文主要介绍三个部分：一个高效的SOTA视频特征提取网络TIN，发表于AAAI2020ICCV19 MMIT多标签视频理解竞赛冠军方案，基于TIN和SlowFast一个基于PyTorch，包含大…

编程日记2024/12/03 15:50:00

MySQL的主从服务器配置

MySQL的主从服务器配置常见开源数据库有：MySQL，PostgreSQL，SQLite等，商业性质的：Oracle，Sql Server，DB2，Sybase，Infomix其中，Oracle的版本有Oracle 11g,Oracl…

编程日记2024/12/03 15:40:00

Anaconda中安装Orange3脚本-完整版

2019独角兽企业重金招聘Python工程师标准>>> #Anaconda中安装Orange3脚本，完整版。包括插件的安装，在脚本中一次完成。 sudo apt-get update sudo apt-get -y install git python-pip python-virtualenv python-qt4-dev python3-pyqt4 libqt…

编程日记2024/12/03 15:30:00

使用eclipse创建Struts2项目

eclipse版本： Kepler Service Release 1 http://www.eclipse.org/downloads/ struts版本：2.3.16 http://struts.apache.org/ 1.新建web项目 打开Eclipse，新建一个web项目"Struts2" 项目名字 勾选 web.xml选项 建好的…

编程日记2024/12/03 15:20:00

8、进程通信－匿名管道

匿名管道 一个单向，未命名的管道，通常用来在一个父进程和一个子进程间传输数据。只能实现本地机器上两个进程间的通信，而不能实现跨网络的通信。 BOOL CreatePipe( PHANDLE hReadPipe, // read handle PHANDLE hWriteP…

编程日记2024/12/03 15:10:00

Enhanced-RCNN: 一种高效的比较句子相似性的方法 ｜​WWW 2020

作者 | 彭爽出品 | AI科技大本营（ID:rgznai100）国际顶级会议WWW2020将于4月20日至24日举行。始于1994年的WWW会议，主要讨论有关Web的发展，其相关技术的标准化以及这些技术对社会和文化的影响，每年有大批的学者、研究人…

编程日记2024/12/03 15:00:00

直接可以拿去用的正则验证表达式

直接可以拿去用的正则验证表达式为了方便自己也方便初学的学弟们，自己总结了网上的众多正则验证式，现分享给大家，可以直接拿去用。一、校验数字的1 数字：^[0-9]*$2 n位的数字：^\d{n}$3 至少n位的数字：^\d{n…

编程日记2024/12/03 14:50:00

家庭局域网开启AP隔离利用无线路由器互连

一开始可以上网，可以ping网关192.168.1.1，但是几台电脑之间就是不能互ping。 其实，真实的原因就是没有开启无线路由器的AP隔离。 在浏览器中输入192.168.1.1进入路由搜索一般用户名密码都是admin，具体请参见自己路由的说明书 操…

编程日记2024/12/03 14:40:00

通过 Python 代码实现时间序列数据的统计学预测模型

来源 | DeepHub IMBA封图 | CSDN 付费下载于视觉中国 在本篇中，我们将展示使用 Python 统计学模型进行时间序列数据分析。 目标是：根据两年以上的每日广告支出历史数据，提前预测两个月的广告支出金额。原始数据：2017-01-01 到 201…

编程日记2024/12/03 14:30:00

神色洋溢的 域名背后的故事

前短时间，我刚申请一个域名，好的顶级域名都被被人一拥而上的都强去了，我只好找那些申请好的用户买呀，这叫炒作，就是这样的抄起来的。你说平常一个也就100左右就搞定，可是现在要是到那票手里，那就…

编程日记2024/12/03 14:20:00

Rust语言开发基础（六）基础语法

2019独角兽企业重金招聘Python工程师标准>>> 一、变量的定义和使用 其它常见的编程语言对变量的定义通常是通过声明类型和使用关键new来创建一个变量，但Rust不是，Rust使用关键字let。 1. 变量绑定通过let实现 fn main() { let x 5; } 2. 变量…

编程日记2024/12/03 14:10:00

400 多行代码！超详细 Rasa 中文聊天机器人开发指南 | 原力计划

作者 | 无名之辈FTER责编 | 夕颜出品 | 程序人生（ID：coder_life）本文翻译自Rasa官方文档，并融合了自己的理解和项目实战，同时对文档中涉及到的技术点进行了一定程度的扩展，目的是为了更好的理解Rasa工作机制…

编程日记2024/12/03 14:00:00

Linux配置SSH无密码登陆

可以使用“公钥私钥"认证的方式来进行ssh登录。 所谓 "公钥私钥"认证方式，就是首先在客户机上创建一对公钥和私钥，公钥文件：~/.ssh/id_rsa.pub； 私钥文件：~/.ssh/id_rsa 然后把公钥文件放到目标服务器…

编程日记2024/12/03 13:50:00

Linux进程浏览器htop安装与使用

htop 是一个 Linux 下的交互式的进程浏览器，可以用来替换Linux下的top命令。当前具有按树状方式来查看进程，支持颜色主题，可以定制等特性。其实htop是top的加强版，增加了很多功能。 官网 http://hisham.hm/htop/ 下载地址http:/…

编程日记2024/12/03 13:40:00

什么？神经网络还能求解高级数学方程？

来源 | 数据派 THU封图 | CSDN 付费下载于视觉中国 Facebook AI建立了第一个可以使用符号推理解决高级数学方程的AI系统。通过开发一种将复杂数学表达式表示为一种语言的新方法，然后将解决方案视为序列到序列的神经网络的翻译问题，我们构建了一个在解决积…

编程日记2024/12/03 13:30:00

***和******

网络是一把双刃剑，它在人类社会的发展中起着越来越重要作用，但同时，网络自身的安全问题也像挥之不去的阴影时刻笼罩在人们心头。据不完全统计，全世界平均每 20秒钟就发生一起******事件，互联网上大约有20万个***网站可…

编程日记2024/12/03 13:20:00

Linux监控工具dstat

dstat是一个用来替换 vmstat,iostat netstat,nfsstat和ifstat这些命令的工具, 是一个全能系统信息统计工具. 与sysstat相比, dstat拥有一个彩色的界面, 在手动观察性能状况时, 数据比较显眼容易观察; 而且dstat支持即时刷新, 譬如输入dstat 3, 即每三秒收集一次, 但最新的数据都…

编程日记2024/12/03 13:10:00

9月16号晚上，Asuka有一场关于Windows 7组策略的Webcast，欢迎兄弟们来捧场

之所以选题在组策略之一块，是因为Windows 7和2008 R2对于组策略有了很大的功能上的增强，但是很多IT人员都无法意识或者去重视这一块内容，所以我将从下面这3个角度去介绍这些更新。如果您正好有时间，那不妨来技术交流一番:)直播进入…

编程日记2024/12/03 13:00:00

腾讯天衍实验室联合微众银行研发医疗联邦学习 AI利器让脑卒中预测准确率达80%

近几年，医疗行业正在经历一场数字化转型，这场基于大数据和AI技术的变革几乎改变了整个行业的方方面面，将“信息就是力量”这句箴言体现的淋漓尽致，人们对人工智能寄以厚望，希望它能真正深入临床一线，帮助医…

编程日记2024/12/03 12:50:00

JavaSript模块化 AMD CMD 详解.....

模块化是指在解决某一个复杂问题或者一系列的杂糅问题时，依照一种分类的思维把问题进行系统性的分解以之处理。模块化是一种处理复杂系统分解为代码结构更合理，可维护性更高的可管理的模块的方式。可以想象一个巨大的系统代码，被整合优化分割…

编程日记2024/12/03 12:40:00