当前位置：首页 > 编程日记 > 正文

SpringBoot进行自然语言处理，利用Hanlp进行文本情感分析

编程日记 2023-12-07 21:55:07

. # 📑前言
本文主要是SpringBoot进行自然语言处理，利用Hanlp进行文本情感分析，如果有什么需要改进的地方还请大佬指出⛺️

🎬作者简介：大家好，我是青衿🥇
☁️博客首页：CSDN主页放风讲故事
🌄每日一句：努力一点，优秀一点

在这里插入图片描述

一、说明

自然语言处理已经进入大模型时代，然而从业人员必须了解整个知识体系、发展过程、知识结构，应用范围等一系列知识。本篇将报道此类概况。

二、自然语言处理简介

自然语言处理，或简称NLP，是处理和转换文本的计算机科学学科。它由几个任务组成，这些任务从标记化开始，将文本分成单独的意义单位，应用句法和语义分析来生成抽象的知识表示，然后再次将该表示转换为文本，用于翻译、问答或对话等目的。
在这里插入图片描述

三、Hanlp文本分类与情感分析基本概念

语料库

本文语料库特指文本分类语料库，对应IDataSet接口。而文本分类语料库包含两个概念：文档和类目。一个文档只属于一个类目，一个类目可能含有多个文档。

用Map描述

这种关系可以用Java的Map<String, String[]>来描述，其key代表类目，value代表该类目下的所有文档。用户可以利用自己的文本读取模块构造一个Map<String, String[]>形式的中间语料库，然后利用IDataSet#add(java.util.Map<java.lang.String,java.lang.String[]>)接口将其加入到训练语料库中。

用文件夹描述

这种树形结构也很适合用文件夹描述，即：

/**
 * 加载数据集
 *
 * @param folderPath  分类语料的根目录.目录必须满足如下结构:<br>
 *                    根目录<br>
 *                    ├── 分类A<br>
 *                    │   └── 1.txt<br>
 *                    │   └── 2.txt<br>
 *                    │   └── 3.txt<br>
 *                    ├── 分类B<br>
 *                    │   └── 1.txt<br>
 *                    │   └── ...<br>
 *                    └── ...<br>
 *

每个分类里面都是一些文本文档。任何满足此格式的语料库都可以直接加载。

数据集实现

考虑到大规模训练的时候，文本数量达到千万级，无法全部加载到内存中，所以本系统实现了基于文件系统的FileDataSet。同时，在服务器资源许可的情况下，可以使用基于内存的MemoryDataSet，提高加载速度。两者的继承关系如下：

训练

训练指的是，利用给定训练集寻找一个能描述这种语言现象的模型的过程。开发者只需调用train接口即可，但在实现中，有许多细节。

分词

目前，本系统中的分词器接口一共有两种实现：

但文本分类是否一定需要分词？答案是否定的。我们可以顺序选取文中相邻的两个字，作为一个“词”（术语叫bigram）。这两个字在数量很多的时候可以反映文章的主题（参考清华大学2016年的一篇论文《Zhipeng Guo, Yu Zhao, Yabin Zheng, Xiance Si, Zhiyuan Liu, Maosong Sun. THUCTC: An Efficient Chinese Text Classifier. 2016》）。这在代码中对应BigramTokenizer. 当然，也可以采用传统的分词器，如HanLPTokenizer。另外，用户也可以通过实现ITokenizer来实现自己的分词器，并通过IDataSet#setTokenizer来使其生效。

特征提取

特征提取指的是从所有词中，选取最有助于分类决策的词语。理想状态下所有词语都有助于分类决策，但现实情况是，如果将所有词语都纳入计算，则训练速度将非常慢，内存开销非常大且最终模型的体积非常大。
本系统采取的是卡方检测，通过卡方检测去掉卡方值低于一个阈值的特征，并且限定最终特征数不超过100万。

调参调参

对于贝叶斯模型，没有超参数需要调节。

训练

本系统实现的训练算法是朴素贝叶斯法，无需用户关心内部细节。另有一个子项目实现了支持向量机文本分类器，可供参考。由于依赖了第三方库，所以没有集成在本项目中。

模型

训练之后，我们就得到了一个模型，可以通过IClassifier#getModel获取到模型的引用。该接口返回一个AbstractModel对象，该对象实现了Serializable接口，可以序列化到任何地方以供部署。反序列化后的模型可以通过如下方式加载并构造分类器：

NaiveBayesModel model = (NaiveBayesModel) IOUtil.readObjectFrom(MODEL_PATH);
NaiveBayesClassifier naiveBayesClassifier = new NaiveBayesClassifier(model);

分类

通过加载模型，我们可以得到一个分类器，利用该分类器，我们就可以进行文本分类了。

IClassifier classifier = new NaiveBayesClassifier(model);

目前分类器接口中与文本分类有关的接口有如下三种：

/**
 * 预测分类
 *
 * @param text 文本
 * @return 所有分类对应的分值(或概率, 需要enableProbability)
 * @throws IllegalArgumentException 参数错误
 * @throws IllegalStateException    未训练模型
 */
Map<String, Double> predict(String text) throws IllegalArgumentException, IllegalStateException;

/**
 * 预测分类
 * @param document
 * @return
 */
Map<String, Double> predict(Document document) throws IllegalArgumentException, IllegalStateException;

/**
 * 预测分类
 * @param document
 * @return
 * @throws IllegalArgumentException
 * @throws IllegalStateException
 */
double[] categorize(Document document) throws IllegalArgumentException, IllegalStateException;

/**
 * 预测最可能的分类
 * @param document
 * @return
 * @throws IllegalArgumentException
 * @throws IllegalStateException
 */
int label(Document document) throws IllegalArgumentException, IllegalStateException;

/**
 * 预测最可能的分类
 * @param text 文本
 * @return 最可能的分类
 * @throws IllegalArgumentException
 * @throws IllegalStateException
 */
String classify(String text) throws IllegalArgumentException, IllegalStateException;

/**
 * 预测最可能的分类
 * @param document 一个结构化的文档(注意!这是一个底层数据结构,请谨慎操作)
 * @return 最可能的分类
 * @throws IllegalArgumentException
 * @throws IllegalStateException
 */
String classify(Document document) throws IllegalArgumentException, IllegalStateException;

classify方法直接返回最可能的类别的String形式，而predict方法返回所有类别的得分（是一个Map形式，键是类目，值是分数或概率），categorize方法返回所有类目的得分（是一个double数组，分类得分按照分类名称的字典序排列），label方法返回最可能类目的字典序。

情感分析

可以利用文本分类在情感极性语料上训练的模型做浅层情感分析。目前公开的情感分析语料库有：中文情感挖掘语料-ChnSentiCorp，语料发布者为谭松波。

接口与文本分类完全一致，请参考com.hankcs.demo.DemoSentimentAnalysis。

四、具体流程

特征提取

本系统采取的是卡方检测，通过卡方检测去掉卡方值低于一个阈值的特征，并且限定最终特征数不超过100万。

在这里插入图片描述

训练

在这里插入图片描述

测试结果

在这里插入图片描述
HanLP Github地址：https://github.com/hankcs/HanLP

HanLP文档地址：https://hanlp.hankcs.com/docs/api/hanlp/pretrained/index.html

📑文章末尾

在这里插入图片描述

spring boot自然语言处理easyui

https://www.dkcj.cn/info/283.html

spring.factories文件的作用

即spring.factories文件是帮助spring-boot项目包以外的bean（即在pom文件中添加依赖中的bean）注册到spring-boot项目的spring容器中。在Spring Boot启动时，它会扫描classpath下所有的spring.factories文件，加载其中的自动配置类，并将它们注入到Spring ApplicationContext中，使得项目能够自动运行。spring.factories文件是Spring Boot自动配置的核心文件之一，它的作用是。

编程日记2024/05/04 00:00:03

7min到40s：SpringBoot 启动优化实践

然后重点排查这些阶段的代码。先看下。

编程日记2024/04/21 00:30:05

SpringBoot系列教程之Bean之指定初始化顺序的若干姿势

之前介绍了@Order注解的常见错误理解，它并不能指定 bean 的加载顺序，那么问题来了，如果我需要指定 bean 的加载顺序，那应该怎么办呢？本文将介绍几种可行的方式来控制 bean 之间的加载顺序。

编程日记2024/04/21 00:30:05

SpringBoot接口防抖(防重复提交)的一些实现方案

作为一名老码农，在开发后端Java业务系统，包括各种管理后台和小程序等。在这些项目中，我设计过单/多租户体系系统，对接过许多开放平台，也搞过消息中心这类较为复杂的应用，但幸运的是，我至今还没有遇到过线上系统由于代码崩溃导致资损的情况。这其中的原因有三点：一是业务系统本身并不复杂；二是我一直遵循某大厂代码规约，在开发过程中尽可能按规约编写代码；三是经过多年的开发经验积累，我成为了一名熟练工，掌握了一些实用的技巧。啥是防抖所谓防抖，一是防用户手抖，二是防网络抖动。

编程日记2024/04/14 21:30:02

SpringBoot请求转发与重定向

但是可能由于B网址相对于A网址过于复杂，这样搜索引擎就会觉得网址A对用户更加友好，因而在重定向之后任然显示旧的网址A，但是显示网址B的内容。在平常使用手机的过程当中，有时候会发现网页上会有浮动的窗口，或者访问的页面不是正常的页面，这就可能是运营商通过某种方式篡改了用户正常访问的页面。重定向，是指在Nginx中，重定向是指通过修改URL地址，将客户端的请求重定向到另一个URL地址的过程，Nginx中实现重定向的方式有多种，比如使用rewrite模块、return指令等。使用场景：在返回视图的前面加上。

编程日记2024/04/07 22:30:03

SpringBoot 中实现订单30分钟自动取消的策略

在电商和其他涉及到在线支付的应用中，通常需要实现一个功能：如果用户在生成订单后的一定时间内未完成支付，系统将自动取消该订单。本文将详细介绍基于Spring Boot框架实现订单30分钟内未支付自动取消的几种方案，并提供实例代码。

编程日记2024/04/05 00:30:03

SpringBoot 优雅实现超大文件上传，通用方案

通俗的说，你把要上传的东西上传，服务器会先做MD5校验，如果服务器上有一样的东西，它就直接给你个新地址，其实你下载的都是服务器上的同一个文件，想要不秒传，其实只要让MD5改变，就是对文件本身做一下修改（改名字不行），例如一个文本文件，你多加几个字，MD5就变了，就不会秒传了。分片上传，就是将所要上传的文件，按照一定的大小，将整个文件分隔成多个数据块（我们称之为Part）来进行分别上传，上传完之后再由服务端对所有上传的文件进行汇总整合成原始的文件。

编程日记2024/03/18 22:30:02

Springboot + oauth2 单点登录 - 原理篇

OAuth 协议为用户资源的授权提供了一个安全的、开放而又简易的标准，允许用户授权第三方移动应用访问他们存储在另外的服务提供者上的信息，而不需要将用户名和密码提供给第三方移动应用或分享他们数据的所有内容，OAuth2.0是OAuth协议的延续版本，但不向后兼容OAuth 1.0即完全废止了OAuth1.0。授权码模式（authorization code）密码模式（resource owner password credentials）客户端模式（client credentials）不常用。

编程日记2024/03/11 22:30:03

Springboot整合HBase——大数据技术之HBase2.x

Apache HBase 是以hdfs为数据存储的，一种分布式、可扩展的noSql数据库。是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase使用与BigTable（BigTable是一个稀疏的、分布式的、持久化的多维排序map）非常相似的数据模型。用户将数据行存储在带标签的表中。数据行具有可排序的键和任意数量的列。该表存储稀疏，因此如果用户喜欢，同一表中的行可以具有疯狂变化的列。

编程日记2024/02/15 23:30:03

Docker部署SpringBoot项目详细部署过程

Docker可比喻成一个装应用的容器，将应用及其依赖文件、数据等打包在容器内，直接运行容器即可把应用运行起来，而无需关心环境配置问题。本文记录个人学习Docker的总结内容，安装、配置和部署等内容，在过程中，应注意命令不要写错，加上Docker插件等问题，若出现理解不到位的地方，请多指出。

编程日记2024/02/03 00:30:01

spring和springboot、springMVC有什么区别？

今天来聊一下，刚在面试中被问到的一个经典问题Spring 提供了广泛的功能用于企业级应用开发Spring Boot 简化了 Spring 应用的开发和部署Spring MVC 则是专注于构建 Web 应用的 MVC 框架在使用时，你可以根据项目需求选择合适的组件或组合使用它们。在很多现代的 Spring 应用中，特别是微服务架构中，Spring Boot 和 Spring MVC 经常一起使用。好了，以上就是本文的全部内容，如有问题欢迎留言讨论。

编程日记2024/01/23 13:58:47

Spring Boot整合日期转换器（Converter）和拦截器（HandlerInterceptor）

配置文件形式针对框架进行个性化定制，例如：拦截器，类型转化器等等。WebMvcConfigurer配置类其实是。内部的一种配置方式，采用。

编程日记2024/01/18 23:41:46

SpringBoot 使用过滤器、拦截器、切面(AOP)，及其之间的区别和执行顺序

Servlet(Server Applet)，全称是Java Servlet，是提供基于协议请求/响应服务的Java类。在JavaEE中是Servlet规范，即是指Java语言实现的一个接口，广义的Servlet是指任何实现了这个Servlet接口的Java类，一般人们理解是后者。是什么。

编程日记2024/01/14 01:00:02

【总结】SpringBoot 中过滤器、拦截器、监听器的基本使用

拦截器是在面向切面编程中应用的，就是在你的service或者一个方法前调用一个方法，或者在方法后调用一个方法。是基于JAVA的反射机制。1）预处理preHandle()方法用户发送请求时，先执行preHandle()方法。会先按照顺序执行所有拦截器的preHandle方法，一直遇到return false为止，比如第二个preHandle方法是return false，则第三个以及以后所有拦截器都不会执行。若都是return true，则执行用户请求的url方法。2）后处理postHandle()方法。

编程日记2024/01/14 01:00:02

SpringBoot--过滤器/拦截器/AOP--区别/使用/顺序

本文介绍SpringMVC（SpringBoot）中的过滤器、拦截器、AOP的区别及其用法。如果监听器、过滤器、拦截器、 AOP都存在，则它们的执行顺序为：监听器 => 过滤器=> 拦截器=> AOP。

编程日记2024/01/13 00:00:03

Spring boot 3 集成rocketmq-spring-boot-starter解决版本不一致问题

根据上篇文章使用Docker安装RocketMQ并启动之后，有个隐患详情见下文。如何解决rocketmq 和spring boot 3.x集成问题

编程日记2024/01/10 17:58:27

基于SpringBoot的校园二手闲置交易平台

基于SpringBoot的校园二手闲置交易平台的设计与实现~

编程日记2024/01/03 11:57:03

SpringBoot 中获取 Request 的四种方法

Controller中获取request对象后，如果要在其他方法中（如service方法、工具类方法等）使用request对象，需要在调用这些方法时将request对象作为参数传入。如果其他方法（如工具类中static方法）需要使用request对象，则需要在调用这些方法时将request参数传递进去。下面介绍的方法4，则可以直接在诸如工具类中的static方法中使用request对象（当然在各种Bean中也可以使用）。该方法实现的原理是，在Controller方法开始处理请求时，对象是方法参数，相当于。

编程日记2024/01/03 09:44:59

springboot对接WebSocket实现消息推送

项目上线需要https请求，把请求地址换成wss，需要通过nginx配置转发，再443端口加上如下配置。请求地址更换成wss://域名/wss/websocket/或者播放指定的音频文件，播放音频需要浏览器设置可以发放声音。2.增加配置WebSocketConfig.java。7.增加消息推送语音播放_文本转语音。3.创建一个WebSocket实例。6.前端对接WebSocket。4.修改启动类，添加注解。8.如何修改成wss请求。5.测试一下推送消息。

编程日记2023/12/31 08:41:59

基于SpringBoot整合RocketMQ异步发送短信功能

上一篇文章记录了 RocketMQ 整体架构、安装部署、应用场景这三个内容。熟悉了 RocketMQ 相关核心概念后，本文记录基于 SpringBoot 整合 RocketMQ 异步发送短信功能，其中会引入阿里云短信服务相关内容。

编程日记2023/12/24 22:19:59

利用systemd设置springboot微服务服务在linux重启后自启动

要使 Spring Boot 服务的 JAR 包在 Linux 重启后自启动，您可以使用systemd。

编程日记2023/12/19 00:30:02

【Spring boot】RedisTemplate中String、Hash、List设置过期时间

putIfAbsent 指的是如果传入key对应的value已经存在，就返回存在的value，不进行替换。如果不存在，就添加key和value，返回null。如果传入key对应的value已经存在，就返回存在的value，不进行替换。如果不存在，就添加key和value，返回null。下面这两句话，可以实现向Redis插入Hash数据，并且设置整个Hash的过期时间。TimeUnit.MILLISECONDS：毫秒。TimeUnit.MILLISECONDS：微秒。TimeUnit.MINUTES：分。

编程日记2023/12/12 22:30:02

Spring-Boot---项目创建和使用

Spring的诞生是为了简化Java程序开发的；而Spring-Boot的诞生是为了简化Spring程序开发的。快速集成框架：Spring-Boot提供了启动添加依赖的功能，用于秒级集成各种框架内置运行容器：内置了Tomcat等Web容器，无需配置可以直接运行和部署快速部署项目：更方便的把项目部署到云服务器上完全抛弃繁琐的XML：使用注解和配置的方式进行开发支持更多的监控指标：可以更好的了解项目的运行情况我们自己要创建的类要放在和启动类的同级目录下，如果不在同级运行时会报错。

编程日记2023/12/04 10:03:12

微信小程序完整实现微信支付功能（SpringBoot和小程序）

然后到提供前端调用支付路由的类，WechatController类，注意我这里路由拼接的有/wechat/pay/notify，这个要和之前配置yml文件的支付回调函数一样，要不然不行。不久前给公司实现支付功能，折腾了一阵子，终于实现了，微信支付对于小白来说真的很困难，特别是没有接触过企业级别开发的大学生更不用说，因此尝试写一篇我如何从小白实现微信小程序支付功能的吧，使用的后端是SpringBoot。效果如下，这里因为我的手机不能截图支付页面，所以用的开发者工具支付的效果，都是一样的。4.前端（小程序端）

编程日记2023/11/25 08:54:30

目录

文章目录

一、说明

二、自然语言处理简介

三、Hanlp文本分类与情感分析基本概念

语料库

用Map描述

用文件夹描述

数据集实现

训练

分词

特征提取

调参调参

训练

模型

分类

情感分析

四、具体流程

特征提取

训练

测试结果

📑文章末尾

相关文章：