《Apache Kafka》学习笔记
1.什么是Kafka
Kafka是一个高通过率的分布式消息系统
2.消息队列（Message Queue)MQ的模型
消息队列的简单架构图
3个核心概念：
Sender Application：消息队列的发送者，也叫生产者producer
Message Queue
Receiver Application：消息接受者，也叫消费者comsumer
消息队列：消息排队，消息就是数据。通过消息模型可以完成一个系统和另一个系统的交互，系统的通信也就是系统与系统的调用。
消息队列容易和SOA混淆
SOA系统是直接的调用，通过代理对另个系统调用，也叫RPC的解决方案。
作为消息的架构和作为SOA的RPC最大的区别：不是直接的调用关系，消息作为异构系统的整合是通过消息的传递完成彼此之间的交互解耦合，彼此之间协调的处理。
消息队列的好处：1.解耦合 没有系统的侵入性 2.提高系统的响应时间
比如订单支付本来是需要完成123，这样会响应等待时间较长。
订单支付成功的方法(){
1、修改订单状态
2、计算会员积分
3、通知物流进行配送
}
改进 ：把用户最需要得到的响应操作放在订单支付成功的方法()中
订单支付成功的方法(){
1、修改订单状态
}
另外2个非主要功能可以借用消息系统发送到消息队列中，由消费者来消费。
2、计算会员积分
3、通知物流进行配送
3.消息队列的分类
两种：点对点和发布订阅
点对点问题：
1.如果消息被某个系统消费，但是其他系统就不能再消费
2.为了性能的提高我们还是希望有多点来消费，因为只能有一个消费者，所以这样就无法实现。
所以点对点用的很少。
kafka也属于发布订阅。
4.其他常见消息队列
RabbitMQ：支持的协议多，非常重量级消息队列，对路由(Routing)，负载均衡(Load balance)或者数据持久化都有很好的支持。
负载和路由：系统设计中，消息队列也许是要集群，集群就会消息在生产之后往哪个集群中的节点去发送数据。
持久化：有些消息队列可以文件等形式存储消息，目的是以防意外消息丢失。保证消息安全，但是由于其有IO所以性能有损失。
ZeroMQ：号称最快的消息队列系统，尤其针对大吞吐量的需求场景，擅长的高级/复杂的队列，但是技术也复杂，并且只提供非持久性的队列。
不支持持久化。
ActiveMQ：很早出现了，Apache下的一个子项，类似ZeroMQ，能够以代理人和点对点的技术实现队列 。JMS的一个实现者。EJB可以对其访问。
Redis：本质上不是消息队列而是一个key-Value的NoSql数据库，但也支持MQ功能，数据量较小，性能优于RabbitMQ，数据超过10K就很慢，10K之内效率在上面三者之上。
5.Kafka简介
Kafka是伴随大数据产生的，只要处理大数据，主要是内存计算，实时计算。Kafka作为一个非常重要的缓冲者完成内存计算或者实时计算的数据支持。
Kafka 是分布式发布-订阅消息系统，LinkedIn开源，Scala语言编写。
Kafka 是分布式发布-订阅消息系统。是一个分布式的，可划分的（对消息进行分区），多订阅者，冗余备份的持久性的日志服务（消息从生产者发送到kafka之后会存到其日志中）。它主要用于处理活跃的流式数据（几分钟左右，区别有mapreduce的几个小时）。
6.Kafka的特点
1.同时为发布和订阅提供高吞吐量。据了解，Kafka 每秒可以生产约 25 万消息（50 MB），每秒处理 55 万消息（110 MB）。
2.可进行持久化操作。将消息持久化到磁盘，因此可用于批量消费，例如 ETL，以及实时应用程序。通过将数据持久化到硬盘以及 replication 防止数据丢失。
3.分布式系统，易于向外扩展。所有的 producer、broker（对于MQ的表达，消息服务器叫broker） 和 consumer 都会有多个，均为分布式的。无需停机即可扩展机器。扩展需要依赖于zookeeper做节点负载均衡和master节点选举。
4.消息被处理的状态是在 consumer 端维护，而不是由 server 端维护。当失败时能自动平衡。
由哪个 consumer消费，消费了多少Broker不管。Broker只管存消息，删消息，不维护消息状态，是无状态服务。consumer需要zookeeper配合完成，消息来了，需要 consumer 去watch到zookeeper中的变化，zookeeper会记录消费的内容。
5.支持 online 和 offline 的场景。
7.性能测试
结论
参考：http://www.aboutyun.com/thread-9942-1-1.html
8.Kafka的逻辑架构
Produces生产消息放到topic中，会有多个topic，消息有分类，不同的消息对应不同的topic。
相关文章：
4 月 24 日开播！基于神经网络建模的信息传播预测
信息传播在我们的日常生活中无处不在，例如谣言的扩散、产品的推广以及新思想和新技术的普及等等，其建模和预测已经在多个重要领域内得到了广泛的研究。近年来，很多研究者利用以循环神经网络为主的深度学习模型对信息传播过程进行建模…
并行计算圆周率
看到这个题目，俗了，大家都在计算圆周率。不过咱们的目的是看一下并行计算的基本流程。 书上计算PI用的是精确的数值计算方法，我这里再给出一种概率计算方法。 OpenMP和MPI将同时亮相。 计算PI的方法 1.tan(PI/4)1 > PI4arctan1。知…
kafka-manager 的编译和使用（附安装包）
2019独角兽企业重金招聘Python工程师标准>>> kafka-manager是一个非常好用的kafka web管理工具，yahoo开源。 地址：github.com/yahoo/kafka-manager 1、编译过程比较简单，重点是能翻墙，如果网络环境不允许，可…
匿名函数应用-多线程测试代码
多线程测试代码，不用单独再写一个类，比较方面而已。 public class MainThread { static int a0; for (int x 0;x<100;x){ Thread t new Thread(new Runnable() { Override public void run() { while(true){ try { a;System.out.println(a);…
YOLOv4来了，大型调优现场，速度和准确率俱佳
作者 | VincentLee来源 | 晓飞的算法工程笔记简介论文提出YOLOv4，从图1的结果来看，相对于YOLOv3在准确率上提升了近10个点，然而速度并几乎没有下降，论文主要贡献如下：提出速度更快、精度更好的检测模型，仅需…
关于对J2EE几点误解和错误认识的澄清
转自：http://www.jdon.com .Net和J2EE的争论一直没有停止，我也参加过“程序员”杂志主持的“.Net和Java之争”之类的讨论，本来这两种技术都是为用户提供了竞争性的选择，对于用户来说是一件好事，多种选择远胜于单一选择…
org.springframework.dao.InvalidDataAccessApiUsageException: Write operations are not allowed in r...
2019独角兽企业重金招聘Python工程师标准>>> Struts Problem Report Struts has detected an unhandled exception: Messages: Write operations are not allowed in read-only mode (FlushMode.NEVER/MANUAL): Turn your Session into FlushMode.COMMIT/AUTO or re…
Java的Redis连接池代码性能不错
其实这个是引用自网友http://blog.csdn.net/tuposky/article/details/45340183，有2个版本，差别就是ReentrantLock和synchronized。另外原作者使用了断言，我觉得这个还是不用为好。 ReentrantLock版 import java.util.concurrent.locks.Reent…
降低预测过程计算成本，这些NLP模型压缩方法要知道
编译 | 凯隐出品 | AI科技大本营（ID:rgznai100）近年来，基于谷歌Transformer的语言模型在神经机器翻译，自然语言推理和其他自然语言理解任务上取得了长足进展。通过多种语言模型的平均损失进行自我监督预训练，使得在大范…
政府要尽快对应用商店出台管理办法
前两天联想的开发者大会，我和联想的CTO贺志强先生联合接受了一个视频访谈，贺先生谈到联想的乐园软件商店，组织大量的人力对于软件进行检测，以保证软件是合格产品，不会给用户一路带来侵害，对于联想这种负责态…
antlr-2.7.6.jar的作用
项目中没有添加antlr-2.7.6.jar,hibernate不会执行hql语句 并且会报NoClassDefFoundError: antlr/ANTLRException错误
junit集成Hamcrest测试集合中某个属性是否包含特定值
junit已经集成Hamcrest但是还是需要引用hamcrest-library，不然只有基本方法，高级的没有 <dependency> <groupId>junit</groupId><artifactId>junit</artifactId><version>4.12</version><scope>test<…
腾讯第100个开源项目：微信开源推理加速工具TurboTransformers
出品 | AI科技大本营（ID:rgznai100）4月24日，腾讯正式宣布开源Transformer推理加速工具TurboTransformers。该工具面向自然语言处理领域中Transformers相关模型丰富的线上预测场景，在微信、腾讯云、QQ看点等产品的线上服务中已经广…
程序员：提高编程效率的技巧
本文写给那些认为在项目上所花时间和效率成正比的程序员。我要说的是，事实并非如此。虽然你需要在电脑前敲键盘输入东西，但这只和编程沾上一点边。那么，程序员该如何利用时间呢？ 俗话说，磨刀不误砍柴工，拿出…
Qunee for HTML5 V2.5新版本发布
为什么80%的码农都做不了架构师？>>> Qunee for HTMl5 V2.5 beta2版本正式发布,此次版本内核改动较大,采用了新的2D渲染引擎,增加了延迟绘制功能,大幅改善画布的浏览体验,此外重构了鼠标键盘以及触控交互监听处理,增加右键框选功能,改善了多点触控交互,增…
泛型推断类型不符合上限
程序报错推断类型不符合上限 springsecurity需要自定义用户服务 代码 Overrideprotected void configure(AuthenticationManagerBuilder auth) throws Exception {auth.userDetailsService(new CustomUserDetailsService());}public class CustomUserDetailsService implemen…
如何通过深度学习，完成计算机视觉中的所有工作？
Mask-RCNN做对象检测和实例分割作者 | George Seif译者 | 天道酬勤，责编 | Carol出品 | AI科技大本营（ID:rgznai100）Mask-RCNN做对象检测和实例分割：https://miro.medium.com/max/1200/1*s9raSe9mLeSSuxE3API-ZA.gif你想做计算机视…
Windows PowerShell 2.0语言之字面类型系统
PowerShell语言允许通过一个字面类型（type Literals）来访问类型，它是用括号抬起的类型名，返回.NET底层的System.Type对象实例，如： PS C:\> [System.Int32]IsPublic IsSerial Name …
建立名称server
一、实验的目的：实现DNSserver功能，提供正向、反向解析二、实验环境装有Linux的Windows系统IP为192.168.6.3的虚拟机三、实验目的建立gr.org域的主名称server。解析：名称 IP 用途ns.gr.org 192.168.…
Java的JSON操作存储List到Redis
使用jackson和json-lib都可以 <dependency> <groupId>org.codehaus.jackson</groupId><artifactId>jackson-mapper-asl</artifactId><version>1.9.13</version></dependency><dependency><groupId>net.sf.json-li…
关注基于云的下一代应用开发
接受经济和信息化的视频专访专访的主页地址为：http://www.enicn.com/article/2010-08-20/0R064b52010.shtml我的其他视频，请参考土豆空间，地址为http://www.tudou.com/home/larryvmw。
确认了！MySQL 狠甩 Oracle 稳居 Top1！
01几乎所有程序员都会用到的 MySQL稳居 Top 1科技长河，顺之者昌，错失者亡。在2019年，CSDN面向具备超强计算力的数字化世界，我们进行了「大数据技术应用现状分析」，并发布了《2019-2020 年中国开发者调查报告》。发现&a…
[AWK]使用AWK进行分割字符串以及截取字符串
如何split当前的字符串，用$0，例如： cat num.2012032911 | awk {print $2} | awk {split($0,b,".");print b[2]} | cut -c 3- 获取第二列，例如第二列是com.sb3456.you那么在split当前的这个字符串获得sb3456,最后截取sb3…
SpringMVC集成Tiles布局引擎框架
Tiles布局框架， http://tiles.apache.org/ Spring已经对Tiles进行了集成。页头页尾公共模板页要靠这个，不然重复代码太多。 <dependency><groupId>org.apache.tiles</groupId><artifactId>tiles-servlet</artifactId><…
VC 文件操作(文件查找，打开/保存，读/写，复制/删除/重命名)
右击项目->属性->字符集：使用多字节字符集。这样可以使用char到CString的转化。char sRead[20] ""; CString strtest sRead; 大气象 //文件查找/*CString strFileTitle;CFileFind finder;BOOL bWorking finder.FindFile(_T("C:\*.sys"…
程序员会懂的冷笑话：各大编程语言的内心独白
作者 | Anupam Chugh译者 | 弯月，责编 | 夕颜出品 | CSDN（ID：CSDNnews）软件工程领域鱼龙混杂。有些人乐不思蜀，而有些人则饱受打击。然而，构建软件的工作让每个人倍感压力，这点毋庸置疑。在本文…
swift集成alamofire的简单封装
import UIKit import Alamofire enum MethodType{ case GET case POST } class NetworkTool: NSObject { class func request(type : MethodType ,urlString : String , paramters: [String :Any]? nil,finishedCallback : escaping (_ result : Any) -> ()) { //判断是什…
Go后台项目架构思考与重构 | 深度长文
作者 | 腾讯云后台工程师黄雷编辑 | 唐小引来源 | CSDN（ID：CSDNnews）引言本文首先介绍了架构的重要性，随后从一个实际项目的重构过程作为主线，逐步引出主流的架构设计思想以及其所解决的实际问题是什么。通过阅读本文&…
前途到底是网络工程还是程序设计
本人89年年底生的，现在快满21了，大二的时候过的国家网络工程师考试，并不是cisco的网络支持工程师，大三也就是现在，在学校花销太大，想自己赚点钱，于是在学校招聘会上应聘了一家通信公司ÿ…
FAIL - Deployed application at context path / but context failed to start
IDE报错：FAIL - Deployed application at context path / but context failed to start 编译通过，这个错误原因是很多地方被误用，导致Spring运行时不能解析某些Class导致， 例如：ModelAndView用错 public ModelAndView…