分布式消息队列Kafka集群安装
kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。在这片博文中，作者简单提到了开发kafka而不选择已有MQ系统的原因。两个原因：性能和扩展性。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）。
Kafka版本：0.8.0
约定：安装3台虚拟机
官网：http://kafka.apache.org/
官方文档：http://kafka.apache.org/documentation.html#quickstart
下载解压
# wget http://mirrors.hust.edu.cn/apache/kafka/0.8.0/kafka-0.8.0-src.tgz
# tar xzf kafka-0.8.0-src.tgz
# cd kafka-0.8.0-src
Kafka是用Scala写的，SBT是Simple Build Tool的简称，如果读者使用过Maven，那么可以简单将SBT看做是Scala世界的Maven，虽然二者各有优劣，但完成的工作基本是类似的。
## Building it ##
# ./sbt update
# ./sbt package
# ./sbt assembly-package-dependency
以上每一步完成就会提醒[Success]
例如：[success] Total time: 21 s, completed 2014-2-11 10:29:55
集群环境需要修改配置文件
# vim config/server.properties
brokerid：这个每个server（broker）必须唯一，写数字
hostname：这个也是唯一的，写服务器IP即可
############################# Server Basics ############################## The id of the broker. This must be set to a unique integer for each broker.
broker.id=3############################# Socket Server Settings ############################## The port the socket server listens on
port=9092# Hostname the broker will bind to and advertise to producers and consumers.
# If not set, the server will bind to all interfaces and advertise the value returned from
# from java.net.InetAddress.getCanonicalHostName().
#host.name=localhost
host.name=192.168.2.111还有就是zookeeper.connect也要配置
zookeeper.connect=192.168.19.218:2181,192.168.19.217:2181,192.168.19.214:2181其他默认配置即可。
启动Kafka服务
# /usr/kafka-0.8.0-src/bin/kafka-server-start.sh /usr/kafka-0.8.0-src/config/server.properties
创建Topic
# /usr/kafka-0.8.0-src/bin/kafka-create-topic.sh --zookeeper localhost:2181 --partition 1 --topic test
查看Topic
# /usr/kafka-0.8.0-src/bin/kafka-list-topic.sh --zookeeper localhost:2181
输出：
topic: test partition: 0 leader: 1 replicas: 1 isr: 1
说明：
partiton： partion id，由于此处只有一个partition，因此partition id 为0
leader：当前负责读写的lead broker id
relicas：当前partition的所有replication broker list
isr：relicas的子集，只包含出于活动状态的broker
producer发送消息
# /usr/kafka-0.8.0-src/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message
consumer接收消息
# /usr/kafka-0.8.0-src/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
注意，如果上述命令不能发送接收消息说明没有配置host，可以直接用ip
producer发送消息
# /usr/kafka-0.8.0-src/bin/kafka-console-producer.sh --broker-list 192.168.19.218:9092 --topic test
consumer接收消息
# /usr/kafka-0.8.0-src/bin/kafka-console-consumer.sh --zookeeper 192.168.19.218:2181 --topic test --from-beginning
如果要最新的数据，可以不带--from-beginning参数即可。
# /usr/kafka-0.8.0-src/bin/kafka-console-consumer.sh --zookeeper 192.168.19.218:2181 --topic test
在kafka的核心思路中，不需要在内存里缓存数据，因为操作系统的文件缓存已经足够完善和强大，只要不做随机写，顺序读写的性能是非常高效的。kafka的数据只会顺序append，数据的删除策略是累积到一定程度或者超过一定时间再删除。Kafka另一个独特的地方是将消费者信息保存在客户端而不是MQ服务器，这样服务器就不用记录消息的投递过程，每个客户端都自己知道自己下一次应该从什么地方什么位置读取消息，消息的投递过程也是采用客户端主动pull的模型，这样大大减轻了服务器的负担。Kafka还强调减少数据的序列化和拷贝开销，它会将一些消息组织成Message Set做批量存储和发送，并且客户端在pull数据的时候，尽量以zero-copy的方式传输，利用sendfile(对应java里的FileChannel.transferTo/transferFrom)这样的高级IO函数来减少拷贝开销。可见，kafka是一个精心设计，特定于某些应用的MQ系统，这种偏向特定领域的MQ系统我估计会越来越多，垂直化的产品策略值的考虑。
只要磁盘没有限制并且不出现损失，kafka可以存储相当长时间的消息（一周）。
原文出自：本人另一个博客http://blog.csdn.net/unix21/
相关文章：
[na]pc加入域认证细节
这也是以前好奇,因为学生时候,经常机房上网, 对一些譬如.. 现在看来很low了. 是小作坊式的技术, 真正上不了台面的.扛不住生产的压力. ftp共享计算机统一管理等无盘/网克等特别好奇 计算机组织的两种形式 加入办公网络里有200多台pc,如果各个独立的上网互不干扰. 这种也挺方便,…
react 树形菜单_关于React 使用antd组件递归实现左侧菜单导航树（MenusTree）的示例...
一、菜单组件Demo这里本人采用的是蚂蚁金服(antd)组件库里的{Menu}组件写的一个左侧菜单树的小Demo(整套开发环境是ReactReduxwebpack)import React from react;import { Menu, Icon } from antd;import {WeaScroll} from ecCom;import {bindActionCreators} from redux;import…
SQL快速入门 ( MySQL快速入门, MySQL参考, MySQL快速回顾 )
SQL 先说点废话，很久没发文了，整理了下自己当时入门 SQL 的笔记，无论用于入门，回顾，参考查询，应该都是有一定价值的，可以按照目录各取所需。SQL数据库有很多，MySQL是一种，…
MyEclipse2014配置Tomcat开发JavaWeb程序JSP以及Servlet
1.安装准备 1).下载安装MyEclipse2014，这已经是最新版本。2).下载Tomcat 官网：http://tomcat.apache.org/ 我们选择8.0： http://tomcat.apache.org/download-80.cgi 在windows下选择64位解压版：http://mirror.bit.edu.cn/apache/t…
[转]Linux 的多线程编程的高效开发经验
Linux 平台上的多线程程序开发相对应其他平台（比如 Windows）的多线程 API 有一些细微和隐晦的差别。不注意这些 Linux 上的一些开发陷阱，常常会导致程序问题不穷，死锁不断。本文中我们从 5 个方面总结出 Linux 多线程编程上的问题…
mac webpack 版本_晓前端周刊 第48期：EMP面向未来微前端方案正式开源了！玩转 webpack，使你的打包速度提升 90%；...
业界动态苹果最大杀招：iPhone App 已能在电脑运行近日网友反馈，苹果 App Store 中大量应用在兼容性一栏中显示：已支持运行 macOS 11(及以上版本)的 Mac 电脑。这意味着，iPhone 中的应用，已可以在 Mac 电脑中运行。并非…
LNMP安装配置
LNMP安装配置 目录bin：存放普通用户可执行命令sbin:存放超级用户可执行命令which iptables ： 查看boot目录：存放系统启动所需（内核，映像）dev：设备文件（鼠标，键盘...等外部…
效果广告点击率预估实践：在线学习
效果广告点击率预估实践：在线学习 原创 2016-03-24 腾讯大数据 腾讯大数据1.引言 技术钻研如逆水行舟，不进则退。公司的广告业务发展非常迅猛，有目共睹，激烈的外部竞争和客户越来越高的期望，都要求我们的技术不断进步&…
Redis安装与调试
Redis安装与调试 Redis安装与调试linux版本：64位CentOS 6.5 Redis版本：2.8.17 (更新到2014年10月31日) Redis官网：http://redis.io/ Redis常用命令：http://redis.io/commands 1.安装Redis # wget http:…
lumen mysql 事务_简单几部搞定laravel/lumen跨库操作
1.跨库数据库配置在网站跟目录下的config文件中增加database.php作为数据库配置文件。配置如下：//当前默认数据库mysql > [driver > mysql,host > env(DB_HOST, localhost),port > env(DB_PORT, 3306),database > env(DB_DATABASE, forge),username …
springMVC出现HTTP Status 405 - Request method 'GET' not supported错误的解决方法
今天在写一个简单的springMVC的表单请求处理时，出现了这个问题。我的form表单用的是post方法提交，并没有使用get方法，出现这个问题时，笔者可谓是一脸懵逼。这是form表单：这是对post请求的处理方法：检查了半…
从Nginx源码谈大小写字符转化的最高效代码以及ASCII码表的科学
说起大小写字母转换，大家很容易想起系统函数是不是，几乎所有的编程语言都提供了这种转换函数，但是你有没有想过这背后是怎么实现的？ 让你写怎么实现？我们都知道Nginx是目前用的最多的Http服务器，那么他的代…
常回“家”看看
近一年来很少写博客了，原因很多，一言难尽！感觉人在每个阶段思想都在不断发生变化，往往某一时期认定的事情会在另外一个阶段发生自我否定或者是改变！之前认为自己也许不再走技术路线了，所以把精力都放在了其…
python launcher怎么使用_QMUI实战(一)—为何我们要使用 LauncherActivity?
QMUI 2 发布了，但是里面换肤等相关的很多东西，如果不讲，那么很多人估计就只能复制粘贴下 QMUIDemo 的代码，而并不能用好 QMUI， 或者是通过 QMUI 来提升自己的 UI 开发能力，毕竟现在很多 Android 开发都是轻…
CoAP 协议解析说明（转）
CoAP 协议全面分析 HTTP与COAP 请求与响应示例 HTTP请求（文本格式） POST https://getman.cn/echo HTTP/1.1 User-Agent: Fiddler Host: getman.cn Content-Length: 9{temp:22}HTTP响应（文本格式） HTTP/1.1 200 OK Server: NWSs Da…
孔雀翎----《Programming C# 》中文版 第4版
孔雀翎----《Programming C# 》中文版 第4版 主页：http://blog.csdn.net/21aspnet/ 时间：2007.8.7 电子工业出版社给我邮寄了此书，所以本人可以先在出版之前一睹为快。 本人曾看过300多本.NET方面的书，感慨颇深。其实一…
iOS开发小技巧--textField成为密码框，view加载完后textField获取焦点
文本框安全输入：Secure Text Entry（安全文本输入）view加载完后textField获取焦点的正确做法
python出现typeerror原因是_Python 文件添加列表数据后TypeError原因
# -*- coding: utf-8 -*-#打开文件，将文件读入字符串colfopen(pride.txt)textf.read()colstext.split()f2open(data.txt,w)for col in cols:f2.write(col)f2.write(\n)以上代码运行无误。# -*- coding: utf-8 -*-#打开文件，将文件读入字符串colfopen(pri…
LVM逻辑卷创建管理
LVM（逻辑分区）的创建顺序：物理分区－物理卷－卷组－逻辑卷－挂载。物理卷（Physical Volume,PV）：就是指硬盘分区，也可以是整个硬盘或已创建的软RAID&am…
Linux环境PHP5.5以上连接SqlServer2008【全网最经典无错版】
linux版本：64位CentOS 6.4 Nginx版本：nginx1.8.0 php版本：php5.5.28 Sqlserver版本：2008 FreeTDS版本：0.95 关于Linux环境安装NginxPHP参考Linux环境Nginx安装与调试以及PHP安装 即可。一般来说，PHPmysql是…
python矩阵运算库效率_python - 布尔矩阵运算的最快方法_performance_酷徒编程知识库...
只需在compute中进行一些小的更改：def compute(m, n):m np.asarray(m)n np.asarray(n)# Apply mask N in advancem2 m & n# Pack booleans into uint8 for more efficient bitwise operations# Also transpose for better caching (maybe?)mb np.packbits(…
hibernate-session中的方法
1.操作实体对象的方法 save() 保存 update() 更新 saveOrUpdate() 保存或更新 delete() 删除 2.操作缓存的方法 clear() 清除所有缓存 evit() 将指定对象清除出缓存 flush() 刷新到数据库中（）马上执行sql语句，不会清除session缓存&#x…
[JZOJ4786]小a的强迫症
[JZOJ4786]小a的强迫症 题目大意： 有\(n(n\le10^5)\)种颜色的珠子，第\(i\)种颜色有\(num[i]\)个。你要把这些珠子排成一排，使得第\(i\)种颜色的最后一个珠子一定在第\(i1\)种珠子的最后一个珠子之前，求方案数。 思路： …
Servlet,过滤器，监听器，拦截器的区别
由于最近两个月工作比较清闲，个人也比较“上进”，利用工作空余时间，也继续学习了一下，某天突然想起struts2和struts1的区别的时 候，发现为什么struts1要用servlet，而struts2要用filter呢？一时又…
Linux环境Nginx安装多版本PHP
关于Linux环境Nginx安装与调试以及PHP安装参考此文即可：http://blog.csdn.net/unix21/article/details/8544922linux版本：64位CentOS 6.4 Nginx版本：nginx1.8.0 php版本：php5.5.28 & php5.4.44 所谓多版本多版本PHP就是php5.4…
java 扫描tcp端口号_多线程TCP端口扫描 java实现
界面部分：import java.awt.Color;import java.awt.Container;import java.awt.FlowLayout;import java.awt.event.WindowAdapter;import java.awt.event.WindowEvent;import javax.swing.JDialog;import javax.swing.JFrame;import javax.swing.JLabel;import javax…
【go同步编程】
锁 互斥锁 函数write中的这条defer语句保证了在该函数被执行结束之前互斥锁mutex一定会被解锁。 var mutex sync.Mutex func write() { mutex.Lock() defer mutex.Unlock() // 省略若干条语句 } func repeatedlyLock() {var mutex sync.Mutexfmt.Println("Lock the lock. …
Linux环境PHP7.0安装
PHP7和HHVM比较PHP7的在真实场景的性能确实已经和HHVM相当, 在一些场景甚至超过了HHVM。HHVM的运维复杂, 是多线程模型, 这就代表着如果一个线程导致crash了, 那么整个服务就挂了, 并且它不会自动重启。另外它采用JIT, 那么意味着, 重启以后要预热, 没有预热的情况下, 性能较为…
myeclipse java可视化_使用MyEclipse可视化开发Hibernate实例
使用MyEclipse可视化开发Hibernate实例2.7节的例子源代码在配套光盘sourcecode/workspace目录的chapter02_first项目中。这个实例主要演示如何使用MyEclipse的可视化开发工具开发Hibernate应用，利用MyEclipse可以提高我们开发Java EE应用的效率。操作的数据库表还是…
day20 文件上传下载
2019独角兽企业重金招聘Python工程师标准>>> 文件上传基础及api解析： 文件上传最终版： 文件下载： 转载于:https://my.oschina.net/u/2356966/blog/648774