当前位置: 首页 > 编程日记 > 正文

Storm 0.9安装指南

Storm 0.9.2安装指南

0 Storm0.9的亮点

引用网上的描写叙述:

Storm 0.9.0.1版本号的第一亮点是引入了netty transportStorm网络传输机制实现可插拔形式,当前包括两种方式:原来的0mq传输,以及新的netty实现。在早期版本号中(0.9.x之前的版本号),Storm仅仅支持0mq传输,因为0MQ是一个本地库(native library),对平台的依赖性较高,要全然正确安装还是有一定挑战性。而且版本号之间的差异也比較大。Netty Transport提供了纯JAVA的替代方案。消除了Storm的本地库依赖,且比0MQ的网络传输性能快一倍以上。

Storm 0.9.0.1版本号提供了有助于调试和检測拓扑结构的新特性:logviewer(守护进程名)

你如今能够在Storm UI通过点击相应的Woker来查看相应的工作日志。

有点相似于hadoop的那种日志查看机制。

安全性、认证以及授权已经并将继续成为将来的重要特点重点领域。

Storm 0.9.0.1版本号引入了一个可插拔的序列化元组API以及实现一个基于blowfish加密方法对敏感数据进行加密的用例。

1 依赖包安装

Storm依赖包有JDK, Python和Zookeeper。

1.1 JDK和Python

JDK和Python很easy,在Yum库中就有安装包。

> yum install java-1.7.0-openjdk.i386

> yum install python.i386

1.2 ZooKeeper

Zookeeper须要手动下载安装。首先下载解压:

> wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

> tar -xzvf zookeeper-3.4.6.tar.gz

> chown -R root:root zookeeper-3.4.6

然后配置:

> cd zookeeper-3.4.6

> cp conf/zoo_sample.cfg conf/zoo.cfg

> export ZOOKEEPER_HOME=/usr/local/src/zookeeper-3.4.5

> export PATH=$ZOOKEEPER_HOME/bin:$PATH

最后启动服务器。并用客户端连上去測试:

> bin/zkServer.sh start

> bin/zkCli.sh -server 127.0.0.1:2181

2 Storm安装

> wget

http://mirrors.hust.edu.cn/apache/incubator/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz

> tar -xzvf apache-storm-0.9.2-incubating.tar.gz

在/conf/storm.yaml中配置Storm为单机模式。而且通过Netty通信(Storm 0.9新功能。否则还要依照ZeroMQ):

storm.zookeeper.servers:

- "localhost"

nimbus.host : "localhost"

storm.local.dir : "/var/storm"

ui.port : 8088

storm.messaging.transport :"backtype.storm.messaging.netty.Context"

storm.messaging.netty.server_worker_threads : 1

storm.messaging.netty.client_worker_threads : 1

storm.messaging.netty.buffer_size : 5242880

storm.messaging.netty.max_retries : 100

storm.messaging.netty.max_wait_ms : 1000

storm.messaging.netty.min_wait_ms : 100

启动Storm全部后台服务:

> bin/storm nimbus >/dev/null 2>&1 &

> bin/storm supervisor>/dev/null 2>&1 &

> bin/storm ui >/dev/null 2>&1 &

> bin/storm logviewer > /dev/null 2>&1 &

正常的訪问日志应该是这种:


訪问UI http://localhost:8080 就能看到监控页面了。


3 常见问题

3.1 Python版本号问题

注意:yum install的可能是低版本号的Python。像我的CentOS 5.5给我装的就是2.3。

后面启动storm时直接就报错了。

能够使用这个方案安全地升级Python到2.7:

> wget https://www.python.org/ftp/python/2.7.8/Python-2.7.8.tgz

> cd Python-2.7.8

> ./configure –prefix=/usr/local/python

> make

> make install

覆盖老版本号文件(老文件要保留,否则Yum就没法用了!)

> mv /usr/bin/python /usr/bin/python_old

> ln -s /usr/local/python/bin/python /usr/bin

将/usr/bin/yum脚本中的第一行改为:#!/usr/bin/python_old

大功告成!

如今敲Python命令进入的就是2.7版本号了,而且Yum命令也好使。

3.2 ZooKeeper连接问题

当storm.yaml中nimbus和zookeeper的IP地址配置成虚拟机实际IP时。启动nimbus就会报错:KeeperErrorCode = ConnectionLoss for /storm … 都改为localhost就能够了。

其它问题还有:忘记启动ZooKeeper服务,没有关防火墙(service iptables stop)等。

转载于:https://www.cnblogs.com/wzjhoutai/p/7359655.html

相关文章:

WinForm 设置初始位置在屏幕右下角

base.Location new Point(Screen.PrimaryScreen.WorkingArea.Width - base.Width, Screen.PrimaryScreen.WorkingArea.Height - base.Height);转载于:https://www.cnblogs.com/RobotTech/archive/2008/01/31/1059548.html

给博客增加了一个主题Nautica02Liquid

在Open Source Web Design上看到一个主题,觉得很不错,于是将其Adapted成BlogEngine的主题,费劲功夫改出来后发现效果不是很好,个人认为是汉字在某些精美的主题上倒是不很适应,没有办法…… 但是总归是做出来了&#xf…

php 基于socket的基本通信

php 基于socket的基本通信 1、前言 Socket是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口。在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面,对用户来说,一组简单的接…

SpringBoot实战(十四)之整合KafKa

本人今天上午参考了不少博文,发现不少博文不是特别好,不是因为依赖冲突问题就是因为版本问题。 于是我结合相关的博文和案例,自己改写了下并参考了下,于是就有了这篇文章。希望能够给大家帮助,少走一些弯路。 一、KafK…

Java 对象的生命周期

Java对象的生命周期 在Java中,对象的生命周期包括以下几个阶段: 创建阶段(Created)应用阶段(In Use)不可见阶段(Invisible)不可达阶段(Unreachable)收集阶段(Collected)终结阶段(Finalized)对象空间重分配阶段(De-allocated) 图1. JavaObject Life Cyc…

ThinkPad -- Intel 无线网卡网络连接方法限制及无法用 Fn + F5 控制的问题

[url]http://www-900.ibm.com/cn/support/tscdoc/html/JLII-6R6E5C.HTML[/url]文章编号:JLII-6R6E5CThinkPad -- Intel 无线网卡网络连接方法限制及无法用 Fn F5 控制的问题适用机型:所有ThinkPad R50; 所有ThinkPad R50e; 所有ThinkPad R50p; 所有ThinkPad R51; 所有ThinkPad…

TreeSet集合(自然排序和比较器排序)

TreeSet集合自然排序和比较器排序 ​ 当指执行插入排序、希尔排序、归并排序等算法时,比较两个对象“大小”的比较操作。我们很容易理解整型的 i>j 这样的比较方式,但当我们对多个对象进行排序时,如何比较两个对象的“大小”呢&#xff1…

java字节流

一 字节流 1.1字节输出流OutputStream OutputStream是一个抽象类,操作的数据都是字节。 输出流中定义都是写write方法,如下图: 1.1.1 FileOutputStream类 OutputStream有很多子类,其中子类FileOutputStream可用来写入数据到文件。FileOutput…

MySQL:讨人喜欢的 MySQL replace into 用法(insert into 的增强版)

讨人喜欢的 MySQL replace into 用法(insert into 的增强版) 在向表中插入数据的时候,经常遇到这样的情况:1. 首先判断数据是否存在; 2. 如果不存在,则插入;3.如果存在,则更新。 在 …

读农民工兄弟学C#文章后的感觉

呵呵,这些文章让原本枯燥的技术文章变得简单,通俗,易懂此类文章是编程入门新手必读的好文章,当然高手可以看一下这些文章的语言风格,等日后自己出书时,可以参考之!哈哈,哪天我也出一本属于自己的技术书^_^好可惜的是自己离"高手"还有那么一段路要走!当然喽,我不是高手…

36晋级12第五场:冯志刚决胜入围(节目视频)

视频地址:[url]http://win.cn.yahoo.com/070613/16/mn53.html[/url]比赛时间:2007年4月17日 选手:王阳、冯志刚、刘恩霞、王嵩 评委: 熊晓鸽:IDG创业投资基金 创始合伙人 马云:阿里巴巴集团董事局主席及雅虎…

顯示密碼安全性強度

<div class"from-nav"><div class"Mtitle"><span>密码:</span></div><div class"Mright"><input name"password"type"password"id"password"size"20"class&quo…

HashMap集合遍历的五种方式

文章目录创建HashMap集合&#xff0c;添加数据一、第一种foreach遍历二、第二种foreach遍历三、第一种迭代器遍历 效率高&#xff08;建议使用&#xff09;四、第二种迭代器遍历 效率低&#xff08;不建议使用&#xff09;五、JDK8新特性&#xff0c;通过lambda遍历Map创建Hash…

JAVA核心技术I---JAVA基础知识(查漏补缺private,static)

一&#xff1a;private对于类和对象&#xff08;同C&#xff09; private是只有这个类内部可以访问&#xff08;类的成员函数和定义初始化&#xff09; private是类之间的限制&#xff0c;而不是对对象的限制《重点》 同类对象是可以直接访问对象的私有成员 class priTest{priv…

『TensorFlow』命令行参数解析

argparse很强大&#xff0c;但是我们未必需要使用这么繁杂的东西&#xff0c;TensorFlow自己封装了一个简化版本的解析方式&#xff0c;实际上是对argparse的封装 脚本化调用tensorflow的标准范式&#xff1a; import pprint import tensorflow as tfflags tf.app.flags# 脚本…

IIS重起批处理

将以下代码保存到一个BAT文件中,执行后便可释放所有被锁定的组件。执行顺序是&#xff1a;停止&#xff37;&#xff37;&#xff37;服务&#xff0d;〉停止组件保护&#xff0d;〉开启组件保护&#xff0d;〉开启&#xff37;&#xff37;&#xff37;服务。net stop w3svc /…

RenderTree渲染树

RenderTree渲染树对类中的静态成员有很重要的关系&#xff0c;这个和多态是有很重要的关系&#xff0c;举个简单的例子&#xff0c;在游戏中&#xff0c;马里奥需要渲染&#xff0c;蘑菇也需要渲染&#xff0c;怪兽也需要渲染&#xff0c;其是串在一个树上的&#xff0c;但是不…

JAVA IO流复制文件夹及里面的所有文件

public static void main(String[] args) throws Exception {//复制到哪个路径&#xff08;path&#xff09;中String path "E:\\main";File file new File("F:\\main");copyAll(file, path);}public static void copy(File file, String path) throws E…

python RSA 加密与签名

PyCrypto装起来就简单多了&#xff0c;我是直接 sudo easy_install pycrypto 直接搞定的先生成rsa的公私钥&#xff1a;打开控制台&#xff0c;输入 openssl 再输入 genrsa -out private.pem 1024 来生成私钥接着输入 rsa -in private.pem -pubout -out public.pem 来生成公钥$…

深度解析VC中的消息(上)

消息是指什么&#xff1f;消息系统对于一个win32程序来说十分重要&#xff0c;它是一个程序运行的动力源泉。一个消息&#xff0c;是系统定义的一个32位的值&#xff0c;他唯一的定义了一个事件&#xff0c;向Windows发出一个通知&#xff0c;告诉应用程序某个事情发生了。例如…

漫谈C#之关键字(1)

每一种语言都有非常多的关键字&#xff0c;而且这些关键字也都大同小异&#xff0c;不过毕竟还是有些许的不一样。有些关键字大家碰到的多了&#xff0c;自然就熟悉了&#xff0c;但是有些关键字用得不大多&#xff0c;或者是新引入的&#xff0c;所以就不大熟悉了。我平常在用…

Python-CSS整理

CSS层叠样式表 1.格式 h1 {name:abc&#xff0c;color:red}&#xff1b; 选择器-属性-值 2.ID和类选择 #ID .类 3.CSS引用方式 link文件-外部样式表 script style-内部样式表 标签 style-内联样式 4.background背景 ~background ~-color 背景颜色 ~-repeat 是否重复 ~-pos…

利用 socket 获取 tcp 包并解析的问题。

服务器端代码如下&#xff1a;&#xff08;Java Servlet 实现&#xff09; protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { OutputStream out response.getOutputStream(); try { …

Mysql排序后显示排序序号

网上找的一个比较齐全的解释案例&#xff0c;拿来记录一下 ① : 与 的区别 : 赋值的意思。在set update select 中表示赋值的意思&#xff0c;用的比较少一般都用&#xff0c;但是在用变量实现行号时&#xff08;比如本文标题获取排列序号&#xff09;&#xff0c;一定要用:…

解决Visual Studio For Mac Restore失败的问题

之前就了解到微软出了mac版的VS&#xff0c;没太多的关注&#xff0c;自己也就是使用 DotNet Core SDK VS Code 做一些小demo。 前两天发布了DotNet Core 2.0 &#xff0c;Visual Studio For Mac 7.1 之后&#xff0c;感觉可以装起来用用&#xff0c;把win下面的项目转到Core上…

应用Etherchannel扩展企业服务的高可用性

什么是Etherchannel&#xff1f;Etherchannel可以说是Cisco特有的技术&#xff0c;也就是我们在交换机以及路由器上所要配置Etherchannel就不得不使用CISCO设备。在实际工程中一般用于出口与上层设备的连接。实际上通过Etherchannel的中文名-端口绑定就很容易理解&#xff0c;它…

Leetcode 391.完美矩形

完美矩形 我们有 N 个与坐标轴对齐的矩形, 其中 N > 0, 判断它们是否能精确地覆盖一个矩形区域。 每个矩形用左下角的点和右上角的点的坐标来表示。例如&#xff0c; 一个单位正方形可以表示为 [1,1,2,2]。 ( 左下角的点的坐标为 (1, 1) 以及右上角的点的坐标为 (2, 2) )。…

Meteor计时器

Meteor有提供它自己的setTimeout和setInterval方法。这些方法被用于确保所有全局变量都具有正确的值。它们就像普通 JavaScript 中的setTimeout 和 setInterval 一样工作。Timeout - 超时 Meteor.setTimeout 的例子。Meteor.setTimeout(function(){console.log("Timeout c…

WEB程序代码优化入手的几方面

这里对web程序方面的优化作一个总结.1.编码规范化可读性优化编码规范我想一般程序员不会不了解&#xff0c;如果你这方面是空白你应该好好补补基础了&#xff0c;做到编码规范是一个好的程序员的最基础要求&#xff0c;一个团队也应该有自己的编码规范。所以程序的优化也应该包…

【Elastic Stack(一)】Elastic Stack简介

如果你没有听说过Elastic Stack&#xff0c;那你一定听说过ELK。实际上ELK是三款软件的简称&#xff0c;分别是Elasticsearch、Logstash、Kibana组成&#xff0c;在发展的过程中&#xff0c;又有新成员Beats的加入&#xff0c;所以就形成了Elastic Stack。 所以说&#xff0c;…