当前位置：首页 > 编程日记 > 正文

使用Gearman做分布式计算

编程日记 2024-11-01 19:20:00

通常，多语言多系统之间的集成是个大问题，一般来说，人们多半会采用WebService的方式来处理此类集成问题，但不管采用何种风格的WebService，如RPC风格，或者REST风格，其本身都有一定的复杂性。相比之下， Gearman也能实现类似的作用，而且更简单易用。

一个Gearman请求的处理过程涉及三个角色：Client -> Job -> Worker。

Client：请求的发起者，可以是C，PHP，Perl，MySQL UDF等等。
Job：请求的调度者，用来负责协调把Client发出的请求转发给合适的Work。
Worker：请求的处理者，可以是C，PHP，Perl等等。

因为Client，Worker并不限制用一样的语言，所以有利于多语言多系统之间的集成。

甚至我们通过增加更多的Worker，可以很方便的实现应用程序的分布式负载均衡架构。

下面看看如何安装运行一个例子，条件所限，我们把Client，Job，Worker三个角色运行在一台服务器上：

安装Gearman server and library：

wget http://launchpad.net/gearmand/trunk/0.8/+download/gearmand-0.8.tar.gz
tar zxf gearmand-0.8.tar.gz
cd gearmand-0.8
./configure
make
make install

安装Gearman PHP extension：

wget http://pecl.php.net/get/gearman-0.4.0.tgz
tar zxf gearman-0.4.0.tgz
cd gearman-0.4.0
phpize
./configure
make
make install

编辑php.ini配置文件加载相应模块并使之生效：

extension = "gearman.so"

启动Job：

gearmand -d

如果当前用户是root的话，则需要这样操作：

gearmand -d -u root

缺省会使用4730端口，下面会用到。

注意：如果找不到gearmand命令的路径，别忘了用whereis gearmand确认。

编写Worker：

worker.php文件内容如下：

<?php
$worker= new GearmanWorker();
$worker->addServer('127.0.0.1', 4730);
$worker->addFunction('reverse', 'my_reverse_function');

while ($worker->work());

function my_reverse_function($job)
{
return strrev($job->workload());
}
?>

设置后台运行work：

php worker.php &

编写Client：

client.php文件内容如下：

<?php
$client= new GearmanClient();
$client->addServer('127.0.0.1', 4730);
echo $client->do('reverse', 'Hello World!'), "\n";
?>

运行client：

php client.php

输出：!dlroW olleH

出于方便的考虑，Worker，Client使用的都是PHP，但这并不影响演示，实际应用中，你完全可以通过Gearman集成不同语言实现的Worker，Client。或许此时你还想了解前面提到的负载均衡功能：很简单，只要增加多个Worker即可，你可以按照worker.php的样子多写几个类似的文件，并设置不同的返回值用以识别演示效果。然后依次启动这几个Worker文件，并多次使用client.php去请求，你就会发现Job会把Client请求转发给不同的Worker。

命令行工具

如果你觉得安装PHP之类的东西太麻烦的话，你也可以仅仅通过命令行工具来体验Gearman的功能：

启动Worker： gearman -w -f wc -- wc -l &
运行Client： gearman -f wc < /etc/passwd

具体可以参考官方文档，还有一些不错的 PDF。

https://www.dkcj.cn/info/25637.html

使用Gearman做分布式计算

相关文章：

把数据库中有关枚举项值的数字字符串转换成文字字符串

又被 AI 抢饭碗？2457 亿参数规模，全球最大中文人工智能巨量模型 “源1.0”正式开源...

Java架构演进之路

F5与NetScaler比较

这个机器狗引起网友争议，「持枪机器狗」射程达1200米

nutch如何发布插件

第 7 章项目运作

干货！整理了50个 Pandas 高频使用技巧，强烈建议收藏！

CentOS的Gearman安装与使用无错版

putty或xshell上用vi/vim小键盘无法使用的解决方法

Sqoop数据分析引擎安装与使用

《独辟蹊径品内核:Linux内核源代码导读(china-pub首发)》的前言

95后架构师晒出工资单：狠补了这个，真香...

趣味图形之余弦函数cos与直线相交(另一种相交)

AI时代：推荐引擎正在塑造人类

mogileFS 分布式存储-安装手记

英特尔成立物联网视频事业部，这届IESS还揭露了哪些信息？

JS数字转换成货币格式

CentOS 部署 flask项目

Linux系统JDK安装和配置

4000字，详解 Python 操作 MySQL 数据库！

php跨域共享session

centos6 防火墙iptables操作整理

分布式计算开源框架Hadoop入门实践

网络配置文件、命令详解

面了一个大佬，一看就背了很多面试题

swift的特点

Apache模块开发helloworld无错版

Golang+Python 实现安全动态开机密码+服务器存储

《中国顶尖技术团队访谈录·第二季》发布