当前位置: 首页 > 编程日记 > 正文

关于flume配置加载(二)

为什么翻flume的代码,一方面是确实遇到了问题,另一方面是想翻一下flume的源码,看看有什么收获,现在收获还谈不上,因为要继续总结。不够已经够解决问题了,而且确实有好的代码,后续会继续慢慢分享,这里先把启动的流程分析一下,这也是找到问题症结的关键。

至于遇到的问题如下:

Caused by: org.apache.flume.ChannelException: Put queue for MemoryTransaction of capacity 100 full, consider committing more frequently, increasing capacity or increasing thread count
at org.apache.flume.channel.MemoryChannel$MemoryTransaction.doPut(MemoryChannel.java:84)
at org.apache.flume.channel.BasicTransactionSemantics.put(BasicTransactionSemantics.java:93)
at org.apache.flume.channel.BasicChannelSemantics.put(BasicChannelSemantics.java:80)
at org.apache.flume.channel.ChannelProcessor.processEventBatch(ChannelProcessor.java:189)

从异常上大致可以看出是,MemoryTransaction的容量满了,可是容量满了?然后呢。。我们开始根据代码分析。

上一篇文章中http://www.cnblogs.com/aquariusm/p/6118976.html我们分析了flume配置加载的基础流程核心就是:flumeConfiguration.getConfiguration()方法。根据第一篇文章中的流程图,我们可以看到,加载好配置文件后,就开始启动各个组件了,即Application的如下代码:

  @Subscribepublic synchronized void handleConfigurationEvent(MaterializedConfiguration conf) {stopAllComponents();startAllComponents(conf);}

在startAllComponents(conf)中,开始启动各个组件。

。。。未完待续。。。

转载于:https://www.cnblogs.com/aquariusm/p/6146086.html

相关文章:

为什么深度神经网络这么难训练?| 赠书

导读:本文内容节选自《深入浅出神经网络与深度学习》一书,由Michael Nielsen所著,他是实验媒体研究工作室的联合创始人,曾是 YC Research 的 Research Fellow。。本书深入了讲解神经网络和深度学习技术,侧重于阐释深度…

dhcp 搭建

自带rpm包安装:# mount /dev/cdrom /media 挂载 # cd /media/Server/ 进入目录 # rpm -ivh dhcp-3.0.5-18.el5.i386.rpm 安装DHCP # cp /usr/share/doc/dhcp-3.0.5/dhcpd.conf.sample /etc/dhcpd.conf …

锦上添花DataGrid!

作者: cuike519的专栏 http://blog.csdn.net/cuike519/我们知道如果datagrid的宽度比较长那么使得我们很难分清楚行数据,也就是很容易 使我们看错行,我想如果当我们的鼠标移动到datagrid的行上,他可以清楚的显示给 我们就好了…

linux服务器优化1.0版

1.服务器修改IP vim /etc/sysconfig/network-scripts/ifcfg-eth12.修改dns服务器 vim /etc/resolv.conf 3.关闭selinux vim /etc/selinux/config 4.修改主机名iZ118z08 vim /etc/sysconfig/network5.禁用control-alt-delete vim /e…

给DataGrid添加确定删除的功能

给DataGrid添加确定删除的功能DataGrid的功能我想大家是知道的,我在实际的应用中遇到如下的问题,客户要求在删除之前做一次提示。类 似于windows。首先我们都知道DataGrid支持删除的功能,我们可以向DataGrid里面添加删除列就可以实现&#x…

操纵神经元构造后门,腾讯朱雀实验室披露AI模型新型攻击手法

近日,在第19届XCon安全焦点信息安全技术峰会上,腾讯朱雀实验室首度公开亮相。这个颇有神秘色彩的安全实验室专注于实战攻击技术研究和AI安全技术研究,以攻促防,守护腾讯业务及用户安全。会上,腾讯朱雀实验室高级安全研…

工程师进阶之路(四)

转载自 量子恒道官方博客 地址:http://blog.linezing.com 如何和“老板”沟通 我们是一线工程师的时候,和我们的直接技术管理者沟通是非常容易的。我们的技术架构、代码风格、系统扩展性、工程化全局考虑就是我们赢得信任和信赖的名片。但是随着我们的…

Hadoop API文档地址

经常需要查阅,做一下笔记 http://hadoop.apache.org/docs/ http://hadoop.apache.org/docs/current1/api/ http://hadoop.apache.org/docs/current2/api/

两个FTP对传文件

2019独角兽企业重金招聘Python工程师标准>>> #!/bin/bash ftp -n<<! open hostname user username password binary cd /FTP_A_Directory lcd /tmp/tmpSave prompt mget * close bye ! ftp -n<<! open hostname user username password binary cd /…

全国大学生数学建模竞赛中,哈工大被禁用MATLAB

整理 | 屠敏出品 | AI科技大本营&#xff08;ID&#xff1a;rgznai100&#xff09;AK47 VS “小米加步枪”同台竞技&#xff0c;最终会有什么样的结果&#xff1f;目前我们尚未可知&#xff0c;但是这样的“竞赛”却在真实上演中。近日&#xff0c;在全国大学生数学建模竞赛中&…

JDK NIO编程

我们首先需要澄清一个概念&#xff1a;NIO到底是什么的简称&#xff1f;有人称之为New I/O&#xff0c;因为它相对于之前的I/O类库是新增的&#xff0c;所以被称为New I/O&#xff0c;这是它的官方叫法。但是&#xff0c;由于之前老的I/O类库是阻塞I/O&#xff0c;New I/O类库的…

ASP.NET ViewState 初探

Susan Warren Microsoft Corporation 与刚接触 ASP.NET 页面的开发人员交谈时&#xff0c;他们通常向我提出的第一个问题就是&#xff1a;“那个 ViewState 到底是什么&#xff1f;”他们的语气中流露出的那种感觉&#xff0c;就象我来到一家异国情调的餐馆&#xff0c;侍者端…

[emuch.net]MatrixComputations(1-6)

matrixComputation转载于:https://www.cnblogs.com/stoneresearch/archive/2012/06/24/4336678.html

身为面向对象编程、移动计算机之父的他,为何说“计算机革命还没真正到来”?...

作者 | 年素清责编 | 李雪敬出品 | 程序人生&#xff08;ID&#xff1a;coder_life&#xff09; 艾伦凯(艾伦 Kay)是近代计算机革命先驱之一&#xff0c;他最早提出了“面向对象编程”的概念&#xff0c;也是“Dynabook”&#xff08;笔记本电脑的雏形&#xff09;的最早阐述者…

动态表单构建器——建造者模式

在编写一个弹出框时,它可以包含确定按钮&#xff0c;取消按钮&#xff0c;标题栏&#xff0c;关闭按钮&#xff0c;最小化按钮&#xff0c;内容&#xff0c;最大化按钮等内容&#xff0c;但这些内容在不同的需求下又不是必须存在的&#xff0c;不同的需求需要对这些组件自由组合…

网页素材大宝库:50套非常精美的图标素材

图标对网页设计师来说是宝贵的财富&#xff0c;高质量的图标素材既能为设计师节省时间&#xff0c;又能有很不错的效果。网上的免费图标素材非常多&#xff0c;可以说是琳琅满目&#xff0c;那些充满分享精神的设计师们把素材共享出来&#xff0c;让更多的人可以使用他们的优秀…

​AI 面试“泛滥”的时代,HR该如何甄别真假“AI”?

作者 | 无缺编辑 | 王晓曼出品 | AI科技大本营&#xff08;ID:rgznai100&#xff09;在互联网、物联网蓬勃发展的中国&#xff0c;AI在商业化领域的运用&#xff0c;大家并不陌生。但AI在人力资源领域的发展前景如何&#xff1f;这是一个复杂且相对陌生的话题&#xff0c;也没有…

C语言里面%2d 意思

看看下面的说明就知道啦&#xff1a;修饰符 格式说明 意义 int a1;int b1234;double c1.2345678;printf("%2d\n",a);printf("%2d\n",a);printf("%4d\n",a);printf("%2d\n",b);printf("%2d\n",b);printf("%4d\n",b…

DatagridView自动充满屏幕,并能指定某列宽度

1、要使datagridview正好充满屏幕&#xff0c;设置其AutoSizeColumnsMode属性为fill 2、 同时&#xff0c;我们想要某列宽点&#xff0c;某列窄点&#xff0c;在AutoSizeColumnsMode属性为fill的前提下&#xff0c;设置FillWeight 属性 FillWeight &#xff1a;获取或设置一个值…

在网页中动态的生成一个gif图片

作者&#xff1a; love.net 大家知道股票网站的K线图是动态生成的定时刷新PHP 就有动态生成图片的功能 那么怎样用asp.net在网页中动态的生成一个图片呢&#xff1f; 下面我要举的例子是动态的生成一个图片显示当前时间 namespace Wmj { using System; using System.Drawing; u…

11项重大发布!百度大脑语言与知识技术峰会全程高能

AI正在向更深层次进化&#xff0c;语言与知识技术的重要性愈加凸显。8月25日&#xff0c;以“掌握知识、理解语言、拥有智能”为主题的百度大脑语言与知识技术峰会重磅开启&#xff0c;百度CTO王海峰发表主旨演讲&#xff0c;解读百度语言与知识技术的发展历程与最新成果&#…

MySQL 5.5.35 单机多实例配置详解

一、前言 二、概述 三、环境准备 四、安装MySQL 5.5.35 五、新建支持多实例的配置文件&#xff08;我这里配置的是四个实例&#xff09; 六、初始化多实例数据库 七、提供管理脚本 mysqld_multi.server 八、整体备份方便后续迁移 九、管理MySQL多实例 十、登录MySQL多实例 十一…

ASP.NET超凡的代码控制

crystal译yesky 适应性 肯定的是&#xff0c;通常任何一个全新的技术&#xff0c;在市场渗透都会花费一些时间。微软正在开始让ASP和IIS平台通过行业验证&#xff0c;以便让其作为其它网络服务器之外可以供选择的平台 对于在其基本构架上的如此巨大的改变&#xff0c;是很难说服…

老码农:这是我见过最操蛋的代码,切勿模仿!

作为一名老码农&#xff0c;我的心这次凉透了&#xff01;事情起因很简单&#xff1a;我在全国最大ZZ的同性组织某Hub上浏览时候&#xff0c;发现这样的一条信息&#xff1a;Python 超过 C、JS 薪酬排行第一&#xff08;最大招聘网站Indeed.com数据&#xff09;噗&#xff0c;9…

QTP时间格式的转换(YYYYMMDDHHMMSS)

之前查了好多资料都是这样写的&#xff1a; sendTime year(sendTime) & right( "00 " & month(sendTime),2) & right( "00 " & day(sendTime),2) & right( "00 " & hour(sendTime),2) &…

Selenium2+python自动化25-js处理日历控件(修改readonly属性)

前言 日历控件是web网站上经常会遇到的一个场景&#xff0c;有些输入框是可以直接输入日期的&#xff0c;有些不能&#xff0c;以我们经常抢票的12306网站为例&#xff0c;详细讲解如何解决日历控件为readonly属性的问题。 基本思路&#xff1a;先用js去掉readonly属性&#xf…

ASP.NET强大的性能

crystal译 yesky 一个程序&#xff0c;速度是一件非常令人渴望的东西。一旦代码开始工作&#xff0c;接下来你就得尽可能的让它运作的快些&#xff0c;再快些&#xff0c; 在ASP中你只有尽可能拧干你的代码&#xff0c;以至于不得不将他们移植到一个仅有很少一点性能的部件中。…

POJ-1753 Flip Game 枚举 状态压缩

刚开始做这题时总是在想应该用何种的策略来进行翻装&#xff0c;最后还是没有想出来&#xff5e;&#xff5e;&#xff5e; 这题过的代码的思路是用在考虑到每个点被翻装的次数只有0次或者是1次&#xff0c;所以对于16个点就只有2^16中请况了。再运用位运算将状态压缩到一个32位…

“半真半假”DeepFake换脸也能精准识别?阿里安全提出全新检测方法

一段包含多个人脸的视频中&#xff0c;攻击者只对一个或者几个人的人脸进行伪造&#xff0c;这种“半真半假”的伪造情况能否被检测识别&#xff1f;近日&#xff0c;阿里安全图灵实验室宣布&#xff0c;其已成功打造出针对这种换脸视频的DeepFake检测技术&#xff0c;阐述该技…

python 定时任务

Python 定时任务 最近学习到了 python 中两种开启定时任务的方法&#xff0c;和大家分享一下心得。 sched.scheduler()threading.Timer()sched 定时任务 使用sched的套路如下&#xff1a; s sched.scheduler(time.time, time.sleep) s.enter(delay, priority, func1, (arg1, a…