statpot:使用mongo+bootstrap+highcharts做统计报表
最近做了一个统计项目，这个统计项目大致的需求是统计接口的访问速度。客户端会调用一个接口来记录接口的访问情况，我的需求就需要分析这些数据，然后做出个统计报表。
需求实现
最初的时候想着每天把这些接口访问情况的信息存储到mysql中，然后根据这些访问情况做个分析再做报表。然后第一个问题就来了，信息包含太多字段了，如果我将每个信息解析成mysql表的一个字段，那么这个字段很长，而且还有一个致命缺陷，不容易扩展。如果将所有字段都存储为一个json，然后存储到text字段呢，又没法建立索引了。所以这种情况，最适合搬出mongo来了。
相比于mysql，mongo的好处就是扩展性好，灵活。像统计数据这样很容易需求不确定的数据确实是个很好的选择。我另外想想还有个好处就是不用的数据我可以很方便地将数据json化，然后存为文件。然后在需要的时候，也很容易读取直接放入到mongo中去。比如我可以将一个月的数据做一个持久备份之类的操作。
接着是生成统计报表的部分。各种图是很需要的，由于是给内部做统计报表，不需要兼顾各种浏览器。所以我选择了强大的highCharts。highCharts是一个JS图表库。很方便的就可以生成图表了。亲身体会是这个比flash做图表开发时间缩短多了。你可以从http://www.highcharts.com/上下载3.0版本。
后续呢，由于后面有很多统计变化的需求。每次都写一个过程来生成js代码从而渲染统计报表也是个很繁琐的事情。于是我就打算写一个工具，大致的思路就是依靠修改配置文件就可以直接生成统计报表，报表的页面为了美观我引入了bootstrap 3.0。于是发现这种数据存储mongo，加上配置文件生成报表的模式是很容易实现，也确实很好使用。甚至于你在mongo中增加了一种统计结构，我可以什么都不用修改，只需要增加一个配置项就可以生成新统计结构的图表了，这大都是归功于mongo的json结构化。
statpot工具
这个工具statpot开源在github上了：
https://github.com/jianfengye/statpot
可以下载result/stat_20130925.html来看生成的报表。
生成的报表如下：
现在是实现了两种：饼图和柱状图。后续有可能的话还会继续加上一些其他统计图表。
还能想到的一个问题是这个页面如果是动态的，那么必然实时分析需要的时间比较多，而统计报表一般不需要动态的，所以完全可以做成生成静态文件的方式，于是web/目录下就有动态和静态的入口。这种生成静态报表然后存储的方式也是很好的，比如每天我生成一次动态报表，然后就把mongo中的数据清空或这静态文件化。
当然后来想想，这种唯配置至上的工具唯一的弊端是配置本身就是一种学习成本，你需要花时间来掌握这个配置。但是这个问题在我看来，和代码一样，应该由配置的语义来解决。
问题记录
记录下开发过程中特别是使用mongo中遇到的问题：
如何获取一个字段的所有可能的值
使用distinct
如何获取一个字段的所有可能的值，并且计算出每个值有多少个条目
需要使用group命令
group的命令文档在：http://docs.mongodb.org/manual/reference/method/db.collection.group/
> db.feedbacks.group({
"key" : {"keys.properties.network_type": true},
"initial":{"count":0},
"$reduce":function(cur,prev){
prev.count=prev.count+1;
}
})
对应的PHP mongo的API是：http://www.php.net/manual/zh/mongocollection.group.php
相关文章：
磁盘文件目录罗列和list控件的使用
开发类似ftp客户端的这种软件，需要对每个磁盘下的文件目录进行罗列并显示。方便文件的上传、下载等。就如同我们打开每个磁盘所显示的那样，罗列了你这个磁盘目录下的所有文件夹和文件。 那我们在自己的程序中如何做到这样呢？ 主要用到两个…
潘石屹Python考试成绩99分，网友：还有一分怕你骄傲
整理 | 伍杏玲题图 | 视觉中国来源 | 程序人生（ID：coder_life）5月16日凌晨00:21分，地产大亨潘石屹在微博晒出自己的Python编程一级考试成绩，99分，厉害！像每个学生时期的我们，还会“检…
让Chrome成为你的pdf阅读器
我在Mac OS上使用过的浏览器有Chrome、Safari和Firefox，由于做的产品要支持多浏览器，所以这几种浏览器都会用到，Chrome的使用频率更高一些。 之前想通过浏览器在线阅读PDF时，一般都会提示进行下载，装了类似iGetter或Fo…
l5如何通过路由走api版本回退查找设置
l5如何通过路由走api版本回退查找设置 具体需求 当前遇到的问题是使用laravel写接口，但是接口是有版本号的，我们把版本号放在url中，比如： http://yejianfeng.com/api/user/info/?uid1 http://yejianfeng.com/api1.1/user/info/?…
jspf插件框架
简介：jspf (Java Simple Plugin Framework) 是一个插件框架，用于减少小型项目的的开发时间，增加代码的可维护性。他完全隐藏了组件的详细实现，只用到他们的接口。加载组件所需要的代码也很少，便于编写。jspf框架完全基…
list控件响应鼠标键的单双击
前面一片博客磁盘文件目录罗列和list控件的使用 写过关于list控件的一点使用方法。这篇博客接着继续讲list控件，当我把某个磁盘下的文件目录列出来显示在list控件中，我们肯定是想要对这些目录进行一些操作，比如新建文件夹、删除文件等操作。那…
我佛了！用KNN实现验证码识别，又 Get 到一招！
作者| 李秋键责编| Carol出品| AI科技大本营（ID：rgznai100）头图 | CSDN付费下载自视觉中国验证码使我们生活中最为常见的防治爬虫和机器人登录攻击的手段，一般的验证码主要由数字和字母组成，故我们可以设想：…
JVM中的垃圾收集器
2019独角兽企业重金招聘Python工程师标准>>> Serial收集器: 一种新生代的单线程收集器，采用复制算法回收。当它进行垃圾收集时，其他用户的所有线程都将暂停。 Serial Old收集器：Serial的老年代版本，采用的是标记-清除算…
linux系统用户,组和权限的管理
PS： {最近一直在做毕业设计，前面博客也记录过我的一些过程。其中需要在Ubuntu上搭建一个FTP服务器，此处我选择Vsftpd，但是在我对vsftpd的配置文件vsftpd.conf设置正确后（对于上传，下载等设置肯定没问题&am…
520 情人节 ：属于Python 程序员的脱单攻略大合集（视频版）
作者| Python 编程时光责编| Carol情人节年年有，但今年的 5.20 要比以往的更有意义。2020.05.20 ，爱你爱你我爱你，如果再卡个时间（13:14），那就是 爱你爱你我爱你一生一世。为了能过上这个这个百年难遇的情人…
使用Word2010灵活掌握文档结构
使用Microsoft Word应用程序组织和编写文档时，可能会出现反复调整文档结构的情况，而通过一系列的剪切、复制、粘贴操作来解决问题，可能会让您觉得很麻烦，有没有更好的解决办法呢？其实，通过使用Word 2010中全…
深入Jetty源码之HTTP协议
在计算机网络中，如果两台机器要通信，他们首先要定义通信数据的格式，这样在服务器收到客户端的请求消息时，它才能正确的解析请求的内容，然后根据请求内容处理逻辑，并将相应消息传递会客户端；此时…
64位win7安装vs2010出现“组件安装失败...”等问题的解决方法
如题，公司发了新电脑，安装的是64位win7 ,我原来的本本安装的是32位的win7，当时安装vs2010的时候并没有那么多事，这次安装却真是让我蛋疼至极。 先后下了3个vs的安装包，中文版的，有专业版的，有旗…
不同网段路由配置
PC1 ip 192.168.1.1PC2 ip 192.168.4.1路由0 f0/0 192.168.1.254 f0/1 192.168.2.1路由1 f0/0 192.168.3.1f0/1 192.168.2.2路由2 f0/0 192.168.4.254 f0/1 192.168.3.2路由器0Router>enRouter#conf tRouter(config)#no ip domain-lookupRouter(config)#line console 0…
黑科技：绕过眼睛植入幻觉，科学家成功在盲人脑海中呈现指定图像！
来源 | 学术头条（ID:SciTouTiao）头图 | CSDN付费下载自视觉中国对于全球 5000 多万盲人来说，重见光明是一个遥不可及的梦想。而为了与盲人朋友进行交互，我们发明了盲文，用各种凸起的字符集合来表达各种意思。但这种通过…
Solr 4.x定时、实时增量索引 - 修改、删除和新增索引
2019独角兽企业重金招聘Python工程师标准>>> 一、开始增量索引前的准备工作。 1、认识data-config.xml中相关属性 <!-- transformer 格式转化：HTMLStripTransforme表示 索引中将忽略HTML标签 ---> <!-- query: 查询数据库表符合记录数据 …
关于Blocking IO, Non-Blocking IO 和 Asynchronous I/O的理解
文章写得很详细很清楚了，对我的理解帮助很大。 转载自：http://www.cnblogs.com/whyandinside/archive/2012/03/04/2379234.html。 概括来说，一个IO操作可以分为两个部分：发出请求、结果完成。如果从发出请求到结果返回ÿ…
还在苦恼机器学习和线性回归？这篇总结拿走不谢 | 原力计划
作者 | 听星的朗瑞责编 | 王晓曼出品 | CSDN博客题图 | 东方IC什么是机器学习？机器学习是一种实现人工智能的方法，从数据中寻找规律、建立关系，根据建立的关系去解决问题，从数据中进行经验学习，实现自我优化与升级。维…
网页设计和用户界面设计
摘要：这是两个现在网页设计领域使用频率非常高的词。在大多数情况下，它们被相互替代。这个领域内外的很多人都认为这是两个意义基本一样的词。但是它们真的可以互相混淆么？这是两个现在网页设计领域使用频率非常高的词。在大多数情况下&#…
使用VisualStudio2010连接CodePlex进行代码管理
摘要：CodePlex是微软的开源工程网站，涉及诸多微软最新技术的开源工程，同时你也可以建立并向世界展示自己的开源工程。同SourceForge、GoogleCode相比CodePlex有其自身的优势，特别是对做.Net开发的朋友来说，由于CodePle…
计算程序运行时间（time_t, clock_t）
转载自：http://blog.chinaunix.net/uid-23208702-id-75182.html 计算程序运行时间（time_t, clock_t）-whyliyi-ChinaUnix博客 我们有时需要得到程序的运行时间，但我们也要知道，根本不可能精确测量某一个程序运行的确切…
又一年5.20，用Python助力程序员脱单大攻略（视频版）
作者 | 写代码的明哥来源 | Python编程时光（ID: Cool-Python）情人节年年有，但今年的 5.20 要比以往的更有意义。2020.05.20 ，爱你爱你我爱你，如果再卡个时间（13:14），那就是 爱你爱你…
pthred()多线程计算派
实验一：计算π问题描述实验提供了两种计算方法，一种使用积分方法，另一种采用随机数方法。本报告中采用积分方法。计算公式：程序流程图：(图1)函数流程图(图2)一组实验数据，计算规模：500,000,000性…
使用最小堆优化Dijkstra算法
OJ5.2很简单，使用priority_queue实现了最小堆竟然都过了OJ……每次遇到relax的问题时都简单粗暴地重新push进一个节点…… 然而正确的实现应该是下面这样的吧，关键在于swap堆中元素时使用pos数组存储改变位置后的编号为k的节点对应在堆中的位置。下面这种…
C语言编程技巧-signal(信号机制)
http://blog.sina.com.cn/s/blog_6a1837e90100v1vc.html
第一课：网络参考模型OSI
网络参考模型OSI(一)：模型提出目的：开放系统互连。使各个厂商的设备可以很好的互连、互通、互操作。(二)：各层功能(1):物理层：负责链路上bit流的传输。（bit流显著的特点是，不支持格式或者结构）。…
在线直播 | 是事实还是贩卖焦虑？IT行业也偏爱“小鲜肉”
几年前曾看过这样一篇报道：Java 之父求职被嫌年纪大，硅谷公司现在喜欢“小鲜肉”，不爱“老古董”。Java之父 James Gosling 在 Facebook 上发表了他所遭遇的年龄歧视：我曾在面试的时候被 HR 告知，“通常我们不招你这种…
eclipse 代码中突然出现特殊字符
在写代码的时候，不知道点到了 eclipse 的哪个属性，代码中就出现了一些特殊字符，也不能删除。 请问，在 eclipse 中该怎么设置，才能将这些字符去掉。 如下图所示： 解决方法: 选择Window->Preferences->…
如何优化数据中心虚拟机布局
当前已经有很多组织将服务器虚拟化技术引入到生产中，这么做是有道理的，特别是在当前经济并不景气的情况下，因为服务器虚拟化技术可以在服务器硬件，机架空间，电力消耗和制冷方面为组织节省开支。 但为了实现服务器虚…
回归——同步更新github.io
回归 已经有好长时间没写博客了，可能我比较懒，不太乐于分享，我觉得这个是一个很不好的习惯。但我坚信：Sharing changes the world! 最近搭建了自己的个人独立博客，基于Github Pages的，所以打算以后同步更…