当前位置: 首页 > 编程日记 > 正文

再测Golang的JSON库

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

写项目一直需要进行序列化,听到了,也看到了很多同学老师对各个golang的json库进行测评。那本人为什么还要继续进行这一次测评呢? 因为实践过的知识最有说服力,也是属于自己的,我也希望看到本博文的同学老师可以修改和执行测评的代码执行一遍,我相信会有不一定的体会。 本次测评我选择了类库有:

类库

序号类库地址备注
1encoding/jsonGolan
2easyjsongithub.com/mailru/easyjson
3ffjsongithub.com/mailru/easyjson
4iterator/jsongithub.com/json-iterator/go

主要是针对上述的类型进行,本人采用了对不同的类库使用不同的结构体(仅仅是结构体名称不同,字段顺序和类型一样)。

环境

环境为MacBook Pro(Core i5处理器/8GB内存)go1.8.3 darwin/amd64

代码

bench代码如下:

package jsonbenchimport ("encoding/gob""encoding/json""github.com/json-iterator/go""github.com/mailru/easyjson""github.com/pquerna/ffjson/ffjson""testing"
)var (iterator = jsoniter.ConfigCompatibleWithStandardLibrary// easyjsonas = AgentService{ServiceName:    "kaleidoscope_api",Version:        "1517558949087295000_1298498081",ServiceId:      "kaleidoscope.com_v1.2",Address:        "127.0.0.1",Port:           80,Metadata:       map[string]string{},ConnectTimeOut: 1000,ConnectType:    "LONG",ReadTimeOut:    1000,WriteTimeOut:   1000,Protocol:       "HTTP",Balance:        "Random",Idcs:           "hu,hd,hn",Converter:      "json",Retry:          3,}service            = as.ToService()asBytes, _         = json.Marshal(as)serviceBytes, _    = json.Marshal(service)asStr              = string(asBytes)serviceStr         = string(serviceBytes)asGonBytes, _      = GobEncode(as)serviceGonBytes, _ = GobEncode(service)// stdasstd = AgentServiceSTD{ServiceName:    "kaleidoscope_api",Version:        "1517558949087295000_1298498081",ServiceId:      "kaleidoscope.com_v1.2",Address:        "kaleidoscope.dev.igetget.com",Port:           80,Metadata:       map[string]string{},ConnectTimeOut: 1000,ConnectType:    "LONG",ReadTimeOut:    1000,WriteTimeOut:   1000,Protocol:       "HTTP",Balance:        "Random",Idcs:           "hu,hd,hn",Converter:      "json",Retry:          3,}servicestd            = asstd.ToServiceSTD()asBytesstd, _         = json.Marshal(asstd)serviceBytesstd, _    = json.Marshal(servicestd)asStrstd              = string(asBytesstd)serviceStrstd         = string(serviceBytesstd)asGonBytesstd, _      = GobEncode(asstd)serviceGonBytesstd, _ = GobEncode(servicestd)
)// go test -bench=".*"
func init() {gob.Register(AgentService{})
}func Benchmark_STD_Marshal1(b *testing.B) {for i := 0; i < b.N*10; i++ {_, err := json.Marshal(asstd)if err != nil {b.Error(err)}}
}func Benchmark_STD_Marshal2(b *testing.B) {for i := 0; i < b.N*10; i++ {_, err := json.Marshal(servicestd)if err != nil {b.Error(err)}}
}func Benchmark_EASYJSON_STD_Marshal1(b *testing.B) {for i := 0; i < b.N*10; i++ {_, err := json.Marshal(as)if err != nil {b.Error(err)}}
}func Benchmark_EASYJSON_STD_Marshal2(b *testing.B) {for i := 0; i < b.N*10; i++ {_, err := json.Marshal(service)if err != nil {b.Error(err)}}
}func Benchmark_EASYJSON_Marshal1(b *testing.B) {for i := 0; i < b.N*10; i++ {_, err := easyjson.Marshal(as)if err != nil {b.Error(err)}}
}func Benchmark_EASYJSON_Marshal2(b *testing.B) {for i := 0; i < b.N*10; i++ {_, err := easyjson.Marshal(service)if err != nil {b.Error(err)}}
}//
func Benchmark_ITERATOR_Marshal1(b *testing.B) {for i := 0; i < b.N*10; i++ {_, err := iterator.Marshal(asstd)if err != nil {b.Error(err)}}
}func Benchmark_ITERATOR_Marshal2(b *testing.B) {for i := 0; i < b.N*10; i++ {_, err := iterator.Marshal(servicestd)if err != nil {b.Error(err)}}
}func Benchmark_FFJSON_Marshal1(b *testing.B) {for i := 0; i < b.N*10; i++ {_, err := ffjson.Marshal(asstd)if err != nil {b.Error(err)}}
}func Benchmark_FFJSON_Marshal2(b *testing.B) {for i := 0; i < b.N*10; i++ {_, err := ffjson.Marshal(servicestd)if err != nil {b.Error(err)}}
}func Benchmark_GOB_Encode1(b *testing.B) {for i := 0; i < b.N*10; i++ {as.Port = iGobEncode(as)}
}func Benchmark_GOB_Encode2(b *testing.B) {for i := 0; i < b.N*10; i++ {GobEncode(service)}
}func Benchmark_STD_Unmarshal1(b *testing.B) {tmp := AgentServiceSTD{}for i := 0; i < b.N*10; i++ {as.Port = ierr := json.Unmarshal(asBytesstd, &tmp)if err != nil {b.Error(err)}}
}func Benchmark_STD_Unmarshal2(b *testing.B) {tmp := ServiceSTD{}for i := 0; i < b.N*10; i++ {as.Port = ierr := json.Unmarshal(serviceBytesstd, &tmp)if err != nil {b.Error(err)}}
}func Benchmark_EASYJSON_STD_Unmarshal1(b *testing.B) {tmp := AgentService{}for i := 0; i < b.N*10; i++ {as.Port = ierr := json.Unmarshal(asBytes, &tmp)if err != nil {b.Error(err)}}
}func Benchmark_EASYJSON_STD_Unmarshal2(b *testing.B) {tmp := Service{}for i := 0; i < b.N*10; i++ {as.Port = ierr := json.Unmarshal(serviceBytes, &tmp)if err != nil {b.Error(err)}}
}func Benchmark_EASYJSON_Unmarshal1(b *testing.B) {tmp := AgentService{}for i := 0; i < b.N*10; i++ {as.Port = ierr := easyjson.Unmarshal(asBytes, &tmp)if err != nil {b.Error(err)}}
}func Benchmark_EASYJSON_Unmarshal2(b *testing.B) {tmp := Service{}for i := 0; i < b.N*10; i++ {as.Port = ierr := easyjson.Unmarshal(serviceBytes, &tmp)if err != nil {b.Error(err)}}
}func Benchmark_ITERATOR_UnMarshal1(b *testing.B) {tmp := ServiceSTD{}for i := 0; i < b.N*10; i++ {as.Port = ierr := iterator.Unmarshal(serviceBytesstd, &tmp)if err != nil {b.Error(err)}}
}func Benchmark_ITERATOR_UnMarshal2(b *testing.B) {tmp := ServiceSTD{}for i := 0; i < b.N*10; i++ {as.Port = ierr := iterator.Unmarshal(serviceBytesstd, &tmp)if err != nil {b.Error(err)}}
}func Benchmark_FFJSON_UnMarshal1(b *testing.B) {tmp := ServiceSTD{}for i := 0; i < b.N*10; i++ {as.Port = ierr := ffjson.Unmarshal(serviceBytesstd, &tmp)if err != nil {b.Error(err)}}
}func Benchmark_FFJSON_UnMarshal2(b *testing.B) {tmp := ServiceSTD{}for i := 0; i < b.N*10; i++ {as.Port = ierr := ffjson.Unmarshal(serviceBytesstd, &tmp)if err != nil {b.Error(err)}}
}func Benchmark_GOB_Decode1(b *testing.B) {tmp := AgentService{}for i := 0; i < b.N*10; i++ {as.Port = iGobDecode(asGonBytes, &tmp)}
}func Benchmark_GOB_Decode2(b *testing.B) {tmp := Service{}for i := 0; i < b.N*10; i++ {as.Port = iGobDecode(serviceGonBytes, &tmp)}
}

执行命令:

go test -bench=".*"

测评结果;

$ go test -bench=".*"
Benchmark_STD_Marshal1-4                   50000             31224 ns/op
Benchmark_STD_Marshal2-4                   30000             49598 ns/op
Benchmark_EASYJSON_STD_Marshal1-4          30000             45778 ns/op
Benchmark_EASYJSON_STD_Marshal2-4          30000             50440 ns/op
Benchmark_EASYJSON_Marshal1-4             100000             14387 ns/op
Benchmark_EASYJSON_Marshal2-4             100000             16009 ns/op
Benchmark_ITERATOR_Marshal1-4             100000             14899 ns/op
Benchmark_ITERATOR_Marshal2-4             100000             21629 ns/op
Benchmark_FFJSON_Marshal1-4                50000             31633 ns/op
Benchmark_FFJSON_Marshal2-4                30000             51668 ns/op
Benchmark_GOB_Encode1-4                    20000             97099 ns/op
Benchmark_GOB_Encode2-4                    10000            153158 ns/op
Benchmark_STD_Unmarshal1-4                 20000             89211 ns/op
Benchmark_STD_Unmarshal2-4                 20000             76442 ns/op
Benchmark_EASYJSON_STD_Unmarshal1-4        30000             57695 ns/op
Benchmark_EASYJSON_STD_Unmarshal2-4        20000             66269 ns/op
Benchmark_EASYJSON_Unmarshal1-4           100000             19028 ns/op
Benchmark_EASYJSON_Unmarshal2-4           100000             22035 ns/op
Benchmark_ITERATOR_UnMarshal1-4            50000             35942 ns/op
Benchmark_ITERATOR_UnMarshal2-4            50000             36462 ns/op
Benchmark_FFJSON_UnMarshal1-4              20000             80290 ns/op
Benchmark_FFJSON_UnMarshal2-4              20000             78431 ns/op
Benchmark_GOB_Decode1-4                     3000            377698 ns/op
Benchmark_GOB_Decode2-4                     3000            463472 ns/op
PASS
ok      studygo/jsonbench       49.174s

结论

  1. 哪一个类库最快?
    答:是测评类库中最快的。速度:easyjson => iterator => encoding/json => ffjson
  2. 是否存在坑?
    答:easyjson有一个坑,从代码中可以看到Benchmark_EASYJSON_STD_*的方法,是因为easyjson生成的代码中已经包含了MarshalJSONUnmarshalJSON方法,那么只要对这些结构体执行json.marshalJSONjson.UnmarshalJSON都会默认调用easyjson生成的方法。本人运行多次,都会发现调用easyjson生成的MarshalJSON方法比标准库中的慢一些达到50%左右,但是调用easyjson生成的UnmarshalJSON比标准库的快一些大概20%。
  3. 如何选择?
    答:easyjson速度虽然比较快,但也是存在一些不适合的场景,比如如果需要对interface接口进行序列化时候。所以建议采用easyjson与标准库结合。

转载于:https://my.oschina.net/qiangmzsx/blog/1620596

相关文章:

一、JAVA通过JDBC连接mysql数据库(连接)

JDBC ----JDBC(Java DataBase Connectivity)是Java与数据库的接口规范&#xff0c;JDBC定义了一个支持标准SQL功能的通用低层的应用程序编程接口(API)&#xff0c;它由Java 语言编写的类和接口组成&#xff0c;旨在让各数据库开发商为Java程序员提供标准的数据库API。 JDBC API…

给你一个热爱阅读的机会,走到哪儿,看到哪儿的读书体验

整理 | 禾木木出品 | AI科技大本营&#xff08;ID:rgznai100&#xff09;不知道在自我介绍的时候是不是都有一个共同的爱好&#xff1a;阅读。但是喜欢阅读就代表会经常去图书馆或者是阅读室吗&#xff1f;不&#xff01;这是一个肯定的答案。通常会因为太忙或是懒惰而选择放弃…

Linux环境编程--进程

查看正在运行的进程 #ps -ef #ps ax 可以看到状态查看nice值 #ps -l #ps -fsystem函数 传递命令&#xff0c;如同在shell中执行 char * p"ps ax"; system(p);或者 "ps ax &";//ps一启动shell就返回execl,execlp,execle函数 exec启动一个新程序&#xf…

芝麻HTTP:Scrapy-Splash的安装

2019独角兽企业重金招聘Python工程师标准>>> Scrapy-Splash是一个Scrapy中支持JavaScript渲染的工具&#xff0c;本节来介绍它的安装方式。 Scrapy-Splash的安装分为两部分。一个是Splash服务的安装&#xff0c;具体是通过Docker&#xff0c;安装之后&#xff0c;会…

用bind架设自己的智能DNS

中国的南北网络问题&#xff0c;是许多做网站的人的心病除了使用双通或者多通机房以外&#xff0c;还可以通过多台镜像服务器的方法来提高用户的访问速度 但是&#xff0c;如果使用的双通机房并不是单IP的&#xff0c;或者使用多台镜像的做法&#xff0c;就会面临多个不同的服务…

漫漫运维路——集群基础知识

集群的基本概念随着计算机科学的发展&#xff0c;对计算机的性能要求越来越高&#xff0c;比如在很多流量比较大的门户网站以及科学实验环境中需要海量计算的环境&#xff0c;这时候就迫切需要后端的服务器性能有提升。而对于提升后端服务器性能所采用的方式有两种&#xff0c;…

数据爆发时代,英特尔携手腾讯构筑全面的数据长城

作者 | 贾凯强 出品 | AI科技大本营&#xff08;ID:rgznai100&#xff09; 5G到来&#xff0c;边缘需求不断&#xff0c;IoT持续爆棚&#xff0c;数据在爆炸式增长。 在数据增长的过程中&#xff0c; 相应的其处理能力也需要增长&#xff0c;CPU等算力核心也在提升&#xff0c;…

python3 _笨方法学Python_日记_DAY3

Day3 习题 13: 参数、解包、变量from sys import argvscript, first, second, third argvprint("The script is called:",script) print("Your first variable is:",first) print("Your second variable is:",second) print("Your third…

动漫风格迁移 AnimeGANv2 ,发布线上运行 Demo

作者 | 神经星星出品 | HyperAI超神经By 超神经内容一览&#xff1a;最强二次元风格迁移模型 AnimeGAN 更新啦&#xff0c;现在可以在线上轻松运行模型&#xff0c;还可以调整风格参数&#xff0c;输出你想要的照片效果。关键词&#xff1a;风格迁移 机器视觉 二次元AnimeGANv2…

linux学习笔记一

常用命令 文件操作命令 cat命令 显示文件内容 复制代码 -b 从1开始对所有非空输出行进行编号 -n 从1开始对所有输出行进行编号 ctrls停止滚屏 ctrlq恢复滚屏 ctrlc终止命令的执行 cat file1 file2同时显示文件file1和file2的内容cat file1 file2 > file3将文件file1和f…

解决SecureCRT中文乱码

由于工作和学习需要在Windows7上使用Securecrt操作Linux&#xff08;Red Hat Enterprise Linux 5&#xff09;。一看汉字是乱码。Google一下。基本上是两个方面考虑解决问题&#xff1a;1、首先是Linux要支持汉字字符集&#xff1a;一般UTF-8。在etc/sysconfig/i18n中把LANG改成…

7000 字精华总结,Pandas/Sklearn 进行机器学习之特征筛选,有效提升模型性能

作者 | 俊欣来源 | 关于数据分析与可视化今天小编来说说如何通过pandas以及sklearn这两个模块来对数据集进行特征筛选&#xff0c;毕竟有时候我们拿到手的数据集是非常庞大的&#xff0c;有着非常多的特征&#xff0c;减少这些特征的数量会带来许多的好处&#xff0c;例如提高预…

徒手撸出一个类Flask微框架(三)根据业务进行路由分组

所谓分组就是按照前缀分布映射如&#xff1a;/product/(\w)/(?P<id>\d # 匹配/product/123123 的前缀比如什么类别&#xff0c;类别下的什么产品 等&#xff0c;用request path进行正则匹配&#xff0c;所以需要用到正则分组分析我们当前代码&#xff0c;只有__…

TCP编程函数和步骤

TCP编程的服务器端一般步骤是1、 创建一个socket&#xff0c;用函数socket()&#xff1b;2、 设置socket属性&#xff0c;用函数setsockopt(); * 可选3、 绑定IP地址、端口等信息到socket上&#xff0c;用函数bind();4、 开启监听&#xff0c;用函数listen()&#xff1b;5、 接…

OSD的主要实现方法和类型(转)

源&#xff1a;OSD的主要实现方法和类型 目前有两种主要的OSD实现方法&#xff1a;外部OSD发生器与视频处理器间的叠加合成;视频处理器内部 支持OSD&#xff0c;直接在视频缓存内部叠加OSD信息。 外部OSD发生器与视频处理器间的叠加合成的实现原理是&#xff1a;由一个MCU内建的…

为什么要研究游戏 AI 呢?

作者 | 叶鑫来源 | DatawhaleAI作为时下计算机算法的超级巨星&#xff0c;在例如CV、NLP、语音、机器人等诸多领域都有广泛的应用。而在游戏领域&#xff0c;AI的应用往往被认为只是把游戏角色拟人化&#xff0c;算法的第一印象也通常是强化学习。但实际当中&#xff0c;AI在游…

oracle 工具:tkprof

https://docs.oracle.com/cd/B10501_01/server.920/a96533/ex_plan.htm http://blog.csdn.net/dba_waterbin/article/details/8010629 oracle sql执行计划怎么看 https://zhidao.baidu.com/question/1178766860347033659.html

Linux环境编程--文件基本操作

Linux 下目录是/这样的 而windows是\怎么记呢&#xff1f;\和w是不是一样的反向&#xff1f;所以Linux的目录就是反的反向&#xff0c;好记了。 一&#xff1a;open函数名称&#xff1a;open目标&#xff1a;打开一个文件。头文件&#xff1a;#include <sys/types.h>#in…

Firefox插件

为什么80%的码农都做不了架构师&#xff1f;>>> 网站优化必备的9个Firefox插件 在网页设计制作中经常使用到的火狐浏览器插件工具&#xff1a; 1. Firebug Firebug是开发人员们钟爱火狐浏览器的一个重要原因&#xff0c;Firebug是火狐浏览器上一个集成式的强大调试…

马斯克公开支持“上班摸鱼”:让工作更愉快!

整理 | 王晓曼出品 | 程序人生 &#xff08;ID&#xff1a;coder _life&#xff09;11月16日&#xff0c;在国美集团批评员工上班摸鱼的通报中&#xff0c;一名员工在网易云音乐上使用了22.5G的流量格外显眼。11月18日&#xff0c;网易云音乐也紧跟热点上线了摸鱼计算器活动&am…

瀚思首发三款产品 推动大数据安全战略布局

安全已成为了当下社会最为关注的几个问题之一&#xff0c;随着大数据时代的来临&#xff0c;如今的安全问题也变得严峻和复杂。近日&#xff0c;HanSight瀚思在北京召开了产品战略暨融资发布会&#xff0c;推出了瀚思用户行为分析系统&#xff08;HanSight UBA&#xff09;、瀚…

Linux环境编程--编辑器基本操作

vim使用 新建文件 #vim hello.c 插入模式 按下I键&#xff0c;底下出现- - 插入- - 换行&#xff1a;按下Enter 删除字符&#xff1a;普通模式下按x 删除整行&#xff1a;按dd 恢复删除&#xff1a;按u 取消命令&#xff1a; CtrlR 对U后果弥补 复制&#xff1a;y y2w复制2个…

2021 IDEA大会开启AI思想盛宴,用“创业精神”做科研

11月22日上午10时许&#xff0c;由深圳市福田区人民政府、深圳市福田区科技创新局和粤港澳大湾区数字经济研究院&#xff08;International Digital Economy Academy, 简称“IDEA”&#xff09;联合举办的2021 IDEA大会在深圳福田开幕。大会以“The World Needs a Few Good IDE…

Android不同分辨率和不同密度适配

官方原文地址&#xff1a;http://developer.android.com/training/multiscreen/screendensities.html 本文主要介绍&#xff1a; 1.dip dp sp 简单用法 2.适配不同分辨率屏幕图片的处理方法 支持不同的密度或分辨率 本课介绍如何通过提供不同的资源和使用的测量分辨率独立单元支…

网络工程师成长日记333-某城市政府项目

网络工程师成长日记333-某城市政府项目 这是我的第333篇原创文章&#xff0c;记录网络工程师行业的点点滴滴&#xff0c;结交IT行业有缘之人 直接上干货&#xff0c;拓扑图&#xff1a; 工程目的&#xff1a;排除故障配置如下&#xff1a;LinWei#show running-configBuilding c…

linux环境编程-- ftok()函数

系统建立IPC通讯&#xff08;如消息队列、共享内存时&#xff09;必须指定一个ID值。通常情况下&#xff0c;该id值通过ftok函数得到。 ftok原型如下&#xff1a; key_t ftok( char * fname, int id )fname就时你指定的文件名(该文件必须是存在而且可以访问的)&#xff0c;id是…

使用 ChatterBot 库制作一个聊天机器人

作者 | 周萝卜来源 | 萝卜大杂烩我们学习一些如何使用 ChatterBot 库在 Python 中创建聊天机器人&#xff0c;该库实现了各种机器学习算法来生成响应对话&#xff0c;还是挺不错的1什么是聊天机器人聊天机器人也称为聊天机器人、机器人、人工代理等&#xff0c;基本上是由人工智…

powerDesign设计随笔

PowerDesigner的Table视图同时显示Code和Name的方法 实现方法&#xff1a;Tools-Display Preference powerDesigner设置 name不自动等于code 从数据库里抽取了数据模型&#xff0c;为了理清思路&#xff0c;需要将name改为中文名称&#xff0c;但是pd自动将name填充为code&…

Apache Kylin在绿城客户画像系统中的实践

前言\\作为国内知名的房地产开发商&#xff0c;绿城经过24年的发展&#xff0c;已为全国25万户、80万人营造了美丽家园&#xff0c;并将以“理想生活综合服务提供商”为目标&#xff0c;持续为客户营造高品质的房产品和生活服务。\\2017年&#xff0c;绿城理想生活集团成立&…

linux环境编程--IPC 之 msg queue

消息队列在UNIX的SystemV版本&#xff0c;AT&T引进了三种新形式的IPC功能&#xff08;消息队列、信号量、以及共享内存&#xff09;。但BSD版本的UNIX使用套接口作为主要的IPC形式。Linux系统同时支持这两个版本。系统调用msgget() 如果希望创建一个新的消息队列&#xff0…