数据集cifar10到Caffe支持的lmdb/leveldb转换的实现
在 http://blog.csdn.net/fengbingchun/article/details/53560637 对数据集cifar10进行过介绍，它是一个普通的物体识别数据集。为了使用Caffe对cifar10数据集进行train，下面实现了将cifar10到lmdb/leveldb的转换实现：
#include "funset.hpp"
#include "common.hpp"const int CIFAR10_IMAGE_BTYES_SIZE = 3072; // 32 * 32 * 3
const int CIFAR10_IMAGE_WIDTH = 32;
const int CIFAR10_IMAGE_HEIGHT = 32;
const int CIFAR10_TRAIN_BATCHES = 5;
const int CIFAR10_BATCH_SIZE = 10000;static void read_image(std::ifstream* file, int* label, char* buffer)
{char label_char;file->read(&label_char, 1);*label = label_char;file->read(buffer, CIFAR10_IMAGE_BTYES_SIZE);return;
}static void convert_dataset(const std::string& input_folder, const std::string& output_folder, const std::string& db_type)
{// prevent crash when multiple call convert_dataset functionstd::vector<std::string> output_folder_name{ output_folder + "/cifar10_train_" + db_type,output_folder + "/cifar10_test_" + db_type };for (const auto& name : output_folder_name) {//constboost::filesystem::remove_all(name);}boost::scoped_ptr<caffe::db::DB> train_db(caffe::db::GetDB(db_type));train_db->Open(output_folder + "/cifar10_train_" + db_type, caffe::db::NEW);boost::scoped_ptr<caffe::db::Transaction> txn(train_db->NewTransaction());// Data bufferint label;char str_buffer[CIFAR10_IMAGE_BTYES_SIZE];caffe::Datum datum;datum.set_channels(3);datum.set_height(CIFAR10_IMAGE_HEIGHT);datum.set_width(CIFAR10_IMAGE_WIDTH);LOG(INFO) << "Writing Training data";for (int fileid = 0; fileid < CIFAR10_TRAIN_BATCHES; ++fileid) {// Open filesLOG(INFO) << "Training Batch " << fileid + 1;std::string batchFileName = input_folder + "/data_batch_" + caffe::format_int(fileid + 1) + ".bin";std::ifstream data_file(batchFileName.c_str(), std::ios::in | std::ios::binary);CHECK(data_file) << "Unable to open train file #" << fileid + 1;for (int itemid = 0; itemid < CIFAR10_BATCH_SIZE; ++itemid) {read_image(&data_file, &label, str_buffer);datum.set_label(label);datum.set_data(str_buffer, CIFAR10_IMAGE_BTYES_SIZE);std::string out;CHECK(datum.SerializeToString(&out));txn->Put(caffe::format_int(fileid * CIFAR10_BATCH_SIZE + itemid, 5), out);}}txn->Commit();train_db->Close();LOG(INFO) << "Writing Testing data";boost::scoped_ptr<caffe::db::DB> test_db(caffe::db::GetDB(db_type));test_db->Open(output_folder + "/cifar10_test_" + db_type, caffe::db::NEW);txn.reset(test_db->NewTransaction());// Open filesstd::ifstream data_file((input_folder + "/test_batch.bin").c_str(), std::ios::in | std::ios::binary);CHECK(data_file) << "Unable to open test file.";for (int itemid = 0; itemid < CIFAR10_BATCH_SIZE; ++itemid) {read_image(&data_file, &label, str_buffer);datum.set_label(label);datum.set_data(str_buffer, CIFAR10_IMAGE_BTYES_SIZE);std::string out;CHECK(datum.SerializeToString(&out));txn->Put(caffe::format_int(itemid, 5), out);}txn->Commit();test_db->Close();
}int cifar10_convert()
{// reference: ./examples/cifar10/convert_CIFAR10_data.cppconst std::vector<std::string> argv{"*.exe","E:/GitCode/Caffe_Test/test_data/cifar10","E:/GitCode/Caffe_Test/test_data/cifar10","lmdb" };convert_dataset(argv[1], argv[2], argv[3]);fprintf(stderr, "cifar10 convert finish\n");return 0;
}
GitHub：https://github.com/fengbingchun/Caffe_Test
相关文章：
计算两个时间的间隔时间是多少
/*** 计算两个时间间隔* param startTime 开始时间* param endTime 结束时间* param type 类型（1：相隔小时 2：）* return*/public static int compareTime(String startTime, String endTime, int type) {if (endTime nul…
作为西二旗程序员，我是这样学习的.........
作为一名合格的程序员，需要时刻保持对新技术的敏感度，并且要定期更新自己的技能储备，是每个技术人的日常必修课。但要做到这一点，知乎上的网友说最高效的办法竟然是直接跟 BAT 等一线大厂取经。讲真的，BAT大厂的平台是…
2月国内搜索市场：360继续上升 百度下降0.62%
IDC评述网（idcps.com）03月06日报道：根据CNZZ数据显示，在国内搜索引擎市场中，百度在2014年2月份所占的份额继续被蚕食，环比1月份，下降了0.62%，为60.50%。与此相反，360搜索…
不止于刷榜，三大CV赛事夺冠算法技术的“研”与“用”
（由AI科技大本营付费下载自视觉中国）整理 | Jane出品 | AI科技大本营（ID：rgznai100）在 5 个月时间里（5月-9月），创新工场旗下人工智能企业创新奇智连续在世界顶级人脸检测竞赛 WIDER …
Ubuntu14.04上编译指定版本的protobuf源码操作步骤
Google Protobuf的介绍可以参考 http://blog.csdn.net/fengbingchun/article/details/49977903 ，这里介绍在Ubuntu14.04上编译安装指定版本的protobuf的操作步骤，这里以2.4.1为例：1． Ubuntu14.04上默认安装的是2.5.0，…
Linux下，各种解压缩命令集合
Linux下，各种解压缩命令集合tar xvfj lichuanhua.tar.bz2tar xvfz lichuanhua.tar.gztar xvfz lichuanhua.tgztar xvf lichuanhua.tarunzip lichuanhua.zip.gz解压 1：gunzip FileName.gz解压 2：gzip -d FileName.gz压缩：gzip File…
gtest使用初级指南
之前在 http://blog.csdn.net/fengbingchun/article/details/39667571 中对google的开源库gtest进行过介绍，现在看那篇博文，感觉有些没有说清楚，这里再进行总结下：Google Test是Google的开源C单元测试框架，简称gtest。…
iOS视频流采集概述(AVCaptureSession)
需求：需要采集到视频帧数据从而可以进行一系列处理(如: 裁剪，旋转，美颜，特效....). 所以,必须采集到视频帧数据. 阅读前提: 使用AVFoundation框架采集音视频帧数据GitHub地址(附代码) : iOS视频流采集概述 简书地址 : iOS视频流采…
300秒搞定第一超算1万年的计算量，量子霸权时代已来？
（由AI科技大本营付费下载自视觉中国）作者 | 马超责编 | 郭芮来源 | CSDN 博客近日，美国航天局（NASA）发布了一篇名为《Quantum Supremacy Using a Programmable Superconducting Processor》的报道，称谷歌的…
2014-3-6 星期四 [第一天执行分析]
昨日进度： [毛思想]：看测控技术量待定 --> [良]超额完成，昨天基本上把测控看了一大半啦 [汇编]：认真听课，边听边消化自学 --> [中]基本满足，还需要抽时间总结，特别是前面寻址的各种情况…
行列式介绍及Eigen/OpenCV/C++的三种实现
行列式，记作det(A)，是一个将方阵A映射到实数的函数。行列式等于矩阵特征值的乘积。行列式的绝对值可以用来衡量矩阵参与矩阵乘法后空间扩大或者缩小了多少。如果行列式是0，那么空间至少沿着某一维完全收缩了，使其失去了所有的体积…
基于Go的语义解析开源库FMR，“屠榜”模型外的NLP利器
（由AI科技大本营付费下载自视觉中国）作者 | 刘占亮 一览群智技术副总裁编辑 | Jane出品 | AI科技大本营（ID：rgznai100）如何合理地表示语言的内在意义？这是自然语言处理业界中长久以来悬而未决的一个命题。在…
【高级数据类型2】- 10. 接口
2019独角兽企业重金招聘Python工程师标准>>> Go语言-接口 在Go语言中，一个接口类型总是代表着某一种类型（即所有实现它的类型）的行为。一个接口类型的声明通常会包含关键字type、类型名称、关键字interface以及由花括号包裹的若干…
Linux软件包命令
2019独角兽企业重金招聘Python工程师标准>>> dpkg命令： dpkg -i **/**.deb 安装软件 dpkg -x **.deb 解开.deb文件 dpkg -r /-p 删除并清配置 更详细的 用dpkg --help 查询 如下： dpkg -i|--install <.deb 文件的文件名> ... | -R|--re…
Caffe中计算图像均值的实现(cifar10)
在深度学习中，在进行test时经常会减去train数据集的图像均值，这样做的好处是：属于数据预处理中的数据归一化，降低数据间相似性，可以将数值调整到一个合理的范围。以下code是用于计算cifar10中训练集的图像均值…
阿里云弹性公网IP（EIP）的使用限制
阿里云弹性公网IP（EIP）是一种可以独立购买和持有的公网IP地址资源，弹性公网IP具有独立购买持有、弹性绑定和配置灵活等优势，但实际使用中弹性公网IP也是有很多限制的，阿里云惠网分享弹性公网IP（EIP…
400名微软员工主动曝光薪资：28万元到228万元不等！
作者 | Dave Gershgorn译者 | 弯月，编辑 | 郭芮来源 | CSDN（ID：CSDNnews）【导读】近日，近400名微软员工分享了他们的薪酬（从4万美元到32万美元不等，约为28万人民币到228万人民币）&am…
Extjs:添加查看全部按钮
var grid new Ext.grid.GridPanel({renderTo:tsllb,title:产品成本列表,selModel:csm,height:350,columns:[csm,{header: "编码", dataIndex: "bm", sortable: true,hidden:true},{header: "产品", dataIndex: "cp", sortable: true},…
练手扎实基本功必备：非结构文本特征提取方法
作者 | Dipanjan (DJ) Sarkar编译 | ronghuaiyang来源 | AI公园（ID:AI_Paradise）【导读】本文介绍了一些传统但是被验证是非常有用的，现在都还在用的策略，用来对非结构化的文本数据提取特征。介绍在本文中，我们将研究如…
范数介绍及C++/OpenCV/Eigen的三种实现
有时我们需要衡量一个向量的大小。在机器学习中，我们经常使用被称为范数(norm)的函数衡量向量大小。形式上，Lp范数定义如下：范数(包括Lp范数)是将向量映射到非负值的函数。直观上来说，向量x的范数衡量从原点到点x的距离。更严格地…
js添加网页水印和three.js场景中加水印
我们在日常网页开发的时候，可能想给自己的网页或者canvas里面添加水印，增添个人标记，我这里分为普通静态html页面和threejs中3d场景里面添加水印功能。一 静态html页面添加水印你只需要在你的页面添加一个图片遮罩，通过绝对定位和…
JAVA学习笔记（6）
关于多线程的优先级，这个程序里面，现在计算机比较好，int存储不下了，我跑了好几次都是负分，特把int改成long。但是之后跑出来的结果，两个数字都差不多，不知道是什么问题？等待答案中。…
C++/C++11中std::deque的使用
std::deque是双端队列，可以高效的在头尾两端插入和删除元素，在std::deque两端插入和删除并不会使其它元素的指针或引用失效。在接口上和std::vector相似。与sdk::vector相反，std::deque中的元素并非连续存储：典型的实现是使用一个…
贾扬清：我对人工智能方向的一点浅见
阿里妹导读：作为 AI 大神，贾扬清让人印象深刻的可能是他写的AI框架Caffe ，那已经是六年前的事了。经过多年的沉淀，成为“阿里新人”的他，对人工智能又有何看法？最近，贾扬清在阿里内部分享了他的…
吴甘沙：天外飞“厕”、红绿灯消失，未来无人驾驶将被重新定义
整理 | 夕颜出品 | AI科技大本营（ID:rgznai100）2019 年9 月 5 日至 7 日，由新一代人工智能产业技术创新战略联盟（AITISA）指导，鹏城实验室、北京智源人工智能研究院支持，专业中文 IT 技术社区 CS…
Linux内核--网络栈实现分析（二）--数据包的传递过程--转
转载地址http://blog.csdn.net/yming0221/article/details/7492423 作者：闫明 本文分析基于Linux Kernel 1.2.13 注：标题中的”（上）“，”（下）“表示分析过程基于数据包的传递方向：”…
C++/C++11中std::stack的使用
栈stack 是一个容器适配器(container adaptor)类型，被特别设计用来运行于LIFO(Last-in First-out，后进先出)场景，在该场景中，只能从容器末尾添加和删除元素，其定义在stack头文件中。stack默认基于std::deque实现&#…
团队前四次作业——个人总结
团队前四次作业——个人总结 描述 团队名称待就业六人组相关团队第四次作业答辩——反思与总结做了哪些事？工作量、完成度 作业负责工作量完成度团队队员展示创意合照后期1h95%项目选题报告编写创新和收益部分2h85%项目原型设计原型设计6h95%需求规格说明书功能需求…
吴甘沙：天外飞“厕”、红绿灯消失，未来无人驾驶将被重新定义 | AI ProCon 2019
2019 年9 月 5 日至 7 日，由新一代人工智能产业技术创新战略联盟（AITISA）指导，鹏城实验室、北京智源人工智能研究院支持，专业中文 IT 技术社区 CSDN 主办的 2019 中国 AI 开发者大会（AI ProCon 2019&#x…
MySQL基础day03_数据的导入、导出-MySQL 5.6
MySQL基础day03_数据的导入、导出-MySQL 5.6注：把数据按照一定格式存放到文件里才能进行数据的导入。1，数据导入的条件把文件里的内容保存到数据的表里；把数据按照一定格式存放文件里；注：默认情况下，只有管…