leveldb什么叫键值数据库?

leveldb和lmdb的区别

Caffe是目前深度学习比较优秀好用的一个开源库,采样c++和CUDA实现,具有速度快,模型...Caffe的数据层可以从数据库(支持leveldb、lmdb、hdf5)、图片、和内存中读入。

...

imagenet是基于什么模型的

1、准备数据。

假设已经下载好数据集和验证集，存储路径为： /path/to//train/n01440764/n01440764_10026.JPEG /path/to//val/ILSVRC2012_val_00000001.JPEG 首选需要创建一个txt文件，列举出所有图像以及对应的lable，caffe包“Python/caffe//ilsvrc_2012_train.txt”和“ilsvrc_2012_val.txt”两个文件分别是标好的训练集和验证集的文件，共分为1000类。

还需要注意的是，所有的图像都需要归一到同样的尺寸。

2、转化生成训练集。

运行下面的命令： GLOG_logtostderr=1 examples/convert_imageset.bin /path/to//train/ python/caffe//ilsvrc_2012_train.txt /path/to/-train-leveldb 生成文件存储在“/path/to/-train_leveldb”路径下。

3、计算图像均值。

执行命令： examples/pute_image_mean.bin /path/to/-train-leveldb /path/to/mean.binaryproto 第一个参数是执行脚本代码，第二个参数是上一步生成的数据集，第三个参数是存储图像均值的目录路径。

4、定义网络。

ImageNet的网络定义在“examples/.prototxt”文件中，使用时需要修改里面source和meanfile变量的值，指向自己文件的路径。

仔细观察.prototxt和_val.prototxt文件可以发现，训练和验证的参数大部分都相同，不同之处在于初始层和最后一层。

训练时，使用softmax_loss层来计算损失函数和初始化后向传播，验证时，使用uracy层来预测精确度。

在文件“examples/_solver.prototxt”中定义solver协议，同样需要修改和的路径。

5、训练网络。

执行命令： GLOG_logtostderr=1 examples/.bin examples/_solver.prototxt 6、在python中使用已经训练好的模型。

Caffe只提供封装好的模型，给定一副图像，直接计算出图像的特征和进行预测。

首先需要下载模型文件。

caffe为什么要使用lmdb数据库

1. caffe先支持leveldb，后支持lmdb的，lmdb读取的效率更高，而且支持不同程序同时读取，而leveldb只允许一个程序读取。

这一点在使用同样的数据跑不同的配置程序时很重要。

2. 关于key的问题，图像数据label（默认支持的label是一个整数，表示类别）就那么多，用label作为key肯定要重复了，故不能用label作为key。

3. 关系数据库不是很了解。

不过训练过程是不断的按序读取一个一个batch的数据，不需要复杂的数据存储格式吧，这样线性存储读取的效率也高吧。

什么叫键值数据库?

兼职数据库就是数据按照键值对的形式进行组织、索引和存储。

KV存储非常适合不涉及过多数据关系业务关系的业务数据，同时能有效减少读写磁盘的次数，比SQL数据库存储拥有更好的读写性能。

介绍9种用于大数据处理的免费键值存储数据库。

1. Aerospike 社区版 2. LevelDB 3. Scalaris 4. Project Voldemort 5. HyperDex 6. Berkeley DB 7. Apache umulo 8. Redis 9. Apache Cassandra