高性能key-value数据库nessDB介绍

winston

nessDB是一个小巧、高性能、可嵌入式的key/value存储引擎，使用标准C开发，支持Linux, *BSD, OS X and Solaris等系统，无第三方库依赖。本文来自nessDB作者@BohuTANG 的投稿分享，推荐给大家。
同时nessDB还提供一个服务端，支持Redis的 PING, SET, MSET, GET, MGET, DEL, EXISTS, INFO, SHUTDOWN 命令，您可以使用任何一款Redis客户端来连接和操作nessDB。
整个引擎基于LSM-Tree思想开发，对随机写非常友好。为提高随机读，nessDB使用了Level LRU和Bloom Filter策略。
nessDB结构介绍主要包括：Memory-Table，Sorted-Table(*.sst)、Meta和Log四大部分。
1. Memory-Table 是个有序内存表，使用Skiplist实现。所有的添加/删除首先会写到这个内存表，当这个内存表达到一定数量后，进入immutable只读状态，后台线程开始对其进行merge操作。同时会新建一个内存表，继续接受添加/删除操作。
Memory-Table数据结构如下：

key

value-offset

operation

• ‘key’：key数据
  
• ‘value-offset’:value在DB文件里的偏移地址
  
• ‘operation’：标识，是添加还是删除操作
  

由于不存储value，可以对更多的数据进行缓存和排序，对随机写更友好（这点与levelDB不同）。
nessDB同时最多有2个Memory-Table，一个处于可读写的active状态，另一个处于只读的immutable状态。
2. Sorted-Table key有序存储的索引文件(*.sst)。每个sst索引文件默认存储25000条记录，任何两个sst索引文件没有区间重叠（也没有level之分，这点与levelDB不同）。一个sst索引文件结构如下：

key1	value1-offset(big-endian)
key2	value2-offset(big-endian)
… more key and value offset …
keyN	valueN-offset(big-endian)
last-key	count	crc

最后一行是个FOOTER结构，存储着当前索引文件最大的key(即last key），当前索引文件拥有的记录数目（count)和一个crc值。
3. Meta 索引Meta信息表nessDB每次启动的时候，读取所有sst索引文件的FOOTER信息，组成一个内存索引meta信息表，结构如下：

begin key	end key	sst file name	sequential number
… all the other items …

此meta信息表的作用是可根据key二分查找出所在的sst索引文件。
4. Loglog是Memory-Table在磁盘上的一个镜像，如果因为某种原因crash，下次重启时，nessDB会自动检测并进行数据恢复。
性能这有个不太专业的性能测试报告：https://gist.github.com/2235147
该测试基于: Linux 3.0.0内核,Ext4文件系统,CFQ调度器。
如果您有兴趣，可以下载源码:
./make db-bench./db-bench write <count>进行性能测试，不同机器结果会有差别。
关于nessDBnessDB是一个开源项目，目前已有十多位代码贡献者，希望更多的人参与进来。
源码地址：https://github.com/shuttler/nessDB
最后希望使用B树开发自己NoSql产品的朋友，可以尝试下LSM-Tree，它思想朴素、简单，性能好。