rocksdb
Rope 是一款轻量级别的 ETL (Extract-Transform-Load) 工具。主要用于从不同源获取/接受数据,然后统一处理数据后,写入到各种目标源;系统采用多级缓冲和数据缓存,每秒可处理上万级别的数据;而且系统采用插件扩展系统的各个组件,针对不同需求扩展不同插件。轻量级别、快速、简单,入门门槛低;基于Springboot开发;扩展性强,基于插件开发,可根据不同需求来开发数据读取者、数据处理器、数据写入者;既可通过UI界面来构建流程、也可以使用json、yml文件构建流程;基于 Disruptor 做的缓冲,并新增缓存(内存、redis、rocksdb等),处理速度快
前几天 我初探了 Facebook 开源的 rocksdb 一个据称比 Google leveldb 性能强劲数倍的 KV 存储引擎. 虽然 rocksdb 提供了压测数据 不过对于 rocksdb 是否名副其实 以及它在不同的应用场景下有什么特点 有没有坑 我还是保留疑问的. 我直接使用 ssdb 的源码对 rocksdb 进行封装 也是考虑和原来的 ssdb 做对比. 稍微透露一下 在空库的条件下测试 rocksdb 作为存储引擎时的性能比使用 leveldb 时有所下降. 不过 rocksdb 的官方测试数据都是在超过 RAM 的大数据场景下测的 所以接下来 我还要对各种场景进行测试. Facebook 最近开源了一个 NoSQL 存储引擎 rocksdb. 这个开源引擎是基于 Google 的 leveldb 1.5 版本 但据称做了许多优化 性能相对 leveldb 有了很大的提升 而且解决了 leveldb 主动限制写的问题. 为了试验 rocksdb 是否能应用于 ssdb 以及换了 rocksdb 之后 ssdb 是否有明显的性能提高 所以我下载了 rocksdb 的源码来试着编译一下. 官方已经解决了编译问题 我将进行下一步试验.