es冷热数据分离目的是为了节省成本。如下图:

对于开发人员而言即数据的冷热分离,实现此功能有2个前提条件:

不同的数据存储在不同的硬盘,如近期数据存储在SSD,较远历史数据存储在sata。

elasticsearch 的冷热分离配置主要依赖于分片分布规则设置。

索引模板logstash:所有 logstash* 的索引匹配的模板。

step3: 定时任务将历史索引分配到 cold 节点下。最新索引保存在hot节点,历史索引定时保存到cold节点。

自己写脚本,将历史索引标记为stale。

这样旧索引数据会自动迁移到cold集群上。