es冷热数据分离目的是为了节省成本。如下图:
对于开发人员而言即数据的冷热分离,实现此功能有2个前提条件:
不同的数据存储在不同的硬盘,如近期数据存储在SSD,较远历史数据存储在sata。
elasticsearch 的冷热分离配置主要依赖于分片分布规则设置。
索引模板logstash:所有 logstash* 的索引匹配的模板。
step3: 定时任务将历史索引分配到 cold 节点下。最新索引保存在hot节点,历史索引定时保存到cold节点。
自己写脚本,将历史索引标记为stale。
这样旧索引数据会自动迁移到cold集群上。