logstash

在传统的应用场景中，对于这些上报的异常日志信息。通常适用Linux命令去分析定位问题，如果日志数据量小，也许不会觉得有什么不适。假若面对的是海量的异常日志信息，这时还用Linux命令去逐一查看、定位，这将是灾难性的

Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎 国内简称ES，Elasticsearch是用java开发的，底层基于Lucene Lucene是一种全文检索的搜索库，直接使用Lucene还是比较麻烦的，Elasticsearch在Lucene的基础上开发了一个强大的搜索引擎。 大家估计都经常见到ELK这个关键词，他其实代表了Elasticsearch + Logstash + Kibana 三套软件，他们的作用如下： Elasticsearch - 前面简介提到过，解决海量数据搜索问题。 Logstash - 解决数据同步问题，因为我们数据一般存储在Mysql之类的数据库中，需要将数据导入到ES中，Logstash就支持数据同步、数据过滤、转换功能

es冷热数据分离目的是为了节省成本。如下图： 对于开发人员而言即数据的冷热分离，实现此功能有2个前提条件： 不同的数据存储在不同的硬盘，如近期数据存储在SSD，较远历史数据存储在sata。 elasticsearch 的冷热分离配置主要依赖于分片分布规则设置

前言 ELK是指ElasticSearch、Logstash和Kibana这三个open-source软件的集合套件，这三个软件可以组成一套日志(log)分析和监控架构。 一、Elasticsearch： 一个基于Apache Lucene的分散式全文检索引擎，支援RESTful接口，并可对数据进行即时分析。 二、Logstash： 用于管理log的工具软件，可以进行log收集、过滤以及解析，并将资料输出储存