‌Elastic Stack（原ELK Stack）是一套由Elastic公司开发的开源数据搜索、分析和可视化工具集合，核心组件包括Elasticsearch、Kibana、Beats和Logstash‌，广泛应用于日志分析、安全监控、业务智能等领域。‌‌‌‌

参考文章：

ElasticSearch深入解析（一）：Elastic Stack全景

ElasticStack对接kafka集群

推荐文章：ELK日志管理、强大的ELK日志分析系统

Elastic Stack

核心组件与功能

  1. ‌Elasticsearch‌。 分布式搜索和分析引擎，基于Lucene构建，支持实时全文检索、结构化查询及复杂数据分析。‌‌特点：水平扩展、高可用性，适用于海量数据存储与快速检索。
  2. ‌Kibana‌。界面交互开发工具和管理工具，数据可视化分析利器。数据可视化平台，提供交互式图表、仪表盘和地图，支持对Elasticsearch数据的实时探索与展示。‌‌‌‌扩展功能：集群监控、异常检测及机器学习辅助分析。
  3. Logstash‌。 数据采集与处理管道，支持多源数据输入（如日志、数据库）、过滤转换（如解析JSON）并输出至存储库。‌‌插件生态丰富，可集成MySQL、Kafka等第三方系统。
  4. Beats‌。 轻量级数据采集器家族，包括Filebeat（日志）、Metricbeat（指标）、Packetbeat（网络流量）等。‌‌

image-20250630165350834

Logstash

Logstash与Beats作为底层核心引擎，共同构建了数据摄取平台，实现数据标准化处理，为后续分析奠定基础。其中：

  • Logstash的定位与功能：提供免费开源的服务器端数据处理管道（pipeline），支持从多源数据源采集数据，通过过滤（filter）组件按自定义规则解析事件、提取字段并转换为通用格式，最终将标准化数据输出至Elasticsearch等“存储库”。
  • 灵活的输出能力：依托可插拔框架，Logstash支持将数据输出至MySQL、Kafka、Redis等多样化目标，满足业务场景的差异化存储与处理需求。
  • 插件生态与配置模式：内置超200个插件（如logstash_input_jdbc、logstash_output_elasticsearch等），通过“输入-过滤-输出”三段式模板灵活配置，适配不同类型数据的处理流程，提升数据集成效率。

Beats

Beats是免费开源的轻量级数据采集平台，通过集成多种单一功能的数据采集器，实现海量机器与系统的数据向Logstash或Elasticsearch的高效传输，具体特点如下：

  • 核心功能与采集器类型：

    作为数据采集层核心组件，支持从数百/数千台设备实时采集数据；包含多款轻量级采集器：

    • Filebeat：专注日志文件采集，资源占用低，适合大规模日志场景；

    • Metricbeat：实时监控服务器CPU、内存、磁盘等性能指标；

    • Packetbeat：捕获网络流量数据，解析协议字段以分析网络性能与安全。

  • 技术优势：

    • 可扩展框架：支持自定义采集器扩展，适配多样化数据源；
    • 高效采集：预置采集器经过优化，降低数据采集对系统资源的消耗，提升采集效率。

  • 与Elastic Stack的协同价值：
    Beats与Elasticsearch、Logstash、Kibana共同构成Elastic数据平台四大核心产品，实现：

    • 实时性：秒级数据采集与传输，满足实时分析需求；

    • 相关性：通过数据标准化与关联分析，挖掘数据间深层联系；

    • 扩展性：支持PB级数据规模，灵活应对业务增长。

      该平台通过全链路数据处理能力，彻底解决企业大数据实时采集、分析与可视化难题，成为数据驱动决策的核心基础设施。

Elasticsearch

  • 使用简单的RESTful API，天然兼容多语言开发。

  • 支持水平横向扩展节点，通过增加节点来实现负载均衡及增强集群可靠性。

  • 面向文档，不使用“表”来存储数据，而使用“文档”来存储数据。

  • 无模式，无须定义好字段类型、长度等，可以直接导入文档数据。

  • 近实时存储，使每个字段都被索引且可用于搜索。

  • 响应快，海量数据下能实现秒级响应速度。

  • 易扩展，支持处理PB级的结构化或非结构化数据。

  • 多租户，支持多个业务共用Elasticsearch服务，并且确保各业务间数据的隔离性。

  • 支持多种编程语言，包含但不限于Java、Python、C#、PHP、Python、Ruby等。

Kibana

Kibana是一款免费开源的工具，作为Elastic Stack的核心用户界面，主要功能：

  • 数据可视化分析：支持将Elasticsearch中的数据转化为折线图、仪表盘、地理地图等多样化可视化图表，用户可通过简单拖拽操作自定义多维度数据报表，快速洞察数据趋势与关联。
  • 开发与运维支持：集成界面交互开发工具与管理工具，辅助技术人员完成查询调试、索引管理、权限配置等操作，简化开发流程并提升运维效率。
  • 集群监控与异常检测：
    • 作为可视化安全监控平台，实时展示Elasticsearch集群的CPU、内存、索引状态等关键运维指标，提供实时运行状态看板与历史趋势曲线，帮助用户提前发现潜在风险。
    • 内置机器学习功能，自动检测数据中的异常模式（如指标突变、异常流量），追溯异常来源，实现智能化故障预警与根因分析。

ELK的工作原理

  1. 在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash。
  2. Logstash 收集日志（input），将日志格式化（filter）并输出（out）到 Elasticsearch 群集中。
  3. Elasticsearch 对格式化后的数据进行索引和存储。
  4. Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。

总结：logstash作为日志搜集器，从数据源采集数据，并对数据进行过滤，格式化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处理。

典型应用场景‌

来源于百度的应用场景分类：

  • 日志管理‌：集中采集服务器日志，实时分析异常（如网络安全事件）。‌‌
  • 业务分析‌：电商搜索优化、用户行为分析等。‌‌
  • 安全监控‌：构建实时威胁检测平台，识别异常登录或攻击行为

Elastic Stack在全文检索、产品检索、JSON文档存储、数据聚合、坐标与地理位置检索、指标统计和分析、自动补全、自动推荐、安全分析等领域都有广泛的应用。可分为全文检索、日志分析、商业智能 3 类核心应用场景：

  1. 全文检索场景
  2. 覆盖多场景：支持电商（淘宝/京东）、应用市场（360手机助手）、文档平台（腾讯文档）等搜索需求。
  3. 技术优势：提供自定义打分/排序、高亮显示，通过跨机房容灾实现高可用、低延迟。
  4. 企业实践：阿里巴巴、腾讯、携程等头部企业将其作为核心技术，提升用户体验与业务效率。
  1. 日志分析场景。Elasticsearch支持多类型日志处理：
  2. 日志类型：涵盖业务日志（用户行为）、状态日志（慢查询）、系统日志（多等级）。
  3. 技术优势：基于倒排索引实现秒级日志索引与检索，满足实时分析需求。
  4. 企业应用：58集团、唯品会、国投瑞银等用于日志分析、监控与故障排查。
  1. 商业智能场景
    电子商务、移动App开发、广告媒体等领域的企业面临大型业务数据收集与分析的巨大挑战。

  • Elasticsearch的核心能力：

    • 具备结构化查询功能，可实现全文数据检索和聚合分析；
    • 高效处理大数据，支持个性化分析，助力企业发现问题、辅助业务决策并挖掘商业价值。

  • 典型商业智能应用场景：

    • 睿思BI、百度数据可视化Sugar BI、永洪BI等商业智能系统，均借助Elasticsearch高效、实时的数据分析和可视化能力；
    • 帮助企业理解市场趋势、优化决策过程，提升数据驱动的商业价值。