Southern Fish

SkyWalking 不是传统意义上的中间件，但属于分布式追踪系统，主要用于监控微服务架构中的服务调用链路和性能分析。它提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案，支持微服务、云原生架构，提供了总览、拓扑、应用、服务视图及链路追踪、告警等功能，能够串联用户请求到后端各系统节点的处理流程，帮助快速定位问题。 参考文章： 分布式链路追踪原理详解及SkyWalking、Zipkin介绍 分布式全链路追踪 SkyWalking基本原理 链路跟踪-SkyWalking系列 SkyWalking应用监控和链路跟踪随着微服务架构的流行，开发的运维压力增大，经常需要面临这些问题： 链路较长：在微服务场景下，整个链路会变得很长，服务出问题时，往往不能第一时间排查出问题。 缺少监控：缺少对于服务器，应用组件的实时运行信息，做到心中有数。 预警不及时，粒度较大：经常在服务器响应延迟甚至宕机后，才能发现问题，同时粒度较大，无法在接口层面进行预警。 基于Agent技术，SkyWalking提供了例如吞吐量，QPS，JVM信息等丰富的指标供参考，做到有效同时地告警，利用其丰富的 ...

RPC（Remote Procedure Call）是一种允许程序像调用本地方法一样调用远程服务的通信协议，其核心价值在于屏蔽网络通信的底层复杂性，这与中间件“连接异构系统、简化开发”的核心目标完全一致。 参考文章： 什么是RPC？有哪些RPC框架？ 一文搞定理解RPC —RPC介绍一篇就够了&RPC的选择 推荐文章：从原理到选型，一文带你搞懂RPC RPC简介RPC是远程过程调用（Remote Procedure Call）的缩写，是一种允许运行在一台计算机上的程序调用另一台计算机上子程序的技术。SAP系统RPC调用的原理其实很简单，有一些类似于三层构架的C/S系统，第三方的客户程序通过接口调用SAP内部的标准或自定义函数，获得函数返回的数据进行处理后显示或打印。远程过程调用（RPC）跨越了开放系统互连（OSI）网络通信模型中的传输层和应用层。 完整的RPC框架：服务发现、负载、容错、网络传输、序列化等组件 RPC协议常说的RPC其实是RPC协议，即一种专门为服务间远程调用而设计的一种通用协议。该协议基于其它已有的传输协议，规定通信方式为C/S架构；并且在代码开发过程中要 ...

本文介绍了在Java17环境下，使用java14引入的jpackage工具，生成包含所有依赖的Java应用程序映像，包括支持Windows和macOS平台，包括exe、dmg和msi格式。 环境准备 使用 mvn package 打包成 jar 在项目下生成target目录，且包含打包成的jar（例如：standard-0.0.1-SNAPSHOT.jar）,确认这个jar能使用”java -jar ***.jar”运行。用idea2025打开项目，进入界面右侧的maven目录，使用嗯项目的lifecycle目录下的package。 下载安装 JDKJPackage指令是JAVA 14新增的，所以安装的JAVA版本必须14+，我是用的是 jdk-17.0.12_windows-x64_bin.zip。JDK17的环境变量配置： 新增系统变量：JAVA_HOME，值为D:\IDEA\Java\jdk-17（安装路径）； 新增系统变量：CLASSPATH，值为.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar，注意最前面的小黑点不能省. 在系统变量Pa ...

‌Elastic Stack（原ELK Stack）是一套由Elastic公司开发的开源数据搜索、分析和可视化工具集合，核心组件包括Elasticsearch、Kibana、Beats和Logstash‌，广泛应用于日志分析、安全监控、业务智能等领域。‌‌‌‌ Logstash 能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构，从 IP 地址解码出地理坐标，匿名化或排除敏感字段，并简化整体处理过程。 参考文章： ElasticSearch深入解析（一）：Elastic Stack全景 ElasticStack对接kafka集群 Kafka简介Kafka 是一种高性能的分布式消息队列系统，通过合理的配置和管理，可有效利用 Kafka 特性，满足企业对大规模数据流处理的需求。 高吞吐(海量读写数据,缺点：不支持对象类型传输...)、分布式消息系统 概念：Producer：生产者(消息的来源) Consumer：消费者(消息输出) Topic：主题(消息传递的约定) 消息系统介绍 一个消息系统负责将数据从一个应用传递到另外一个应用， 应 ...

Kibana 是为 Elasticsearch设计的开源分析和可视化平台。你可以使用 Kibana 来搜索，查看存储在 Elasticsearch 索引中的数据并与之交互，容易实现高级的数据分析和可视化，以图标的形式展现出来。在生产环境中，Kibana的仪表盘功能能够帮助运维人员快速发现系统异常和性能瓶颈，为故障排查和性能优化提供有力支持。同时，Kibana的数据可视化功能还能够为业务人员提供直观的数据展示和分析工具，帮助他们更好地了解业务情况。 参考文章： k8s部署ELK系列五：集成Kibana实现日志可视化 ELK总结——第四篇Kibana的简介 ELK日志文件分析系统——K(Kibana) Kibana简介Kibana是一个基于Web的数据可视化工具，它能够与Elasticsearch无缝集成，通过友好的用户界面为用户提供实时数据分析、监控和可视化等功能。Kibana不仅提供了丰富的图表类型，如柱状图、折线图、饼图等，还支持自定义仪表盘和视图，让用户能够根据自己的需求快速创建和展示数据。 使用场景 实时监控通过 histogram 面板，配合不同条件的多个 queries ...

Elasticsearch是一个基于Lucene的搜索服务器，包含Windows、macOS、Linux版等。它提供了一个分布式多用户能力的全文搜索引擎，能很方便地使大量数据具有搜索、分析和探索的能力。本文介绍了如何在windows环境安装Elasticsearch、Kibana和Logstash，然后通过Metricbeat进行Logstash运行状态的监控，kiban的可视化查看，以及一些配置。 参考文章：分布式日志处理：ELK+Kafka实现日志收集 Elasticsearch简介Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。 Elasticsearch是与名为Logstash的数据收集和日志解析引擎以及名为Kibana的分析和可视化平台一起开发的。这三个产品被设计成一个集成解决方案，称为Elastic Stack（以前称ELK stack）。 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有 ...

‌Logstash太费内存，如果在要采集的服务上都安装，这样资源消耗非常高，所以我们要用轻量级的采集工具如（Beats）才更高效，更省资源。 参考文章： ELK-beats数据采集 ELK系列-（四）轻量级的日志收集助手-Beat家族 ELK日志文件分析系统——补充(B——Beats) Beats简介Beats 是 Elastic Stack 提供的一组轻量级数据采集器，负责从各种来源采集数据，然后将数据发送到 Elasticsearch 或 Logstash。这些小工具非常轻巧，占用系统资源少，适用于海量的分布式环境。Beats官方文档地址 Beats在实现时选择了Golang，Golang的高效内存管理、简洁语法和并发处理能力，使 Beats 在保证低资源消耗的前提下，提供强大的数据采集和传输能力。 Golang是编译型语言，它编译后的二进制文件无需依赖虚拟机，因此在资源消耗和启动速度上都比Java更有优势。 Golang的跨平台特性使得Beats能够原生支持Linux、Windows和macOS等多个操作系统，减少了开发和部署的复杂度。 Golang的并发模型非常适合处理 ...

Logstash是一个开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到指定的存储库中。它支持200多个插件，可以从各种数据源（如 Filebeat、 Kafka 、 JDBC 等）采集数据，并通过过滤器进行数据处理（如 Grok解析、字段脱敏、 GeoIP转换等），最后将处理后的数据输出到多个目的地（如 Elasticsearch、 Kafka 、 S3 等）‌。 参考文章： Elasticsearch系列组件：Logstash强大的日志管理和数据分析工具 ElasticStack对接kafka集群 LogstashLogstash 是一个开源的数据收集引擎，具有实时管道功能，主要用于日志数据的收集、分析和处理‌。包含3个主要部分： 输入(inputs)，过滤器(filters)和输出(outputs)。 基本功能 ‌数据收集‌：可以从多种数据源收集数据，包括日志文件、系统消息队列、数据库等。它支持多种输入插件，如file、syslog、redis等，能够灵活地从各种来源捕捉事件‌。 数据处理‌：可以对收集到的数据进行过滤、转换和格式化。它提供 ...

‌Elastic Stack（原ELK Stack）是一套由Elastic公司开发的开源数据搜索、分析和可视化工具集合，核心组件包括Elasticsearch、Kibana、Beats和Logstash‌，广泛应用于日志分析、安全监控、业务智能等领域。‌‌‌‌ 参考文章： ElasticSearch深入解析（一）：Elastic Stack全景 ElasticStack对接kafka集群 推荐文章：ELK日志管理、强大的ELK日志分析系统 Elastic Stack核心组件与功能 ‌Elasticsearch‌。 分布式搜索和分析引擎，基于Lucene构建，支持实时全文检索、结构化查询及复杂数据分析。‌‌特点：水平扩展、高可用性，适用于海量数据存储与快速检索。 ‌Kibana‌。界面交互开发工具和管理工具，数据可视化分析利器。数据可视化平台，提供交互式图表、仪表盘和地图，支持对Elasticsearch数据的实时探索与展示。‌‌‌‌扩展功能：集群监控、异常检测及机器学习辅助分析。 Logstash‌。 数据采集与处理管道，支持多源数据输入（如日志、数据库）、过滤转 ...

分布式架构（Distributed Architecture）是分布式计算技术的应用和工具，成熟的技术包括 J2EE, CORBA 和 .NET(DCOM) ，其中J2EE技术应用较为广泛，它简化和规范多层分布式企业应用系统的开发和部署，它可以给分布式应用软件提供在各种技术间共享资源的平台。 参考文章：一文读懂分布式架构 分布式架构简介分布式架构是指将一个大型系统分解成多个独立的子系统，并将这些子系统分布在不同的计算机节点上，通过网络协议相互通信，形成一个整体的系统。这种架构风格可以提高系统的可扩展性、可靠性和可用性。 常见的分布式架构：SOA（面向服务的架构）、RPC（远程过程调用）、消息队列、分布式缓存等。 分布式架构应用场景：适用于 对数据密集/实时要求比较高、对服务器高可用运用指数较高、大型业务复杂/统计类的系统，总的来说分布式架构适合处理大数据量、高并发和高可用性的场景，比如电商、社交网络、金融交易等。 分布式架构设计理念和目标分布式架构的核心理念：按照一定维度（功能、业务、领域）等，对系统进行拆分，通过合理的拆分结构，实现各业务模块解耦，同时通过系统级容错设计，在廉价硬 ...