Southern Fish

本文介绍了在Java17环境下，使用java14引入的jpackage工具，生成包含所有依赖的Java应用程序映像，包括支持Windows和macOS平台，包括exe、dmg和msi格式。 环境准备 使用 mvn package 打包成 jar 在项目下生成target目录，且包含打包成的jar（例如：standard-0.0.1-SNAPSHOT.jar）,确认这个jar能使用”java -jar ***.jar”运行。用idea2025打开项目，进入界面右侧的maven目录，使用嗯项目的lifecycle目录下的package。 下载安装 JDKJPackage指令是JAVA 14新增的，所以安装的JAVA版本必须14+，我是用的是 jdk-17.0.12_windows-x64_bin.zip。JDK17的环境变量配置： 新增系统变量：JAVA_HOME，值为D:\IDEA\Java\jdk-17（安装路径）； 新增系统变量：CLASSPATH，值为.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar，注意最前面的小黑点不能省. 在系统变量Pa ...

‌Elastic Stack（原ELK Stack）是一套由Elastic公司开发的开源数据搜索、分析和可视化工具集合，核心组件包括Elasticsearch、Kibana、Beats和Logstash‌，广泛应用于日志分析、安全监控、业务智能等领域。‌‌‌‌ Logstash 能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构，从 IP 地址解码出地理坐标，匿名化或排除敏感字段，并简化整体处理过程。 参考文章： ElasticSearch深入解析（一）：Elastic Stack全景 ElasticStack对接kafka集群 Kafka简介Kafka 是一种高性能的分布式消息队列系统，通过合理的配置和管理，可有效利用 Kafka 特性，满足企业对大规模数据流处理的需求。 高吞吐(海量读写数据,缺点：不支持对象类型传输...)、分布式消息系统 概念：Producer：生产者(消息的来源) Consumer：消费者(消息输出) Topic：主题(消息传递的约定) 消息系统介绍 一个消息系统负责将数据从一个应用传递到另外一个应用， 应 ...

Kibana 是为 Elasticsearch设计的开源分析和可视化平台。你可以使用 Kibana 来搜索，查看存储在 Elasticsearch 索引中的数据并与之交互，容易实现高级的数据分析和可视化，以图标的形式展现出来。在生产环境中，Kibana的仪表盘功能能够帮助运维人员快速发现系统异常和性能瓶颈，为故障排查和性能优化提供有力支持。同时，Kibana的数据可视化功能还能够为业务人员提供直观的数据展示和分析工具，帮助他们更好地了解业务情况。 参考文章： k8s部署ELK系列五：集成Kibana实现日志可视化 ELK总结——第四篇Kibana的简介 ELK日志文件分析系统——K(Kibana) Kibana简介Kibana是一个基于Web的数据可视化工具，它能够与Elasticsearch无缝集成，通过友好的用户界面为用户提供实时数据分析、监控和可视化等功能。Kibana不仅提供了丰富的图表类型，如柱状图、折线图、饼图等，还支持自定义仪表盘和视图，让用户能够根据自己的需求快速创建和展示数据。 使用场景 实时监控通过 histogram 面板，配合不同条件的多个 queries ...

Elasticsearch是一个基于Lucene的搜索服务器，包含Windows、macOS、Linux版等。它提供了一个分布式多用户能力的全文搜索引擎，能很方便地使大量数据具有搜索、分析和探索的能力。本文介绍了如何在windows环境安装Elasticsearch、Kibana和Logstash，然后通过Metricbeat进行Logstash运行状态的监控，kiban的可视化查看，以及一些配置。 参考文章：分布式日志处理：ELK+Kafka实现日志收集 Elasticsearch简介Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。 Elasticsearch是与名为Logstash的数据收集和日志解析引擎以及名为Kibana的分析和可视化平台一起开发的。这三个产品被设计成一个集成解决方案，称为Elastic Stack（以前称ELK stack）。 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有 ...

‌Logstash太费内存，如果在要采集的服务上都安装，这样资源消耗非常高，所以我们要用轻量级的采集工具如（Beats）才更高效，更省资源。 参考文章： ELK-beats数据采集 ELK系列-（四）轻量级的日志收集助手-Beat家族 ELK日志文件分析系统——补充(B——Beats) Beats简介Beats 是 Elastic Stack 提供的一组轻量级数据采集器，负责从各种来源采集数据，然后将数据发送到 Elasticsearch 或 Logstash。这些小工具非常轻巧，占用系统资源少，适用于海量的分布式环境。Beats官方文档地址 Beats在实现时选择了Golang，Golang的高效内存管理、简洁语法和并发处理能力，使 Beats 在保证低资源消耗的前提下，提供强大的数据采集和传输能力。 Golang是编译型语言，它编译后的二进制文件无需依赖虚拟机，因此在资源消耗和启动速度上都比Java更有优势。 Golang的跨平台特性使得Beats能够原生支持Linux、Windows和macOS等多个操作系统，减少了开发和部署的复杂度。 Golang的并发模型非常适合处理 ...

Logstash是一个开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到指定的存储库中。它支持200多个插件，可以从各种数据源（如 Filebeat、 Kafka 、 JDBC 等）采集数据，并通过过滤器进行数据处理（如 Grok解析、字段脱敏、 GeoIP转换等），最后将处理后的数据输出到多个目的地（如 Elasticsearch、 Kafka 、 S3 等）‌。 参考文章： Elasticsearch系列组件：Logstash强大的日志管理和数据分析工具 ElasticStack对接kafka集群 LogstashLogstash 是一个开源的数据收集引擎，具有实时管道功能，主要用于日志数据的收集、分析和处理‌。包含3个主要部分： 输入(inputs)，过滤器(filters)和输出(outputs)。 基本功能 ‌数据收集‌：可以从多种数据源收集数据，包括日志文件、系统消息队列、数据库等。它支持多种输入插件，如file、syslog、redis等，能够灵活地从各种来源捕捉事件‌。 数据处理‌：可以对收集到的数据进行过滤、转换和格式化。它提供 ...

‌Elastic Stack（原ELK Stack）是一套由Elastic公司开发的开源数据搜索、分析和可视化工具集合，核心组件包括Elasticsearch、Kibana、Beats和Logstash‌，广泛应用于日志分析、安全监控、业务智能等领域。‌‌‌‌ 参考文章： ElasticSearch深入解析（一）：Elastic Stack全景 ElasticStack对接kafka集群 推荐文章：ELK日志管理、强大的ELK日志分析系统 Elastic Stack核心组件与功能 ‌Elasticsearch‌。 分布式搜索和分析引擎，基于Lucene构建，支持实时全文检索、结构化查询及复杂数据分析。‌‌特点：水平扩展、高可用性，适用于海量数据存储与快速检索。 ‌Kibana‌。界面交互开发工具和管理工具，数据可视化分析利器。数据可视化平台，提供交互式图表、仪表盘和地图，支持对Elasticsearch数据的实时探索与展示。‌‌‌‌扩展功能：集群监控、异常检测及机器学习辅助分析。 Logstash‌。 数据采集与处理管道，支持多源数据输入（如日志、数据库）、过滤转 ...

分布式架构（Distributed Architecture）是分布式计算技术的应用和工具，成熟的技术包括 J2EE, CORBA 和 .NET(DCOM) ，其中J2EE技术应用较为广泛，它简化和规范多层分布式企业应用系统的开发和部署，它可以给分布式应用软件提供在各种技术间共享资源的平台。 参考文章：一文读懂分布式架构 分布式架构简介分布式架构是指将一个大型系统分解成多个独立的子系统，并将这些子系统分布在不同的计算机节点上，通过网络协议相互通信，形成一个整体的系统。这种架构风格可以提高系统的可扩展性、可靠性和可用性。 常见的分布式架构：SOA（面向服务的架构）、RPC（远程过程调用）、消息队列、分布式缓存等。 分布式架构应用场景：适用于 对数据密集/实时要求比较高、对服务器高可用运用指数较高、大型业务复杂/统计类的系统，总的来说分布式架构适合处理大数据量、高并发和高可用性的场景，比如电商、社交网络、金融交易等。 分布式架构设计理念和目标分布式架构的核心理念：按照一定维度（功能、业务、领域）等，对系统进行拆分，通过合理的拆分结构，实现各业务模块解耦，同时通过系统级容错设计，在廉价硬 ...

‌ AWS LLM算法模型是指利用大量数据进行预训练的超大型深度学习模型，通常采用 Transformer结构。这些模型能够理解语言的基本语法和知识，并通过自主学习进行无监督训练。LLM模型具有数十亿到千亿级的参数，能够捕获复杂的语言特征和模式，从而在各种自然语言处理任务中表现出色‌。 参考原文： LLM工程实践指南：基于AWS SageMaker的大模型部署与推理全流程解析 AWS LLM 简介模型结构与训练数据AWS LLM主要使用Transformer结构，这是一种由编码器和解码器组成的神经网络架构。编码器从输入文本中提取特征，解码器则生成输出。这种结构使得模型能够并行处理整个序列，大大缩短了训练时间‌。训练数据通常来源于互联网的大量文本数据，如 Common Crawl 和 Wikipedia，这些数据包含了数十亿个网页和文章‌ 应用场景与性能AWS LLM模型可以应用于多种场景，包括但不限于： ‌ 自然语言理解‌：理解用户输入并生成相应的响应。 ‌ 文本生成‌：生成文章、邮件、代码等。 ‌ 知识问答‌：回答用户提出的问题。 ‌ 内容创作‌：生成故事、诗歌等创造性内容‌。 ...

高性能、高并发、高可用是构建现代大规模系统的三个关键目标，它们各自解决不同的问题，但在实际系统中往往需要综合考虑，互为补充。本篇讨论高并发应对的策略、缓存、限流、降级等。 参考原文：高并发架构设计（三大利器：缓存、限流和降级） 高并发（High Concurrency）概念高并发指的是系统能够同时处理大量请求或操作的能力。在互联网应用中，用户可能会同时访问某个功能，这就要求系统能够同时处理多个用户的请求而不发生性能下降或响应延迟。 应用场景热门网站、电商平台、社交媒体等互联网应用中。例如，在电商平台上有大量用户同时浏览、搜索商品，提交订单等操作；社交媒体平台上有大量用户同时发布、点赞、评论等操作。这些场景需要系统能够同时处理大量请求，并保证系统的性能、可用性和用户体验。 特点 大量请求：系统需要同时处理大量的请求，这些请求可能来自于不同的用户或客户端。 同时访问：这些请求几乎同时到达系统，需要在短时间内进行处理和响应。 资源竞争：由于大量请求同时到达，系统的资源（如CPU、内存、网络带宽等）可能会面临竞争和争夺。 响应时间要求高：高并发场景通常对系统的响应速度有较高的要求，用 ...