ELK服务器配置详解构建高效日志分析系统
海外云服务器 40个地区可选 亚太云服务器 香港 日本 韩国
云虚拟主机 个人和企业网站的理想选择 俄罗斯电商外贸虚拟主机 赠送SSL证书
美国云虚拟主机 助力出海企业低成本上云 WAF网站防火墙 为您的业务网站保驾护航
本文详细介绍了如何配置 ELK（Elasticsearch, Logstash, Kibana）服务器，以构建高效的日志分析系统，安装并配置 Elasticsearch 作为数据存储与检索引擎，确保高可用性和扩展性，设置 Logstash 收集、解析和传输日志数据，支持多种输入和输出插件，部署 Kibana 提供可视化界面，方便用户查询和展示日志信息，通过合理优化各组件的性能参数，可实现快速、稳定的日志管理和分析能力。
ELK 是由 Elasticsearch、Logstash 和 Kibana 三个开源工具组成的一体化日志管理和分析平台，它们分别承担不同的任务，协同工作以实现高效的数据处理和可视化展示。
Elasticsearch
Elasticsearch 是一个分布式的搜索和分析引擎，能够快速存储、检索和分析大规模数据集，它具有强大的全文搜索功能、灵活的查询语言以及出色的扩展性，适用于各类实时数据分析场景。
Logstash
Logstash 主要用于收集、解析和转换来自多种来源的日志数据，并将其发送到目标存储或处理系统，它支持多种输入插件（如文件、标准输入、数据库等），并通过过滤器插件对数据进行预处理，最终将数据输出到指定的目标，如 Elasticsearch、数据库或其他服务。
Kibana
Kibana 提供了一个直观且易于使用的界面，用于探索和可视化存储在 Elasticsearch 中的数据，用户可以通过 Kibana 轻松创建各种图表、仪表盘等来展示关键指标，帮助用户更有效地监控系统性能、排查问题及优化业务流程。
环境准备
在开始配置 ELK 技术栈之前，请确保您的服务器满足以下要求：
-
操作系统：建议使用 Ubuntu 或 CentOS 等主流 Linux 发行版。
-
Java 运行时环境（JRE）：Elasticsearch 需要 Java 来运行，因此请确保安装了最新版本的 OpenJDK 8 或更高版本，可以通过以下命令检查是否已安装：
java -version
如果未安装,则可以从官方站点下载并安装适合您操作系统的 JDK 包。
-
硬件资源：根据预期的日志量调整硬件配置，确保服务器具备足够的内存和 CPU 资源以应对高峰负载，推荐至少 4GB 内存和多核 CPU。
安装步骤
安装 Java 环境
确保系统上已经安装了合适的 Java 版本，对于 Elasticsearch，推荐使用 OpenJDK 8 或更高版本，可以通过以下命令检查是否已安装：
java -version
如果未安装,则可以从 OpenJDK 官方网站 下载并安装适合您操作系统的 JDK 包。
下载并解压 ELK 软件包
访问 Elastic 官方网站 获取最新的 ELK 软件包，下载完成后，使用 tar 命令解压缩文件：
tar -xzf elasticsearch-7.x.x-linux-x86_64.tar.gz tar -xzf logstash-7.x.x.tar.gz tar -xzf kibana-7.x.x-linux-x86_64.tar.gz
将上述目录移动到 /usr/share/ 目录下，并设置适当的权限以便其他用户可以访问：
sudo mv elasticsearch-7.x.x /usr/share/ sudo mv logstash-7.x.x /usr/share/ sudo mv kibana-7.x.x-linux-x86_64 /usr/share/
配置 Elasticsearch
进入 Elasticsearch 的配置目录，编辑 elasticsearch.yml 文件：
cd /usr/share/elasticsearch/config/ vim elasticsearch.yml
修改以下参数以适应您的网络环境：
network.host: 0.0.0.0 # 允许外部访问，默认情况下只监听本地回环接口 http.port: 9200 # HTTP API 的端口号 cluster.name: my_cluster # Elasticsearch 集群名称 node.name: node-1 # 当前节点名称 path.data: /var/lib/elasticsearch # 数据存储路径 path.logs: /var/log/elasticsearch # 日志输出位置 discovery.seed_hosts: ["localhost"] # 如果有多个节点，列出所有种子主机 cluster.initial_master_nodes: ["node-1"] # 指定初始主节点
保存并退出编辑器后,重启 Elasticsearch 服务以应用更改：
sudo systemctl daemon-reload sudo systemctl restart elasticsearch
验证安装是否成功,可以通过访问 http://<your_server_ip>:9200 查看 Elasticsearch 的状态信息。
配置 Logstash
接下来配置 Logstash，使其能够从指定的日志源读取数据并转发至 Elasticsearch，打开 logstash.conf 文件进行编辑：
cd /usr/share/logstash/config/ vim logstash.conf
作为示例配置：
input {
file {
path => "/var/log/*.log"
start_position => "beginning"
}
}
filter {
grok {
match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} [%{DATA:thread}] %{GREEDYDATA:message}" }
}
date {
match => [ "timestamp", "ISO8601" ]
remove_field => [ "timestamp" ]
}
}
output {
elasticsearch {
hosts => ["http://localhost:9200"]
index => "logs-%{+YYYY.MM.dd}"
}
}
这段配置告诉 Logstash 从 /var/log/ 目录下的所有日志文件中读取内容，使用 Grok 模式解析格式化的日志条目，并按日期生成对应的索引名称存入 Elasticsearch。
保存并关闭编辑器,然后启动 Logstash：
bin/logstash -f /usr/share/logstash/config/logstash.conf
配置 Kibana
最后一步是配置 Kibana，以便您可以方便地查看和分析由 Logstash 收集的日志数据，同样地，我们需要修改其配置文件：
java -version0
更新以下参数：
java -version1
保存并重启 Kibana 服务：
java -version2
访问 http://<your_server_ip>:5601 即可看到 Kibana 的登录页面，初次访问时，您可能需要创建一个新索引模式来匹配 Logstash 输出的日志数据。
