海外云服务器 40个地区可选            亚太云服务器 香港 日本 韩国

云虚拟主机 个人和企业网站的理想选择            俄罗斯电商外贸虚拟主机 赠送SSL证书

美国云虚拟主机 助力出海企业低成本上云             拨号云主机

本文详细介绍了如何配置 ELK（Elasticsearch, Logstash, Kibana）服务器，以构建高效的日志分析系统，安装并配置 Elasticsearch 作为数据存储与检索引擎，确保高可用性和扩展性，设置 Logstash 收集、解析和传输日志数据，支持多种输入和输出插件，部署 Kibana 提供可视化界面，方便用户查询和展示日志信息，通过合理优化各组件的性能参数，可实现快速、稳定的日志管理和分析能力。

ELK 是由 Elasticsearch、Logstash 和 Kibana 三个开源工具组成的一体化日志管理和分析平台，它们分别承担不同的任务，协同工作以实现高效的数据处理和可视化展示。

Elasticsearch

Elasticsearch 是一个分布式的搜索和分析引擎，能够快速存储、检索和分析大规模数据集，它具有强大的全文搜索功能、灵活的查询语言以及出色的扩展性，适用于各类实时数据分析场景。

Logstash

Logstash 主要用于收集、解析和转换来自多种来源的日志数据，并将其发送到目标存储或处理系统，它支持多种输入插件（如文件、标准输入、数据库等），并通过过滤器插件对数据进行预处理，最终将数据输出到指定的目标，如 Elasticsearch、数据库或其他服务。

Kibana

Kibana 提供了一个直观且易于使用的界面，用于探索和可视化存储在 Elasticsearch 中的数据，用户可以通过 Kibana 轻松创建各种图表、仪表盘等来展示关键指标，帮助用户更有效地监控系统性能、排查问题及优化业务流程。

环境准备

在开始配置 ELK 技术栈之前，请确保您的服务器满足以下要求：

1. 操作系统：建议使用 Ubuntu 或 CentOS 等主流 Linux 发行版。

2. Java 运行时环境（JRE）：Elasticsearch 需要 Java 来运行，因此请确保安装了最新版本的 OpenJDK 8 或更高版本，可以通过以下命令检查是否已安装：

   java -version

   如果未安装,则可以从官方站点下载并安装适合您操作系统的 JDK 包。

3. 硬件资源：根据预期的日志量调整硬件配置，确保服务器具备足够的内存和 CPU 资源以应对高峰负载，推荐至少 4GB 内存和多核 CPU。

安装步骤

安装 Java 环境

确保系统上已经安装了合适的 Java 版本，对于 Elasticsearch，推荐使用 OpenJDK 8 或更高版本，可以通过以下命令检查是否已安装：

java -version

如果未安装,则可以从 OpenJDK 官方网站 下载并安装适合您操作系统的 JDK 包。

下载并解压 ELK 软件包

访问 Elastic 官方网站 获取最新的 ELK 软件包，下载完成后，使用 tar 命令解压缩文件：

tar -xzf elasticsearch-7.x.x-linux-x86_64.tar.gz
tar -xzf logstash-7.x.x.tar.gz
tar -xzf kibana-7.x.x-linux-x86_64.tar.gz

将上述目录移动到 /usr/share/ 目录下，并设置适当的权限以便其他用户可以访问：

sudo mv elasticsearch-7.x.x /usr/share/
sudo mv logstash-7.x.x /usr/share/
sudo mv kibana-7.x.x-linux-x86_64 /usr/share/

配置 Elasticsearch

进入 Elasticsearch 的配置目录，编辑 elasticsearch.yml 文件：

cd /usr/share/elasticsearch/config/
vim elasticsearch.yml

修改以下参数以适应您的网络环境：

network.host: 0.0.0.0 # 允许外部访问，默认情况下只监听本地回环接口
http.port: 9200       # HTTP API 的端口号
cluster.name: my_cluster # Elasticsearch 集群名称
node.name: node-1     # 当前节点名称
path.data: /var/lib/elasticsearch # 数据存储路径
path.logs: /var/log/elasticsearch # 日志输出位置
discovery.seed_hosts: ["localhost"] # 如果有多个节点，列出所有种子主机
cluster.initial_master_nodes: ["node-1"] # 指定初始主节点

保存并退出编辑器后,重启 Elasticsearch 服务以应用更改：

sudo systemctl daemon-reload
sudo systemctl restart elasticsearch

验证安装是否成功,可以通过访问 http://<your_server_ip>:9200 查看 Elasticsearch 的状态信息。

配置 Logstash

接下来配置 Logstash，使其能够从指定的日志源读取数据并转发至 Elasticsearch，打开 logstash.conf 文件进行编辑：

cd /usr/share/logstash/config/
vim logstash.conf

作为示例配置：

input {
    file {
        path => "/var/log/*.log"
        start_position => "beginning"
    }
}
filter {
    grok {
        match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} [%{DATA:thread}] %{GREEDYDATA:message}" }
    }
    date {
        match => [ "timestamp", "ISO8601" ]
        remove_field => [ "timestamp" ]
    }
}
output {
    elasticsearch {
        hosts => ["http://localhost:9200"]
        index => "logs-%{+YYYY.MM.dd}"
    }
}

这段配置告诉 Logstash 从 /var/log/ 目录下的所有日志文件中读取内容，使用 Grok 模式解析格式化的日志条目，并按日期生成对应的索引名称存入 Elasticsearch。

保存并关闭编辑器,然后启动 Logstash：

bin/logstash -f /usr/share/logstash/config/logstash.conf

配置 Kibana

最后一步是配置 Kibana，以便您可以方便地查看和分析由 Logstash 收集的日志数据，同样地，我们需要修改其配置文件：

cd /usr/share/kibana/config/
vim kibana.yml

更新以下参数：

server.host: "0.0.0.0" # 允许外部访问
elasticsearch.hosts: ["http://localhost:9200"] # Elasticsearch 实例地址

保存并重启 Kibana 服务：

sudo systemctl daemon-reload
sudo systemctl restart kibana

访问 http://<your_server_ip>:5601 即可看到 Kibana 的登录页面，初次访问时，您可能需要创建一个新索引模式来匹配 Logstash 输出的日志数据。