ELK零基础到精通学习手册

【实例截图】

【核心代码】

目录
前言 .......................................................................................................................... 6
什么是 ELK？ .................................................................................................... 6
什么是 Elasticsearch： ...................................................................................... 6
什么是 Logstash ................................................................................................ 6
什么是 kibana： ............................................................................................... 7
一：elasticsearch 部署： ......................................................................................... 7
1.1：环境初始化： .......................................................................................... 7
1.1.1：主机名和磁盘挂载： ........................................................................................ 8
1.1.2：防火墙和 selinux： ........................................................................................... 8
1.1.3：各服务器配置本地域名解析： ........................................................................ 8
1.1.4：设置 epel 源、安装基本操作命令并同步时间： ............................................. 8
1.2：在 host1 和 host2 分别安装 elasticsearch： ............................................ 9
1.2.1：在两台服务器准备 java 环境： ........................................................................ 9
1.3：官网下载 elasticsearch 并安装：............................................................. 9
1.3.1：两台服务器分别安装 elasticsearch: .................................................................. 9
1.3.2：编辑各 elasticsearch 服务器的服务配置文件： ............................................. 10
1.3.3：修改内存限制，并同步配置文件： ............................................................... 10
1.3.4：目录权限更改： ............................................................................................. 10
1.3.5：启动 elasticsearch 服务并验证：.................................................................... 11
1.3.6：验证端口监听成功： ...................................................................................... 11
1.3.7：通过浏览器访问 elasticsearch 服务端口： .................................................... 11
1.4：安装 elasticsearch 插件之 head： ......................................................... 11
1.4.1：安装 5.x 版本的 head 插件： ......................................................................... 12
1.4.2：elasticsearch 插件之 kopf： ............................................................................ 15
1.5：监控 elasticsearch 集群状态： .............................................................. 15
1.5.1：通过 shell 命令获取集群状态： ..................................................................... 15
1.5.2：python 脚本： ................................................................................................. 15
1.5.3：脚本执行结果： ............................................................................................. 16
二：部署 logstash： ............................................................................................... 17
2.1：logstash 环境准备及安装： ................................................................... 17
2.1.1：环境准备： ..................................................................................................... 17
2.1.2：安装 logstash： ............................................................................................... 17
2.2：测试 logstash： ...................................................................................... 17
2.2.1：测试标准输入和输出： .................................................................................. 17
多 更多 IT 认证课程请访问 美河学习在线 www.eimhe.com
2.2.2：测试输出到文件：.......................................................................................... 17
2.2.3：测试输出到 elasticsearch： ............................................................................ 17
2.2.4：elasticsearch 服务器验证收到数据： ............................................................. 18
三：kibana 部署及日志收集： .............................................................................. 19
3.1：安装并配置 kibana： ............................................................................. 19
3.1.1：rpm 方式： ..................................................................................................... 19
3.1.2：启动 kibana 服务并验证： ............................................................................. 19
3.1.3：查看状态： ..................................................................................................... 19
3.1.3：添加上一步写入的索引： .............................................................................. 20
3.1.4：kibana 验证数据： .......................................................................................... 20
3.1.5：查看 head 插件显示的索引状态： ................................................................. 21
四：通过 logstash 收集日志： .............................................................................. 21
4.1：收集单个系统日志并输出至文件： ...................................................... 21
4.1.1：logstash 配置文件： ....................................................................................... 21
4.1.2：检测配置文件语法是否正确： ...................................................................... 22
4.1.3：生成数据并验证：.......................................................................................... 22
4.1.4：查看 logstash 日志，确认有权限收集日志： ................................................ 22
4.1.5：授权读取文件： ............................................................................................. 22
4.2：通过 logstash 收集多个日志文件： ...................................................... 22
4.2.1：Logstash 配置： .............................................................................................. 22
4.2.2：重启 logstash 并查看日志是否有报错： ........................................................ 23
4.2.3：向被收集的文件中写入数据： ...................................................................... 23
4.2.4：在 kibana 界面添加 system-messages 索引: ................................................... 24
4.2.5：在 kibana 界面添加 secure-messages 索引： ................................................. 25
4.2.6：kibana 展示 system-messages： ..................................................................... 25
4.2.7：kibana 展示 secure-messages： ...................................................................... 26
4.3：通过 logtsash 收集 tomcat 和 java 日志： ............................................. 26
4.3.1：服务器部署 tomcat 服务：............................................................................. 26
4.3.2：在 tomcat 服务器安装 logstash 收集 tomcat 和系统日志： .......................... 28
4.3.3：收集 java 日志： ............................................................................................. 31
4.4：收集 nginx 访问日志： .......................................................................... 35
4.4.1：部署 nginx 服务： ........................................................................................... 35
4.4.2：编辑配置文件并准备 web 页面： .................................................................. 35
4.4.2：测试 nginx 配置： ........................................................................................... 35
多 更多 IT 认证课程请访问 美河学习在线 www.eimhe.com
4.4.3：启动 nginx 并验证： ....................................................................................... 35
4.4.4：访问 nginx 页面： ........................................................................................... 35
4.4.5：将 nginx 日志转换为 json 格式： ................................................................... 36
4.4.6：确认日志格式为 json： .................................................................................. 36
4.4.7：配置 logstash 收集 nginx 访问日志： ............................................................. 36
4.4.8：kibana 界面添加索引： .................................................................................. 37
4.4.9：kibana 界面验证数据： .................................................................................. 37
4.5：收集 TCP/UDP 日志 ................................................................................ 37
4.5.1：；logstash 配置文件，先进行收集测试： ..................................................... 37
4.5.2：验证端口启动成功： ...................................................................................... 38
4.5.3：在其他服务器安装 nc 命令：......................................................................... 38
4.5.4：验证 logstash 是否接收到数据： ................................................................... 38
4.5.5：通过 nc 命令发送一个文件：......................................................................... 38
4.5.6：logstash 验证数据： ....................................................................................... 39
4.5.7：通过伪设备的方式发送消息： ...................................................................... 39
4.5.8：logstash 验证数据： ....................................................................................... 39
4.5.9：将输出改为 elasticsearch： ............................................................................ 39
4.5.10：通过 nc 命令或伪设备输入日志： ............................................................... 40
4.5.11：在 kibana 界面添加索引： ........................................................................... 40
4.6：通过 rsyslog 收集 haproxy 日志： ......................................................... 40
4.6.1：编译安装配置 haproxy： ................................................................................ 40
4.6.2：编辑 rsyslog 服务配置文件： ......................................................................... 43
4.6.3：重新启动 haproxy 和 rsyslog 服务： .............................................................. 43
4.6.4：验证 haproxy 端口及服务： ........................................................................... 43
4.6.5：更改本地 host 文件： ..................................................................................... 43
4.6.6：测试域名及访问：.......................................................................................... 44
4.6.7：编辑 logstash 配置文件： ............................................................................... 44
4.6.8：通过-f 命令测试 logstash： ............................................................................ 45
4.6.9：web 访问 haproxy 并验证数据： ................................................................... 45
4.6.10：访问 haproxy 管理界面: ................................................................................ 45
4.6.11：haproxy 管理界面：...................................................................................... 46
4.6.12：验证 logstash 输出： .................................................................................... 46
多 更多 IT 认证课程请访问 美河学习在线 www.eimhe.com
4.6.13：将输出改为 elasticsearch： .......................................................................... 46
4.6.14：web 访问 haproxy 以生成新日志： .............................................................. 47
4.6.15：kibana 界面添加索引： ................................................................................ 48
4.6.16：kibana 验证数据： ........................................................................................ 48
4.7：logstash 收集日志并写入 redis： .......................................................... 49
4.7.1：部署 redis： .................................................................................................... 49
4.7.2：设置 redis 访问密码： .................................................................................... 50
4.7.3：启动并测试 redis 服务： ................................................................................ 50
4.7.4：配置 logstash 将日志写入至 redis： .............................................................. 50
4.7.5：测试 logstash 配置文件语法是否正确： ........................................................ 51
4.7.6：访问 tomcat 的 web 界面并生成系统日志： ................................................. 51
4.7.7：验证 redis 是否有数据： ................................................................................ 52
4.7.8：配置其他 logstash 服务器从 redis 读取数据： .............................................. 52
4.7.9：测试 logstash： ............................................................................................... 53
4.7.10：验证 redis 的数据是否被取出： ................................................................... 53
4.7.11：在 head 插件验证数据： .............................................................................. 53
4.7.12：kibana 添加 tomcat 访问日志索引：............................................................ 54
4.7.13：kibana 添加 tcp 日志索引： ......................................................................... 55
4.7.14：kibana 验证 tomcat 访问日志： ................................................................... 55
4.7.15：kibana 验证 tcp 日志： ................................................................................ 55
4.8：使用 filebeat 替代 logstash 收集日志： ................................................ 56
4.8.1：确认日志格式为 json 格式：.......................................................................... 56
4.8.2：确认日志格式，后续会用日志做统计： ....................................................... 56
4.8.3：安装配置 filebeat： ........................................................................................ 56
4.8.4：配置 filebeat 收集系统日志： ........................................................................ 56
4.8.5：filebeat 收集单个类型日志并写入 redis： ..................................................... 57
4.8.6:：监控 redis 数据长度： ................................................................................... 61
4.9：日志收集实战： .................................................................................... 62
4.9.1：架构规划： ..................................................................................................... 62
4.9.2：filebeat 收集日志转发至 logstash： ............................................................... 63
4.9.3：filebeat 收集多类型的日志文件： ................................................................. 65
4.9.4：通过 haproxy 代理 kibana： ........................................................................... 72
4.9.5：通过 nginx 代理 kibana 并实现登录认证： ................................................... 75
多 更多 IT 认证课程请访问 美河学习在线 www.eimhe.com
Adding password for user zhangjie .......................................................................... 77
4.10：通过地图统计客户 IP 所在城市： ...................................................... 78
4.10.1：下载并解压地址数据文件： ........................................................................ 78
4.10.2：配置 logstash 使用地址库： ......................................................................... 78
4.10.3：重启 logstash 服务并写入日志数据： .......................................................... 80
4.10.4：验证 kibana 界面是否可以看到地图数据： ................................................. 80
4.11：日志写入数据库：............................................................................... 80
4.12：kibana 画图功能详解： ...................................................................... 85
4.12.1：区域图： ....................................................................................................... 85
4.12.2.：数据表，datatable： ................................................................................... 87
4.12.3：热图，heatmap chart： ................................................................................ 88
4.12.4：线图，line chart： ........................................................................................ 88
4.12.5: markdown：.................................................................................................... 89
4.12.6: 饼形图，pie chart： ...................................................................................... 89
4.12.7：地图： ........................................................................................................... 90
4.12.8：条形图：vertical bar chart: ........................................................................... 90
4.13:添加一个大图： ..................................................................................... 92
4.13.1：添加之前保存的搜索结果到第一张图： ..................................................... 92
4.13.2：保存大图 1: ................................................................................................... 93
4.13.3：页面共享： ................................................................................................... 94
4.13.4：写一个 html 页面： ...................................................................................... 95
4.14:kibana 配置： ......................................................................................... 95
4.15：自动删除索引脚本： ........................................................................... 96
4.16：问题汇总： .......................................................................................... 96
4.17：技术层面： .......................................................................................... 96
五：作业要求： ..................................................................................................... 97