数据分析与决策技术丛书 ELKstack权威指南【2025|PDF下载-Epub版本|mobi电子书|kindle百度云盘下载】

数据分析与决策技术丛书 ELKstack权威指南PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一部分 Logstash3

第1章 入门示例3

1.1 下载安装3

1.2 HelloWorld5

1.3 配置语法7

1.3.1 语法8

1.3.2 命令行参数10

1.4 插件安装11

1.5 长期运行方式12

第2章 插件配置15

2.1 输入插件15

2.1.1 标准输入16

2.1.2 文件输入17

2.1.3 TCP输入18

2.1.4 syslog输入19

2.1.5 collectd输入21

2.2 编解码配置23

2.2.1 JSON编解码24

2.2.2 多行事件编码25

2.2.3 网络流编码26

2.3 过滤器配置28

2.3.1 date时间处理28

2.3.2 grok正则捕获30

2.3.3 GeoIP地址查询33

2.3.4 JSON编解码34

2.3.5 key-value切分35

2.3.6 metrics数值统计36

2.3.7 mutate数据修改37

2.3.8 随心所欲的Ruby处理42

2.3.9 split拆分事件43

2.3.10 elapsed43

2.4 输出插件44

2.4.1 输出到Elasticsearch44

2.4.2 发送email49

2.4.3 调用系统命令执行50

2.4.4 保存成文件50

2.4.5 报警发送到Nagios51

2.4.6 statsd52

2.4.7 标准输出stdout54

2.4.8 TCP发送数据55

2.4.9 输出到HDFS55

第3章 场景示例57

3.1 Nginx访问日志57

3.1.1 grok处理方式57

3.1.2 split处理方式58

3.1.3 json格式61

3.1.4 syslog方式发送62

3.2 Nginx错误日志62

3.3 Postfix日志63

3.4 Ossec日志64

3.4.1 配置所有Ossec agent采用syslog输出64

3.4.2 配置Logstash65

3.4.3 推荐Kibana仪表盘65

3.5 Windows系统日志67

3.5.1 采集端配置67

3.5.2 接收解析端配置68

3.6 Java日志69

3.6.1 Log4J配置70

3.6.2 Logstash配置70

3.6.3 异常堆栈测试验证70

3.6.4 JSON Event layout71

3.7 MySQL慢查询日志73

3.8 Docker日志74

3.8.1 记录到主机磁盘75

3.8.2 通过logspout 收集75

第4章 性能与监控77

4.1 性能测试77

4.1.1 配置示例77

4.1.2 使用方式78

4.1.3 额外的话79

4.2 监控方案79

4.2.1 logstash-input-heartbeat心跳检测方式80

4.2.2 JMX启动参数方式81

第5章 扩展方案83

5.1 通过Redis队列扩展84

5.1.1 读取Redis数据84

5.1.2 采用list类型扩展Logstash85

5.1.3 输出到Redis86

5.2 通过Kafka队列扩展87

5.2.1 Logstash1.4版本插件的安装88

5.2.2 Input配置88

5.2.3 Output配置90

5.3 logstash-forwarder91

5.3.1 Indexer端配置91

5.3.2 Shipper端配置92

5.3.3 AIX上的logstash-forwarder-java93

5.4 Rsyslog95

5.4.1 常用模块介绍95

5.4.2 与Logstash合作96

5.4.3 Mmexternal模块97

5.5 Nxlog99

5.6 Heka101

5.7 Fluentd102

5.7.1 配置示例103

5.7.2 Fluentd插件104

5.8 Message::Passing104

第6章 Logstash源码解析107

6.1 Pipeline108

6.2 Plugins109

6.2.1 Input中的Codec110

6.2.2 Output中的Worker111

第7章 插件开发113

7.1 插件格式113

7.2 插件的关键方法114

7.3 插件打包115

7.4 Filter插件开发示例116

7.4.1 mmdb数据库的生成方法116

7.4.2 LogStash::Filters::Mmdb实现117

7.4.3 logstash-filter-mmdb打包119

7.5 Input插件开发示例119

7.5.1 FileWatch模块原理120

7.5.2 LogStash::Inputs::Utmp实现121

7.6 Output插件开发示例124

第二部分 Elasticsearch129

第8章 架构原理129

8.1 准实时索引的实现129

8.1.1 动态更新的Lucene索引129

8.1.2 利用磁盘缓存实现的准实时检索130

8.1.3 translog提供的磁盘同步控制131

8.2 segment merge的影响132

8.2.1 归并线程配置133

8.2.2 归并策略134

8.2.3 optimize接口134

8.3 routing和replica的读写过程134

8.3.1 路由计算134

8.3.2 副本一致性135

8.4 shard的allocate控制136

8.4.1 reroute接口138

8.4.2 冷热数据的读写分离138

8.5 自动发现的配置139

8.5.1 multicast方式140

8.5.2 unicast方式140

第9章 数据接口用例141

9.1 增删改查操作141

9.2 搜索请求143

9.2.1 全文搜索143

9.2.2 聚合请求145

9.3 脚本147

9.3.1 动态提交147

9.3.2 固定文件147

9.3.3 其他语言148

9.4 重建索引148

9.4.1 Perl客户端149

9.4.2 用Logstash重建索引149

9.5 Spark Streaming交互150

第10章 性能优化153

10.1 bulk提交153

10.1.1 bulk大小154

10.1.2 UDP方式154

10.2 gateway配置155

10.3 集群状态维护156

10.4 缓存160

10.4.1 filter缓存160

10.4.2 shard query缓存161

10.5 字段数据162

10.5.1 CircuitBreaker162

10.5.2 doc-values163

10.6 curator工具163

10.6.1 参数介绍163

10.6.2 常用示例165

第11章 测试和扩展方案167

11.1 测试方案167

11.2 多集群互联168

11.3 puppet-elasticsearch模块的使用171

11.3.1 安装和配置示例171

11.3.2 配置解释171

11.4 计划内停机升级的操作流程172

11.5 Shield权限管理174

11.5.1 Shield架构174

11.5.2 安装部署175

11.6 别名的应用176

11.6.1 索引更名时的无缝切换177

11.6.2 限制索引数据部分可读178

第12章 映射与模板的定制181

12.1 映射的增删改查181

12.2 Elasticsearch的核心类型183

12.3 自定义字段映射184

12.3.1 精确索引184

12.3.2 时间格式185

12.3.3 多重索引185

12.4 特殊字段186

12.5 动态模板映射186

12.6 索引模板187

第13章 监控方案189

13.1 监控相关接口189

13.1.1 集群健康状态189

13.1.2 节点状态191

13.1.3 索引状态199

13.1.4 等待执行的任务200

13.1.5 cat接口的命令行使用201

13.2 日志记录204

13.3 实时bigdesk方案205

13.4 官方marvel方案207

13.4.1 安装和卸载208

13.4.2 配置208

13.4.3 访问209

13.4.4 面板定制示例209

13.5 Zabbix trapper方案212

13.5.1 安装配置212

13.5.2 模板应用213

第14章 Elasticsearch在运维监控领域的其他应用215

14.1 Percolator接口215

14.2 Watcher报警217

14.3 packetbeat抓包分析220

14.3.1 安装部署220

14.3.2 配置示例220

14.3.3 dashboard效果221

14.3.4 Kibana 3拓扑图223

14.4 时序数据库224

14.5 Etsy的Kale异常检测226

第三部分 Kibana231

第15章 Kibana的产品对比231

15.1 Kibana 3的设计思路和功能231

15.2 Kibana 4的设计思路和功能232

15.3 与Hadoop体系的区别232

15.4 Splunk场景参考233

第16章 Kibana 3235

16.1 Kibana 3入门235

16.1.1 准备工作236

16.1.2 界面介绍236

16.1.3 跨域访问注意事项239

16.2 config.js配置240

16.3 页面布局240

16.3.1 请求和过滤241

16.3.2 行和面板244

16.4 各面板功能251

16.4.1 histogram252

16.4.2 table262

16.4.3 map266

16.4.4 bettermap267

16 4 5 terms269

16.4.6 column274

16.4.7 stats274

16.4.8 query275

16.4.9 trend276

16.4.10 text277

16.4.11 sparklines278

16.4.12 hits279

16.4.13 goal279

16.5 仪表盘的保存和载入279

16.5.1 保存仪表盘280

16.5.2 加载仪表盘280

16.5.3 分享仪表盘280

16.5.4 保存成静态仪表盘281

16.6 自定义仪表盘功能281

16.6.1 schema简介281

16.6.2 模板化template仪表盘288

16.6.3 脚本化scripted仪表盘289

16.7 认证授权290

16.7.1 用Nginx实现基础的认证290

16.7.2 用Node.js实现基于CAS的认证292

16.7.3 用Perl实现认证和用户授权293

第17章 Kibana3源码解析297

17.1 源码目录结构297

17.2 入口和模块依赖300

17.3 控制器和服务302

17.3.1 dashboard303

17.3.2 querySrv303

17.3.3 filterSrv304

17.3.4 fields304

17.3.5 esVersion304

17.4 面板指令304

17.4.1 添加面板304

17.4.2 展示面板305

17.5 面板实现306

17.5.1 module.js306

17.5.2 module.html308

17.5.3 editor.html309

17.6 用facet接口开发一个 range panel309

17.6.1 代码实现310

17.6.2 面板效果313

17.7 用agg接口开发一个 percentile panel313

17.7.1 代码实现要点316

17.7.2 面板效果318

第18章 Kibana 4319

18.1 安装、配置和运行320

18.2 生产环境部署323

18.2.1 Nginx代理配置323

18.2.2 配置Kibana和shield一起工作324

18.2.3 开启SSL325

18.2.4 控制访问权限325

18.3 Discover功能326

18.3.1 设置时间过滤器326

18.3.2 搜索数据327

18.3.3 按字段过滤328

18.3.4 过滤器的协同工作方式329

18.3.5 查看文档数据330

18.4 各种可视化功能332

18.4.1 area333

18.4.2 table336

18.4.3 line337

18.4.4 Markdown338

18.4.5 metric338

18.4.6 pie339

18.4.7 tilemap339

18.4.8 vertical bar340

18.5 仪表盘功能341

18.5.1 开始342

18.5.2 容器功能343

18.5.3 修改可视化346

18.6 Setting功能346

18.6.1 创建一个连接到Elasticsearch的索引模式346

18.6.2 创建一个脚本化字段349

18.6.3 设置高级参数350

18.6.4 管理已保存的搜索、可视化和仪表盘350

18.7 设置Kibana服务器属性351

18.8 常用sub agg示例352

18.8.1 函数堆栈链分析352

18.8.2 分图统计355

18.8.3 TopN的时序趋势图356

18.8.4 响应时间的百分占比趋势图358

18.8.5 响应时间的概率分布在不同时段的相似度对比359

18.9 Kibana报表的快速实现360

第19章 Kibana 4源码解析363

19.1 Kibana索引的数据结构364

19.2 主页入口365

19.2.1 index.js解析365

19.2.2 Courier类367

19.2.3 路径记忆功能的实现370

19.2.4 标签页应用的加载371

19.3 Discover解析374

19.4 Visualize解析377

19.4.1 vis_types实现378

19.4.2 savedVisualizations实现384

19.4.3 Visualize实现384

19.4.4 VisEditorSidebar实现385

19.5 Dashboard解析387

19.6 Setting解析389