第部分 Logstash
第1章入門示例 3
1.1下載安裝 3
1.2HellOWbrld 5
1.3配置語法 7
1.3.1語法 8
1.3.2命令行參數 10
1.4插件安裝 1l
1.5長期運行方式 12
第2章插件配置 15
2.1輸入插件 15
2.1.1標準輸入 16
2.1.2文件輸入 17
2.1.3 TCP輸入 18
2.1.4 syslog輸入 19
2.1.5 collectd輸入 21
2.2編解碼配置 23
2.2.1 JSON編解碼 24
2.2.2多行事件編碼 -25
2.2.3網絡流編碼 26
2.3過濾器配置 _28
2.3.1 date時間處理 28
2.3.2 grok正則捕獲 30
2.3.3 GeoIP地址查詢 33
2.3.4 JSON編解碼 34
2.3.5 key-value切分 35
2.3.6 metrics數值統計 36
2.3.7 mutate數據修改 37
2.3.8隨心所欲的Ruby處理 42
2.3.9 split拆分事件 _43
2.3.10 elapsed 43
2.4輸齣插件 44
2.4.1輸齣到Elasticsearch 44
2.4.2發送email 49
2.4.3調用係統命令執行 ’50
2.4.4保存成文件 50
2.4.5報警發送到Nagios 51
2.4.6 statsd 52
2.4.7標準輸齣stdout 54
?2.4.8 TCP發送數據 55
2.4.9輸齣到HDFS 55
第3章場景示例 57
3.1 Nginx訪問日誌 57
3.1.1 grok處理方式 57
3.1.2 split處理方式 -58
3.1.3 json格式 -6l
3.1.4 syslog方式發送 62
3.2 Nginx錯誤日誌 62
3.3 Postfix日誌 63
3.4 0ssec日誌 64
3.4.1配置所有Ossec agent采用
syslog輸齣 -64
3.4.2配置Logstash 65
3.4.3推薦Kibana儀錶盤 65
3.5Windows係統日誌 67
3.5.1采集端配置 67
3.5.2接收解析端配置 68
3.6 Java日誌 69
3.6.1 Log4J配置 70
3.6.2 Logstash配置 70
3.6.3異常堆棧測試驗證 70
3.6.4 JSON Event layout 71
3.7 MySQL慢查詢日誌 -73
3.8 Docker日誌 74
3.8.1記錄到主機磁盤 75
3.8.2通過logspout收集 75
第4章性能與監控 77
4.1性能測試 77
4.1.1配置示例 77
4.1.2使用方式 78
4.1.3額外的話 79
4.2監控方案 79
4.2.1 logstash-input-heartbeat心跳
檢測方式 80
4.2.2 JMX啓動參數方式 8l
第5章擴展方案 83
5.1通過Redis隊列擴展 84
5.1.1讀取Redis數據 84
5.1.2采用list類型擴展Logstash''''85
5.1.3輸齣到Redis 86
5.2通過Kafka隊列擴展 87
5.2.1 Logstashl.4版本插件的安裝 88
5.2.2 Input配置 88
5.2.3 0utput配置 90
5.3 logstash-forwarder'''. 91
5.3.1 Indexer端配置 91
5.3.2 Shipper端配置 92
5.3.3 AIX上的logstash-forwarder-
java -‘93
5.4 Rsyslog''''' 95
5.4.1常用模塊介紹 95
5.4.2與Logstash閤作 96
5.4.3 Mmextemal模塊 ’97
5.5 NxlOg ‘99
5.6 Heka 101
5.7 Fluentd 102
5.7.1配置示例 103
5.7.2 Fluentd插件 -104
?5.8 MeSSage::PaSSing 104
第6章Logstash源碼解析 --107
6.2.1 Input中的 Codec ll0
6.2.2 0utput中的 Worker 111
第7章插件開發 113
7.1插件格式 113
7.2插件的關鍵方法 114
7.3插件打包 115
7.4 Filter插件開發示例 116
7.4.1 mmdb數據庫的生成方法 116
7.4.2 LogStash::Filters::Mmdb實現117
7.4.3 logstash-filter-mmdb打包 l l 9
7.5 Input插件開發示例 119
7.5.1 FileWatch模塊原理 120
7.5.2 LogStash::Inputs::Utmp實現 l21
7.6 0utput插件開發示例 124
第二部分 Elasticsearch
第8章架構原理 129
8.1準實時索引的實現 129
8.1.1動態更新的Lucene索引 129
8.1.2利用磁盤緩存實現的
準實時檢索 l30
8.1.3 translog提供的磁盤同步
控製 131
8.2 segmentmerge的影響 132
8.2.1歸並綫程配置 133
8.2.2歸並策略 134
8.2.3 0ptimize接口 134
8.3 routing和replica的讀寫過程 134
8.3.1路由計算 134
8.3.2副本緻性 135
8.4 shard的allocate控製 136
8.4.1 reroute接口 138
8.4.2冷熱數據的讀寫分離 138
8.5 自動發現的配置 139
8.5.1 multicast方式 140
8.5.2 unicast方式 l40
第9章數據接口用例 141
9.1增刪改查操作 141
9.2搜索請求 143
9.2.1全文搜索 143
9.2.2聚閤請求 145
9.3腳本 147
9.3.1動態提交 147
9.3.2固定文件 l47
9.3.3其他語言 148
9.4重建索引 148
9.4.1 Perl客戶端 149
9.4.2用Logstash重建索引 l49
9.5 Spark Streaming交互 150
第10章性能優化 l53
10.1 bulk提交 153
10．1.1bulk大小 154
第11章測試和擴展方案167
第12章映射與模版的訂製181
第13章監控方案189
第14章Elasticsearch在運維監控領域的其他應用215
第三部分Kibana
第15章Kibana的産品對比231
第16章Kibana3 235
第17章Kibana3 源碼解析297
第18章Kibana4 319
第19章Kibana4源碼解析363
· · · · · · (收起)