网站首页 > 技术文章 正文
日志监控和分析在保障业务稳定运行时,起到了很重要的作用,不过一般情况下日志都分散在各个生产服务器,且开发人员无法登陆生产服务器,这时候就需要一个集中式的日志收集装置,对日志中的关键字进行监控,触发异常时进行报警,并且开发人员能够查看相关日志。logstash+elasticsearch+kibana3就是实现这样功能的一套系统,并且功能更强大。
logstash:是一个管理日志和事件的工具,你可以收集它们,解析它们,并存储它们以供以后使用(例如日志搜索),logstash有一个内置的web界面,用来搜索你的所有日志。logstash在部署时有两种运行模式:standalone和centralized:
* standalone:standalone的意思是所有的事情都在一台服务器上运行,包括日志收集、日志索引、前端WEB界面都部署在一台机器上。
* centralized:就是多服务器模式,从很多服务器运输(ship)日志到一台总的日志(collector)服务器上用来索引和查找。
需要注意的是logstash本身并没有什么shipper和indexer这种说法,因为不论是运输日志的进程还是汇集总的日志的进程运行的都是同一个程序,只是使用的配置文件不同而已。
elasticsearch:
基于lucene的开源搜索引擎,是一个分布式的搜索分析系统,主要特点有:real time data、real time analytics、distributed、high availability、multi-tenancy、full text search、document oriented、conflict management、schema free、restful api等等。
kibana3:
可视化日志和数据系统,作为WEB前端可以很容易地和elasticsearch系统结合。kibana有版本2和版本3的区分,版本2采用ruby编写,部署起来很麻烦,需要安装很多ruby依赖包(目前网上多是这个版本的部署),版本3采用纯html+css编写,因此部署起来很方便,解压即用,目前已经是kibana4了,建议大家使用最新版。
出于性能及扩展性考虑,实际应用中logstash我们必然采用centralized模式,最基本的结构图如下:
1、安装redis,安装过程简单,这里不做详细说明。
2、安装ElasticSearch(目前版本1.4)
<span style="font-size:14px;">wget 'https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.7.tar.gz'
tar zxvf elasticsearch-0.90.7.tar.gz
cd elasticsearch-0.90.7/bin
#可以在logstash agent启动后再启动
./elasticsearch -f</span>
3、启动logstash shipper,定义配置文件logstash.conf,根据实际情况定义,以下主要定义了input源为文件,output到redis,启动logstash shipper,例如:
<span style="font-family: 'Microsoft YaHei';"><span style="font-size:14px;">input {
file {
type => "api_log"
path => "/home/jws/app/nginxserver/logs/apiaccess.log"
debug => true
}
file {
type => "cas_log"
path => "/home/jws/app/nginxserver/logs/casaccess.log"
debug => true
}
file {
type => "id_log"
path => "/home/jws/app/nginxserver/logs/idaccess.log"
debug => true
}
file {
type => "login_log"
path => "/home/jws/app/nginxserver/logs/loginaccess.log"
debug => true
}
file {
type => "proxy_log"
path => "/home/jws/app/nginxserver/logs/proxyaccess.log"
debug => true
}
}
output {
redis {
host => "10.20.164.121"
data_type => "list"
key => "logstash:redis"
}
redis {
host => "10.20.164.122"
data_type => "list"
key => "logstash:uop_file"
}
}</span></span>
启动shipper:
java -jar /home/jws/htdocs/logstash/lib/logstash.jar agent -f /home/jws/htdocs/logstash/conf/logstash.conf -l /home/jws/htdocs/logstash/logs/logstash.log
4、启动logstash indexer
logstash的配置文件相当简单,主要有三部分:inputs、filters、outputs。事件在配置文件中的出现是有顺序的。在inputs、output、filter中,允许你设置配置插件,配置插件由一个插件名称和紧跟在后面的插件配置代码块构成。插件中的值可以是布尔值、字符串、数字、哈希、数组等,并且支持条件判断(if...else)。
例如以下indexer中的配置,并启动indexer:
<span style="font-size:14px;">input {
file {
path => "/home/rsyslog/asaserver/*/*/*/proxy.log.*"
exclude => "*.bz2"
type => "proxy"
}
}
filter {
grok {
match => [ "message", "%{APIPROXY}" ]
patterns_dir => ["/home/jws/app/logstash/patterns"]
}
if [request_uripath_orig]{
grok {
match => [ "request_uripath_orig", "%{NSSS}" ]
patterns_dir => ["/home/jws/app/logstash/patterns"]
}
}
}
output {
#stdout { codec =>"rubydebug"}
elasticsearch_http {
host => "10.20.161.36"
flush_size => 500
idle_flush_time => 3
index => "logstash_pf_proxy-%{+YYYY.MM.dd.HH}"
template => "/home/jws/app/logstash/template/t.json"
template_overwrite => true
}
}</span>
5、安装并启动kibana3,安装过程与普通软件安装无异,可以配合nginx安装,这里不做描述,需要注意的是需要在kibana config.js中配置elasticSearch的地址与端口。
注意红框中的内容,这只是kibana3的默认界面,需要我们用logstash.json代替default.json界面,具体目录源码目录下app/dashboards中。
例如项目中的一个例子,根据需求制作图表(类似饼图,柱状图,折线图等),在笔者实际项目中,从日志中分析数据,实现系统稳定性、响应时间、请求量、业务响应码、HTTP状态码等等以kibana展现;
并且,elasticsearch的用途远不如此,可以用来做搜索数据源,ES提供了编程接口,可以使用编程的方式获取ES中的数据自定义开发监控程序,灵活且功能强大。
- 上一篇: 开发利器丨如何使用ELK设计微服务中的日志收集方案?
- 下一篇: 前端异常捕获且日志上报处理
猜你喜欢
- 2024-11-22 前端容器化实践
- 2024-11-22 npm audit —— 守护Node.js前端代码安全的小助手
- 2024-11-22 程序员私活利器 (Jfinal)——找到一次请求的所有日志
- 2024-11-22 完美日记的微服务实践和优化思路
- 2024-11-22 线上程序出bug,排查起来很麻烦?一个好的日志系统是关键
- 2024-11-22 MySQL慢查询:慢SQL定位、日志分析与优化方案
- 2024-11-22 ELK Stack实用教程:让你的日志数据发挥更大的价值
- 2024-11-22 干货 | 企业如何快速采集分析日志?
- 2024-11-22 Spring Boot 整合 Apache Spark 进行日志分析?
- 2024-11-22 Windows系统服务器系统日志在哪里查看?
你 发表评论:
欢迎- 07-10Oracle 与 Google Cloud 携手大幅扩展多云服务
- 07-10分享收藏的 oracle 11.2.0.4各平台的下载地址
- 07-10Oracle 和 Microsoft 推出 Oracle Exadata 数据库服务
- 07-10Oracle Database@Azure 推进到南美等新区域并增加了新服务
- 07-10Oracle宣布推出 Oracle Database@AWS 的有限预览版
- 07-10Oracle与Nextcloud合作,推出主权云上的安全协作平台
- 07-10NodeRED魔改版连接MsSql、PostgreSQL、MySQL、OracleDB存储无忧
- 07-10对于企业数据云备份,“多备份”承诺的是成本更低,管理更高效#36氪开放日深圳站#
- 602℃几个Oracle空值处理函数 oracle处理null值的函数
- 594℃Oracle分析函数之Lag和Lead()使用
- 582℃0497-如何将Kerberos的CDH6.1从Oracle JDK 1.8迁移至OpenJDK 1.8
- 579℃Oracle数据库的单、多行函数 oracle执行多个sql语句
- 574℃Oracle 12c PDB迁移(一) oracle迁移到oceanbase
- 567℃【数据统计分析】详解Oracle分组函数之CUBE
- 554℃最佳实践 | 提效 47 倍,制造业生产 Oracle 迁移替换
- 548℃Oracle有哪些常见的函数? oracle中常用的函数
- 最近发表
-
- Oracle 与 Google Cloud 携手大幅扩展多云服务
- 分享收藏的 oracle 11.2.0.4各平台的下载地址
- Oracle 和 Microsoft 推出 Oracle Exadata 数据库服务
- Oracle Database@Azure 推进到南美等新区域并增加了新服务
- Oracle宣布推出 Oracle Database@AWS 的有限预览版
- Oracle与Nextcloud合作,推出主权云上的安全协作平台
- NodeRED魔改版连接MsSql、PostgreSQL、MySQL、OracleDB存储无忧
- 对于企业数据云备份,“多备份”承诺的是成本更低,管理更高效#36氪开放日深圳站#
- 解读丨《归档文件整理规则》— 电子文件元数据存储
- Data Guard跳归档恢复的实践(dataguard failover)
- 标签列表
-
- 前端设计模式 (75)
- 前端性能优化 (51)
- 前端模板 (66)
- 前端跨域 (52)
- 前端缓存 (63)
- 前端aes加密 (58)
- 前端脚手架 (56)
- 前端md5加密 (54)
- 前端路由 (61)
- 前端数组 (73)
- 前端js面试题 (50)
- 前端定时器 (59)
- 前端获取当前时间 (50)
- Oracle RAC (76)
- oracle恢复 (77)
- oracle 删除表 (52)
- oracle 用户名 (80)
- oracle 工具 (55)
- oracle 内存 (55)
- oracle 导出表 (62)
- oracle约束 (54)
- oracle 中文 (51)
- oracle链接 (54)
- oracle的函数 (57)
- 前端调试 (52)
本文暂时没有评论,来添加一个吧(●'◡'●)