网站首页 > 技术文章 正文
越强大的产品越容易入门,运行越稳定,ELK就是一个例子,今天我们谈一谈小白该如何入手:
1.基本原则:一定要看官方文档,百度/谷歌搜elastic进入elastic官方网站,有最新最详细的文档和使用案例等;尤其在搭建配置方面,千万不要按照别人的步骤或者配置做,因为elastic的版本更新频率高,配置项会有优化的参数、被剔除的参数等等问题,导致你搭建起来的ELK集群问题多,走很多弯路。对于入门的朋友来说,研究文档大概一两天的时间就足够了。
2.架构设计:上图的架构,没有加入kafka/redis等中间件,流量高峰会导致ES端压力大。但是应付中小型规模系统,完全够用(经过实测,3台虚拟机,处理日流量1T左右的数据,稳定运行2年,没有出现过问题,CPU&内存&磁盘IO等等指标都比较正常,当然前期的配置优化要做好)。推荐的模式:各种Beat是轻量级工具,对服务器资源占用非常低,可以忽略不计,作为agent客户端,安装到需要采集数据的服务器上;Logstash部署到服务器端,推荐部署多个Logstash,便于分批管理(例如Nginx日志、前端服务日志、后端服务日志、审计日志等),不推荐把所有管道pipeline都放在一个Logstash下;Elasticsearch推荐单独设置3台master节点,其他节点做data, transform等等,考虑成本的话,也可以不做功能区分;Kibana用来可视化展示数据,集成监控告警,管理用户授权等。
3.部署方式:官方文档有详尽的部署方式,如果有Docker使用经验的,可以直接容器化部署,想用docker-compose方式管理,官方也给了详细的配置文件。至于产品本身的配置文件,也比较详细,如elasticsearch的主配置文件elasticsearch.yml,JVM配置文件jvm.options,日志配置文件log4j2.properties,找到你想安装的版本对应的文档,复制推荐的配置参数即可。
4.重要事项:
elasticsearch集群模式,非单机模式。多个节点组成一个集群,保证数据稳定可靠,这是必须要完成的部署配置;
elasticsearch归档备份。数据生命周期管理,把过期的数据放到存储端,这是持续稳定运行必要的配置;
logstash数据转换。切分从Beat端传入的数据,转换成需要的metric,然后传输给elasticsearch,难点在写Filters的grok等,这个可以参考一些案例;
logstash多管道。如前面所说,同一类的日志数据可以放到同一个logstash下,利用多管道提升并发处理能力;
kibana监控告警、用户授权。可以在kibana管理页面配置一些监控项,并集成告警,可以在kibana管理页面配置用户授权,控制不同的用户组访问不同的space及不同的数据;可以通过kibana的api集成到其他的devops平台/工具。
以上是ELK Stack的实用教程,这里没有写配置过程及配置文件、参数等,就是因为版本更新频繁,功能迭代多,并且官方文档非常详尽,也不是很复杂。只给出一个总体的思路,不论你想部署哪个版本,都可以在一周之内从入门到熟悉。
- 上一篇: 干货 | 企业如何快速采集分析日志?
- 下一篇: MySQL慢查询:慢SQL定位、日志分析与优化方案
猜你喜欢
- 2024-11-22 前端容器化实践
- 2024-11-22 npm audit —— 守护Node.js前端代码安全的小助手
- 2024-11-22 程序员私活利器 (Jfinal)——找到一次请求的所有日志
- 2024-11-22 完美日记的微服务实践和优化思路
- 2024-11-22 线上程序出bug,排查起来很麻烦?一个好的日志系统是关键
- 2024-11-22 MySQL慢查询:慢SQL定位、日志分析与优化方案
- 2024-11-22 干货 | 企业如何快速采集分析日志?
- 2024-11-22 Spring Boot 整合 Apache Spark 进行日志分析?
- 2024-11-22 Windows系统服务器系统日志在哪里查看?
- 2024-11-22 websocket方法执行实时日志展示
你 发表评论:
欢迎- 07-10Oracle 与 Google Cloud 携手大幅扩展多云服务
- 07-10分享收藏的 oracle 11.2.0.4各平台的下载地址
- 07-10Oracle 和 Microsoft 推出 Oracle Exadata 数据库服务
- 07-10Oracle Database@Azure 推进到南美等新区域并增加了新服务
- 07-10Oracle宣布推出 Oracle Database@AWS 的有限预览版
- 07-10Oracle与Nextcloud合作,推出主权云上的安全协作平台
- 07-10NodeRED魔改版连接MsSql、PostgreSQL、MySQL、OracleDB存储无忧
- 07-10对于企业数据云备份,“多备份”承诺的是成本更低,管理更高效#36氪开放日深圳站#
- 602℃几个Oracle空值处理函数 oracle处理null值的函数
- 594℃Oracle分析函数之Lag和Lead()使用
- 582℃0497-如何将Kerberos的CDH6.1从Oracle JDK 1.8迁移至OpenJDK 1.8
- 579℃Oracle数据库的单、多行函数 oracle执行多个sql语句
- 574℃Oracle 12c PDB迁移(一) oracle迁移到oceanbase
- 567℃【数据统计分析】详解Oracle分组函数之CUBE
- 554℃最佳实践 | 提效 47 倍,制造业生产 Oracle 迁移替换
- 548℃Oracle有哪些常见的函数? oracle中常用的函数
- 最近发表
-
- Oracle 与 Google Cloud 携手大幅扩展多云服务
- 分享收藏的 oracle 11.2.0.4各平台的下载地址
- Oracle 和 Microsoft 推出 Oracle Exadata 数据库服务
- Oracle Database@Azure 推进到南美等新区域并增加了新服务
- Oracle宣布推出 Oracle Database@AWS 的有限预览版
- Oracle与Nextcloud合作,推出主权云上的安全协作平台
- NodeRED魔改版连接MsSql、PostgreSQL、MySQL、OracleDB存储无忧
- 对于企业数据云备份,“多备份”承诺的是成本更低,管理更高效#36氪开放日深圳站#
- 解读丨《归档文件整理规则》— 电子文件元数据存储
- Data Guard跳归档恢复的实践(dataguard failover)
- 标签列表
-
- 前端设计模式 (75)
- 前端性能优化 (51)
- 前端模板 (66)
- 前端跨域 (52)
- 前端缓存 (63)
- 前端aes加密 (58)
- 前端脚手架 (56)
- 前端md5加密 (54)
- 前端路由 (61)
- 前端数组 (73)
- 前端js面试题 (50)
- 前端定时器 (59)
- 前端获取当前时间 (50)
- Oracle RAC (76)
- oracle恢复 (77)
- oracle 删除表 (52)
- oracle 用户名 (80)
- oracle 工具 (55)
- oracle 内存 (55)
- oracle 导出表 (62)
- oracle约束 (54)
- oracle 中文 (51)
- oracle链接 (54)
- oracle的函数 (57)
- 前端调试 (52)
本文暂时没有评论,来添加一个吧(●'◡'●)