• 对于注定会优秀的人来说,他所需要的,只是时间!
  • 手懒得,必受贫穷,手勤的,必得富足----《圣经》
  • 帮助别人,成就自己。愿君在本站能真正有所收获!
  • 如果你在本站中发现任何问题,欢迎留言指正!
  • 宝剑锋从磨砺出,梅花香自苦寒来!

标签:elk

迎刃而解

<十七>ELK-学习笔记–filebeat报错too many open files处理

<十七>ELK-学习笔记–filebeat报错too many open files处理
本文预计阅读时间 4 分钟有同学反馈说api的日志可能漏采了,部分日志查不到,我于是立马进行一波查验,发现的确是有部分日志没有写到es,一开始还以为是这部分日志有问题,然后开发同学是同目录下的日志用的是同一个框架,于是又想是不是es写入有问题,看了看也没问题,后来来到主机上看filebeat的日志,发现了如下报错。2019-12-03T15:46:22+0……继续阅读 »

eryajf 4周前 (06-06) 183浏览 0评论0个赞

ELK

<十六>ELK-学习笔记–filebeat采集端配置文件详解

<十六>ELK-学习笔记–filebeat采集端配置文件详解
本文预计阅读时间 15 分钟1,前言有时候一些开源工具使用都是比较浅的,并没有深入研究过相关配置参数的含义,以至于有时候出了问题也不知道该如何解决,本文来整理一下filebeat再配置日志采集项时的一些参数及含义。本文讲解的配置文件时基于filebeat-5.4.0进行的。2,详解1,非标日志这里先举一个不太常规的日志采集的例子:filebeat……继续阅读 »

eryajf 4周前 (06-06) 223浏览 0评论1个赞

ELK

<十五>ELK-学习笔记–Filebeat的Registry文件解读

<十五>ELK-学习笔记–Filebeat的Registry文件解读
本文预计阅读时间 6 分钟Registry文件Filebeat会将自己处理日志文件的进度信息写入到registry文件中,以保证filebeat在重启之后能够接着处理未处理过的数据,而无需从头开始。registry文件内容为一个list,list里的每个元素都是一个字典,字典的格式如下:{ "source": "/data/log/tmp.lo……继续阅读 »

eryajf 4周前 (06-06) 108浏览 0评论0个赞

ELK

<十三>ELK-学习笔记–elasticsearch-7.x使用xpack进行安全认证

<十三>ELK-学习笔记–elasticsearch-7.x使用xpack进行安全认证
本文预计阅读时间 19 分钟2019年5月21日,Elastic官方发布消息: Elastic Stack 新版本6.8.0 和7.1.0的核心安全功能现免费提供。这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色,并且使用 Spaces 为 Kibana提供全面保护。 免费提供的核心安全功能如下:1)TLS……继续阅读 »

eryajf 7个月前 (12-14) 4873浏览 0评论1个赞

ELK

<十一>ELK-学习笔记–logstash采集日志的时间格式探微

<十一>ELK-学习笔记–logstash采集日志的时间格式探微
本文预计阅读时间 27 分钟logstash的时间格式问题,是一个老大难,当然,这种难往往来自于那种日志输出不规范的情况,尤其是时间戳,各种各样的,最终来到配置这一环节的时候,就要费很大的劲儿来调配这个东东。所以,在立项新项目的时候,首先就需要约束好日志的格式,严格按照日志规范来走。本文就来整理一下在配置logstash的时候,遇到时间格式的问题,所需要……继续阅读 »

eryajf 9个月前 (10-18) 1439浏览 0评论0个赞

ELK

<十>ELK-学习笔记–logstash本地调试日志方法详解

<十>ELK-学习笔记–logstash本地调试日志方法详解
本文预计阅读时间 30 分钟以前在新增项目需要添加日志采集配置的时候,我的操作流程都是filebeat添加配置采集,然后logstash配置中转,接着就创建索引交付了,现在来看,这个流程不无不妥,但是在配置logstash的时候,往往简单化地参考了以往项目的配置,拿着就上了,事实上,这样是有问题的。因为以往的操作中,忽略了一个重要的环节,那就是将日志当中的……继续阅读 »

eryajf 9个月前 (10-18) 1282浏览 0评论0个赞

ELK

<九>ELK-学习笔记–监控告警之elastalert-0.1.37与elastalert-0.2.1的配置全解

<九>ELK-学习笔记–监控告警之elastalert-0.1.37与elastalert-0.2.1的配置全解
本文预计阅读时间 25 分钟苦心人天不负,有志者事竟成。这是第二次对这个东东发起配置冲击,对于Python项目,真心地是这辈子都不想再沾手,尽管它搞出了不少优秀的项目来。第一次冲击的时候,在多个主机多个环境反反复复尝试了十多次,最终均以失败告终,要么是应用需要的Python版本已经变更,而没有说明,要么是Python环境错乱,无法使用,总之,一言难尽。但……继续阅读 »

eryajf 9个月前 (10-18) 2216浏览 0评论5个赞

ELK

<八>ELK-学习笔记–如何在kibana中画出三维一体的图

<八>ELK-学习笔记–如何在kibana中画出三维一体的图
本文预计阅读时间 3 分钟三位一体的图,顾名思义就是在一张图里边,聚合进来三个维度的字段,这种图在一些特定时候,会更加直观地帮助我们对一些业务情况进行判断。以往画图经验当中,针对两个维度的内容绘图并不算难,常规来说,我们想要统计一下某个接口在时间长河当中被请求的次数,只需要在metrics里边定义Y轴,然后再将X轴定义为时间参照即可成型,大概如下:现在……继续阅读 »

eryajf 11个月前 (08-18) 1057浏览 0评论0个赞

ELK

<七>ELK-6.5.3学习笔记–elasticsearch配置等优化

<七>ELK-6.5.3学习笔记–elasticsearch配置等优化
本文预计阅读时间 4 分钟[TOC]1,加大内存分配。一开始索引什么的都不多,量不大,所以都很轻松,后来量越来越大,默认的配置就有点吃不消了,打开一个页面,查询压力就会非常大。这个时候可以通过加大es的jvm内存来优化。默认情况下,Elasticsearch告诉JVM使用最小和最大大小为1 GB的堆。迁移到生产环境时,配置堆大小以确保Elastics……继续阅读 »

eryajf 2年前 (2019-01-05) 2803浏览 1评论1个赞

ELK

<四>ELK-6.5.3学习笔记–使用filebeat管理微服务日志

<四>ELK-6.5.3学习笔记–使用filebeat管理微服务日志
本文预计阅读时间 14 分钟微服务日志打印。上边是输出了nginx日志,从而进行展示,以及各种绘图分析,而现在的需求是,要将微服务当中的日志汇总到elk当中以便开发查询日志定位问题。都知道,微服务第一个特点就是,多,不仅项目多,而且往往单台主机当中也会有多个应用,因此多个日志文件情况下,如何处理才更加快速便捷呢,这里使用了filebeat来作为日志转发组……继续阅读 »

eryajf 2年前 (2019-01-05) 2942浏览 2评论1个赞

ELK

<三>ELK-6.5.3学习笔记–kibana绘图实战

<三>ELK-6.5.3学习笔记–kibana绘图实战
本文预计阅读时间 9 分钟我们在网上见过无数的展示elk最终dashboard的文章,却从来没有见过哪篇文章详细讲解了那些漂亮的dashboard是如何绘制出来的,这,叫人恨的牙根生疼,无奈,只好去啃官方文档,官方文档非常好,它详细地介绍了每一个环节的每一个概念,但是唯一的缺憾就是,它给你了一百个点,却没有给一条线,如果你的心态不好,或者理解力差一点,恐怕早……继续阅读 »

eryajf 2年前 (2019-01-05) 7065浏览 11评论11个赞

ELK

<二>ELK-6.5.3学习笔记–使用rsyslog传输管理nginx日志

<二>ELK-6.5.3学习笔记–使用rsyslog传输管理nginx日志
本文预计阅读时间 29 分钟现在有好几台主机的nginx日志想要监控分析一下,那么,如何让远程主机的日志都乖乖的来到elk主机之上呢,这是一个需要考虑的问题,而这里,我就使用rsyslog来完成。这种方式貌似针对于远程主机上只有单项日志的情况,就像我们现在做的,只处理nginx的访问日志一般的,如果还有更多的日志需要从远程转发到elk集群中,就需要用其他方……继续阅读 »

eryajf 2年前 (2019-01-05) 3041浏览 5评论3个赞

ELK

<一>ELK-6.5.3学习笔记–elk基础环境安装

<一>ELK-6.5.3学习笔记–elk基础环境安装
本文预计阅读时间 15 分钟以往都是纸上谈兵,毕竟事情也都由部门其他小伙伴承担了,因此自己虽然也整理了笔记,当真的需要部署起来的时候,却发现并没有这个能力,这次也几经磨难,总算修成正果,特此记录一下。首先来快速将一个简易的环境部署起来。其中防火墙关闭,selinux关闭等的就不多说了,系统是CentOS-7.3,干净而且初始化过了的环境。1,准备工作。……继续阅读 »

eryajf 2年前 (2018-12-29) 12911浏览 11评论9个赞