• 对于注定会优秀的人来说,他所需要的,只是时间----博主
  • 手懒得,必受贫穷,手勤的,必得富足----《圣经》
  • 帮助别人,成就自己。愿君在本站能真正有所收获!
  • 如果你在本站中发现任何问题,欢迎留言指正!
  • 宝剑锋从磨砺出,梅花香自苦寒来!
  • 本站开启了防爆破关小黑屋机制,如果您是正常登录但被关进小黑屋,请联系站长解除!

<一>ELK-6.5.3学习笔记–elk基础环境安装

ELK eryajf 7个月前 (12-29) 5477°C 已收录 11个评论
本文预计阅读时间 13 分钟

以往都是纸上谈兵,毕竟事情也都由部门其他小伙伴承担了,因此自己虽然也整理了笔记,当真的需要部署起来的时候,却发现并没有这个能力,这次也几经磨难,总算修成正果,特此记录一下。

首先来快速将一个简易的环境部署起来。
其中防火墙关闭,selinux关闭等的就不多说了,系统是CentOS-7.3,干净而且初始化过了的环境。

1,准备工作。

  • 安装一些依赖包。
yum -y install lrzsz vim curl wget java ntpdate && ntpdate -u cn.pool.ntp.org

这里java环境是非常重要的,如果不通过yum安装,源码方式也是可以的。但要注意配置好环境变量。

  • 配置yum源。

添加源:

cat > /etc/yum.repos.d/elk.repo << EOF
[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
EOF

导入key:

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

如果执行这一步报错,则有可能是主机时间问题,可以同步一下主机时间,再执行!

注:一开始我想着把elk三个安装包都缓存下来,这样以后安装起来就会方便的多了,于是我这么做了,但是后来发现,经过缓存的包安装的elk集群,使用的时候是一种没有授权的状态,后来想起正常安装时有这样一个导入key的操作,思来想去,大概就是跟这一步有关系了。最后还是老老实实的通过这样一个流程方式进行安装了。

2,安装elasticsearch。

直接yum安装。

yum -y install elasticsearch

启动服务。

systemctl daemon-reload
systemctl enable elasticsearch.service
systemctl start elasticsearch.service
systemctl status elasticsearch.service

curl localhost:9200

调整一下配置文件:

[root@elk ~]$egrep -v "^#|^$" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-application
node.name: node-1
path.data: /logs/elasticsearch6
path.logs: /logs/elasticsearch6/log
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["elk-node1"]
discovery.zen.minimum_master_nodes: 1
xpack.security.enabled: false
  • cluster.name:自定义集群名,相同集群内的节点设置相同的集群名
  • node.name:自定义节点名,建议统一采用节点hostname
  • path.data:data存储路径,这里更改成自定义以应对日志的big。
  • path.logs:log存储路径,是为es自己的日志。
  • 注意创建上边两项定义的两个文件目录。否则会启动失败。
mkdir -p /logs/elasticsearch6/log
cd /logs
chown -R elasticsearch.elasticsearch elasticsearch6/
  • 注意要更改对应目录的权限,否则es启动会报如下错误。
[root@elk logs]$systemctl status elasticsearch
● elasticsearch.service - Elasticsearch
   Loaded: loaded (/usr/lib/systemd/system/elasticsearch.service; enabled; vendor preset: disabled)
   Active: failed (Result: exit-code) since Fri 2018-12-14 15:12:48 CST; 5min ago
     Docs: http://www.elastic.co
  Process: 79428 ExecStart=/usr/share/elasticsearch/bin/elasticsearch -p ${PID_DIR}/elasticsearch.pid --quiet (code=exited, status=1/FAILURE)
 Main PID: 79428 (code=exited, status=1/FAILURE)
Dec 14 15:12:48 elk elasticsearch[79428]: 2018-12-14 15:12:48,084 main ERROR Null object returned for RollingFile in Appenders.
Dec 14 15:12:48 elk elasticsearch[79428]: 2018-12-14 15:12:48,084 main ERROR Unable to locate appender "rolling" for logger config "root"
Dec 14 15:12:48 elk elasticsearch[79428]: 2018-12-14 15:12:48,084 main ERROR Unable to locate appender "index_indexing_slowlog_rolling" for logger config "index.indexing.slowlog.index"
Dec 14 15:12:48 elk elasticsearch[79428]: 2018-12-14 15:12:48,084 main ERROR Unable to locate appender "audit_rolling" for logger config "org.elasticsearch.xpack.security....gAuditTrail"
Dec 14 15:12:48 elk elasticsearch[79428]: 2018-12-14 15:12:48,084 main ERROR Unable to locate appender "index_search_slowlog_rolling" for logger config "index.search.slowlog"
Dec 14 15:12:48 elk elasticsearch[79428]: 2018-12-14 15:12:48,084 main ERROR Unable to locate appender "deprecated_audit_rolling" for logger config "org.elasticsearch.xpac...gAuditTrail"
Dec 14 15:12:48 elk elasticsearch[79428]: 2018-12-14 15:12:48,085 main ERROR Unable to locate appender "deprecation_rolling" for logger config "org.elasticsearch.deprecation"
Dec 14 15:12:48 elk systemd[1]: elasticsearch.service: main process exited, code=exited, status=1/FAILURE
Dec 14 15:12:48 elk systemd[1]: Unit elasticsearch.service entered failed state.
Dec 14 15:12:48 elk systemd[1]: elasticsearch.service failed.
Hint: Some lines were ellipsized, use -l to show in full.
  • network.host:es监听地址,采用"0.0.0.0",表示允许所有设备访问。
  • http.port:es监听端口,可不取消注释,默认即此端口。
  • discovery.zen.ping.unicast.hosts:集群节点发现列表,也可采用ip的形式
  • discovery.zen.minimum_master_nodes:如果暂时是单节点部署,可以设置成1
  • xpack.security.enabled:添加这条,这条是配置kibana的安全机制,暂时关闭。

重启es。

systemctl restart elasticsearch.service
systemctl status elasticsearch.service

3,安装logstash。

直接yum安装。

yum -y install logstash

配置logstash。

[root@elk ~]$egrep -v "^#|^$" /etc/logstash/logstash.yml
path.data: /var/lib/logstash
path.config: /etc/logstash/conf.d
path.logs: /var/log/logstash

这个地方重要的是第二条配置,同许多应用类似的,这里定义了一个include的目录,以后我们的多个应用实例就可以直接放置在这个目录下了,这里作为了解,后边并不会应用配置好的logstash,原因在后边会说。

然后定义此logstash不再使用系统管理启动,而是以后通过命令行来起对应的logstash实例。
同时创建软链接,从而让系统能够在/usr/share/logstash下读取到相对应的logstash配置信息。

systemctl disable logstash.service
ln -s /etc/logstash /usr/share/logstash/config

然后logstash先放在这里,不用启动,对应的日志等操作,后边就会介绍了。

4,安装kibana

直接yum安装。

yum -y install kibana

配置kibana。

[root@elk ~]$egrep -v "^#|^$" /etc/kibana/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://10.100.120.82:9200"
kibana.index: ".newkibana"
xpack.security.enabled: false   #添加这条,这条是配置kibana的安全机制,暂时关闭。
  • kibana.index:原来默认是".kibana",但是新版本的kibana启动之后发现无法访问,访问之后抛出一个异常:kibana server is not ready yet,那么回来把配置更改成".newkibana",然后重启kibana,再次访问,即可成功。

启动kibana。

systemctl enable kibana.service
systemctl restart kibana
systemctl status  kibana

到这儿,基本上,作为单台的elk主机上的工作基本上已经完成,可以说非常简单,而,戏,也从此刚刚开始而已。


weinxin
扫码订阅本站,第一时间获得更新
微信扫描二维码,订阅我们网站的动态,另外不定时发送WordPress小技巧,你可以随时退订,欢迎订阅哦~

二丫讲梵 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明<一>ELK-6.5.3学习笔记–elk基础环境安装
喜欢 (6)
[如果想支持本站,可支付宝赞助]
分享 (0)
eryajf
关于作者:
学无止境,我愿意无止境学。书山有路,我愿意举身投火,淬炼成金!

您必须 登录 才能发表评论!

(11)个小伙伴在吐槽
  1. eryajf
    good
    eryajf2019-01-05 13:40 Windows 7 | Chrome 70.0.3538.9
  2. 优秀
    neo2019-01-05 19:34 Windows 10 | Chrome 71.0.3578.98
    • eryajf
      谢谢支持,感兴趣可以看elk系列文章,今天刚发布
      eryajf2019-01-05 19:44 Windows 7 | Chrome 70.0.3538.9
  3. lx1731755275
    启动不了kibana,就算配置文件改为.newkibana,curl还是会Kibana server is not ready yet,查看状态会报错localhost.localdomain kibana[13519]: Browserslist: caniuse-lite is outdated. Please run next command `npm update caniuse-lite browserslist`。大佬请问如何解决?npm update caniuse-lite browserslist试过没有效果
    lx17317552752019-01-24 15:40 Windows 10 | Chrome 71.0.3578.98
    • eryajf
      关于新版本kibana初次启动然后访问会报Kibana server is not ready yet的这个问题,其实,一开始我也陷入到这个问题当中了,不过后来我发现,似乎这并不是一个问题,怎么说呢,就是你这会儿systemctl status kibana查看一下服务状态,如果是active (running)的,那么似乎你不用着急,等待一段时间,kibana页面就能访问了,这个等待的时间长短,取决于你当前机器的配置的高低。如果状态非running,那么应该检查对应配置是否正确。至于你给出的那个错误,我目前还没有碰到过。你部署的机器系统是多少,elk的版本是多少呢,前边el两个都部署的是否顺利呢
      eryajf2019-01-24 15:50 Windows 7 | Chrome 70.0.3538.9
      • lx1731755275
        大佬,系统版本为CentOS Linux release 7.6.1810 (Core),elk版本为6.5.4,kibana的安装包为kibana-6.5.4-x86_64.rpm,前面2个都部署顺利,目前来看状态就是active (running),前几天就在学习你的这篇文章,安装教程完完整整搭建了一遍,当时也是这个错误,到第二天还是,我以为是系统问题就重新安装了一遍系统,现在还是这样,QAQ
        lx17317552752019-01-24 16:25 Windows 10 | Chrome 71.0.3578.98
        • eryajf
          之前我在部署过程中,遇到这个错误的时候,貌似也通过了另外一种方式解决了,或许你可以尝试在主机命令行当中执行一下这条命令,curl -X PUT http://localhost:9200/_all/_settings -H 'Content-Type: application/json' -d'{ "index.blocks.read_only_allow_delete" : false } }'然后重启一下elk三个服务查看一下效果。这个解决方式是在这里看到的https://discuss.elastic.co/t/kibana-server-is-not-ready-yet/157025/3
          eryajf2019-01-24 16:45 Windows 7 | Chrome 70.0.3538.9
          • lx1731755275
            算了....确实是搞不明白了,我准备先从低版本的再试试。谢谢你啦大佬
            lx17317552752019-01-25 09:46 Windows 10 | Chrome 71.0.3578.98
          • eryajf
            哎呀,别一句一个大佬啦,平等相交即可。不过不应该这么不圆润啊,等会儿我也再部署一波看看哈
            eryajf2019-01-25 09:51 Windows 7 | Chrome 70.0.3538.9
          • eryajf
            兄弟你好,我刚刚又一次安装了一波,发现问题如我一开始描述的一样,就是这似乎不是一个问题,刚启动之后,访问的确是会报那个错误,但是等待了大概五分钟左右的样子,然后我这边访问就正常了。这个等待的时长可能与主机性能有关(我测试用的机器配置是4C8G的),而且一开始我也看到了昨天你描述的那个错误,但是什么都没动,过一会儿自己就好了。如图
            eryajf2019-01-25 10:17 Windows 7 | Chrome 70.0.3538.9
    • eryajf
      你好,很长时间过去了,不知道你现在是否已经从elk的安装过程中走出来了,在当我今天尝试部署一套新的环境时,发现的确某一些版本似乎存在bug,从而不易于安装。我尝试了6.5.4,出现了上边与你一样的报错,同时也尝试了其他的几个版本的安装,最终发现,就算是最新的7.x安装起来似乎也要看人品。不过倒是得到了一个相对稳定的版本,就是6.7.2,我在安装这个版本的时候,发现几乎不太会出现报错的情况。所以如果你当初放弃了,似乎现在还可以拾起来!
      eryajf2019-06-06 21:03 Windows 7 | Chrome 74.0.3729.169