• 对于注定会优秀的人来说,他所需要的,只是时间!
  • 手懒得,必受贫穷,手勤的,必得富足----《圣经》
  • 帮助别人,成就自己。愿君在本站能真正有所收获!
  • 如果你在本站中发现任何问题,欢迎留言指正!
  • 宝剑锋从磨砺出,梅花香自苦寒来!

<十七>ELK-学习笔记–filebeat报错too many open files处理

迎刃而解 eryajf 4个月前 (06-06) 383°C 已收录 0个评论
本文预计阅读时间 4 分钟

有同学反馈说api的日志可能漏采了,部分日志查不到,我于是立马进行一波查验,发现的确是有部分日志没有写到es,一开始还以为是这部分日志有问题,然后开发同学是同目录下的日志用的是同一个框架,于是又想是不是es写入有问题,看了看也没问题,后来来到主机上看filebeat的日志,发现了如下报错。

2019-12-03T15:46:22+08:00 ERR Failed to create tempfile (/var/lib/filebeat/registry.new) for writing: open /var/lib/filebeat/registry.new: too many open files
2019-12-03T15:46:22+08:00 ERR Writing of registry returned error: open /var/lib/filebeat/registry.new: too many open files. Continuing...
2019-12-03T15:46:23+08:00 ERR Harvester could not be started on existing file: /var/log/secure, Err: Error setting up harvester: Harvester setup failed. Unexpected file opening error: Failed opening /var/log/secure: open /var/log/secure: too many open files

如上报错是采集的日志文件超过了filebeat进程的最大文件打开数了,而超出的部分,也将无法落入到es中。

解决可以参考动态修改,但只是临时生效,一旦服务或者系统重启,就又失效了,因此在启动文件中添加配置来解决:

cat /usr/lib/systemd/system/filebeat.service
[Unit]
Description=filebeat
Documentation=https://www.elastic.co/guide/en/beats/filebeat/current/index.html
Wants=network-online.target
After=network-online.target

[Service]
ExecStart=/usr/share/filebeat/bin/filebeat -c /etc/filebeat/filebeat.yml -path.home /usr/share/filebeat -path.config /etc/filebeat -path.data /var/lib/filebeat -path.logs /var/log/filebeat
Restart=always
LimitNOFILE=10240

[Install]
WantedBy=multi-user.target

然后重启服务即可。


weinxin
扫码订阅本站,第一时间获得更新
微信扫描二维码,订阅我们网站的动态,另外不定时发送WordPress小技巧,你可以随时退订,欢迎订阅哦~

二丫讲梵 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明<十七>ELK-学习笔记–filebeat报错too many open files处理
喜欢 (0)
[如果想支持本站,可支付宝赞助]
分享 (0)
eryajf
关于作者:
学无止境,我愿意无止境学。书山有路,我愿意举身投火,淬炼成金!永远不要忘记,激情的奋进,就是美好的未来!

您必须 登录 才能发表评论!