NodeJS读取分析Nginx错误日志的方法
网上很少看到有用NodeJS运维系列文章,后续我会更新一些NodeJS运维相关的内容又或者说让我们更加的深入了解一些服务器的知识以及自动化运维方面的基础知识 为什么要做错误日志分析,因为网上这方面的工具不多我找到一个goaess都是分析成功日志以及用户访问趋势,找了半天没找着自己想要的索性就自己利用Node造一个
错误日志分析
我们要读取Nginx日志,我们可以看到Nginx的错误日志格式一般都是这样子,需要注意的是Nginx的错误日志格式是差不多的因为无法设置日志格式只能设置日志错误等级所以我们分析的时候很方便
这里我们用到
逐行读取,简单来说可以做
- 文件逐行读取比如说进行日志分析。
- 自动完成比如输入npm,自动提示"help init install"。
- 命令行工具比如npm init这种问答式的脚手架工具。 这里我们主要做日志分析其他的感兴趣可以琢磨一下
实现方法
const readline = require('readline'); const fs = require('fs'); const path = require('path'); console.time('readline-time') const rl = readline.createInterface({ input: fs.createReadStream(path.join(__dirname, '../public/api.err.log'), { start: 0, end: Infinity }), }); let count = 0; rl.on('line', (line) => { const arr = line.split(', '); const time = arr[0].split('')[0].split('[')[0].replace(/\//g, '-');//获取到时间 const error = arr[0].split('')[1].split(/\d\s/)[1];//错误原因 const client = arr[1].split(' ')[1];//请求的客户端 const server = arr[2].split(' ')[1];//请求的网址 const url = arr[3].match(/\s\/(\S)\s/)[0].trim()//获取请求链接 const upstream = arr[4].match(/(?<=").?(?=")/g)[0];//获取上游 const host = arr[5].match(/(?<=").?(?=")/g)[0];//获取host const referrer = arr[6] ? arr[6].match(/(?<=").?(?=")/g)[0] : '';//来源 console.log(`时间:${time}-原因:${error}-客户端:${client}-网址:${server}-地址:${url}-上游:${upstream}-主机:${host}-来源:${referrer}`); count++; }); rl.on('close', () => { let size = fs.statSync(path.join(__dirname, '../public/api.err.log')).size; console.log(`读取完毕:${count};文件位置:${size % 2 === 0}`); console.timeEnd('readline-time') });
上面代码有几点需要注意的是会创建一个文件可读流然后由于演示所以我是直接找的本地地址如果是生产环境的话大家可以直接填写服务器上的错误日志地址,如果没有Nginx错误日志分割的话每天会产生很多日志,createReadStream读取几十M的文件还好如果读取几百M或者上G的容量日志这会造成性能问题,所以我们需要在每次createReadStream没必要每次从0字节开始读取,ceateReadStream提供了start和end
所以我们每次可以在读取完之后记录一下当前文件字节大小下一次读取文件就是可以用该文件上次的大小开始读取
let size = fs.statSync(path.join(__dirname, '../public/api.err.log')).size;
我们可以对比一下每次从0字节开始读取和从指定字节读取
保存数据进行分析
这里我是用node-schedule
这个库进行定时保存错误日志和linux的cron差不多,用的mongodb保存数据,这里更推荐大家用elasticsearch来做日志分析
rl.on('close', async () => { let count = 0; for (let i of rlist) { count++; if (count % 500 === 0) { const res = await global.db.collection('logs').bulkWrite(rlist.slice(count, count + 500), { ordered: false, w: 1 }).catch(err => { console.error(`批量插入出错${err}`) }); } else if (count === rlist.length - 1) { //批量插入 数据 const res = await global.db.collection('logs').bulkWrite(rlist.slice(rlist - (rlist % 500), rlist.length), { ordered: false, w: 1 }); let size = fs.statSync(addres).size; size = size % 2 === 0 ? size : size + 1;//保证字节大小是偶数 不然会出现读取上行内容不完整的情况 count = 0; rlist.length = []; //更新数据库里面文件的size global.db.collection('tasks').updateOne({ _id: addre }, { $set: { _id: addre, size, date: +new Date() } }, { upsert: true }); } } resolve(true); })
上面主要是500条保存一次,因为我用的是批量插入然后mongodb有限制一次性最多插入16M数据的限制,所以大家看自己清空决定一次性插入多少条 犹豫对readline的实现比较感兴趣,就去翻阅了一下源码发现并不是我们想的那么复杂, readline源码 ,狼蚁网站SEO优化贴一下line事件的源码,想继续深入的同学可以看看全部的源码
if (typeof s === 'string' && s) { var lines = s.split(/\r\n|\n|\r/); for (var i = 0, len = lines.length; i < len; i++) { if (i > 0) { this._line(); } this._insertString(lines[i]); } } ... Interface.prototype._line = function() { const line = this._addHistory(); this.clearLine(); this._onLine(line); }; ... Interface.prototype._onLine = function(line) { if (this._questionCallback) { var cb = this._questionCallback; this._questionCallback = null; this.setPrompt(this._oldPrompt); cb(line); } else { this.emit('line', line); } };
保存的数据需要进行分析比如哪个IP访问最多哪条错误最多可以用聚合来进行分析贴出示例分析某个IP在某一天访问出错最多的原因
db.logs.aggregate( // Pipeline [ // Stage 1 { $group: { '_id': { 'client': '114.112.163.28', 'server': '$server', 'error': '$error', 'url': '$url', 'upstream': '$upstream','date':'$date' ,'msg':'$msg' } , 'date':{'$addToSet':'$date'}, count: { '$sum': 1 } } }, // Stage 2 { $match: { count: { $gte: 1 }, date: ['2019-05-10'] } }, { $sort: { count: -1 } }, ], // Options { cursor: { batchSize: 50 }, allowDiskUse: true } );
以上所述是长沙网络推广给大家介绍的NodeJS读取分析Nginx错误日志的方法,希望对大家有所帮助,如果大家有任何疑问欢迎给我留言,长沙网络推广会及时回复大家的!
编程语言
- 如何快速学会编程 如何快速学会ug编程
- 免费学编程的app 推荐12个免费学编程的好网站
- 电脑怎么编程:电脑怎么编程网咯游戏菜单图标
- 如何写代码新手教学 如何写代码新手教学手机
- 基础编程入门教程视频 基础编程入门教程视频华
- 编程演示:编程演示浦丰投针过程
- 乐高编程加盟 乐高积木编程加盟
- 跟我学plc编程 plc编程自学入门视频教程
- ug编程成航林总 ug编程实战视频
- 孩子学编程的好处和坏处
- 初学者学编程该从哪里开始 新手学编程从哪里入
- 慢走丝编程 慢走丝编程难学吗
- 国内十强少儿编程机构 中国少儿编程机构十强有
- 成人计算机速成培训班 成人计算机速成培训班办
- 孩子学编程网上课程哪家好 儿童学编程比较好的
- 代码编程教学入门软件 代码编程教程