利用python分析access日志的方法
网络编程 2021-07-04 20:01www.168986.cn编程入门
最近在自学python,光看是不行的,还是要多实操的。这就是一个写给自己的小小工具。主要功能是,便利日志文件夹下的文件,根据设定的关键字查找是否有web攻击行为。有需要的朋友们狼蚁网站SEO优化来一起看看吧。
前言
WAF上线之后,处理最多的是误报消除。
产生误报有多种原因,比如web应用源码编写时允许客户端提交过多的cookie;比如单个参数提交的数值太大。
把误报降低到了可接受的范围后,还要关注漏报。WAF不是神,任何WAF都可能被绕过。所以还需要定位漏过的攻击,明确漏报的原因,才能update WAF的策略。
要定位漏报,就必须分析Web应用的访问日志了。一个站点,每天产生的aess日志大概接近1GB,显然靠肉眼看是不现实的。这就需要用python帮助自动分析。
实现思路
拿我司某Web系统举例
apache开启了aess日志记录
日志规则是每小时生成一个日志文件,以站点名称为文件名,以日期+时间为后缀。例如special.XXXXXX...2016101001
要分析这些散碎的日志文件,我的思路如下
1、根据用户命令行输入获取日志文件所在目录;
2、遍历目录下所有文件,合并到一个文件;
3、定义web攻击常见payload的字符串
SQLi的select、union、+–+;
Struts的ognl、java
webshell常见的base64、eval、excute
使用正则逐行匹配,将命中的日志复制到单独的文件。
实现代码
代码如下
# --coding: utf-8 -- import os,re,sys if len(sys.argv) != 2 : print 'Usage : python logaudit.py <path>' sys.exit() logpath = sys.argv[1] #获取输入参数的文件路径' merge = re.pile(r'.(\d[10])') for root , dirs , files in os.walk(logpath): for line in files: #遍历日志文件夹,合并所有内容到一个文件 pipei = merge.match(line) if pipei != None: tmppath = root + '\\' +line logread1 = open(tmppath,'r') logread = logread1.read() log2txt = open('.\\log.txt','a') log2txt.write(logread) log2txt.close() logread1.close() else: exit log = open('.//log.txt','r') logread = log.readlines() auditString = re.pile(r'.[^_][sS][eE][lL][eE][cC][tT][^.].|.[uU][nN][iI][Oo][nN].|.[bB][aA][sS][eE][^.].|.[oO][gG][nN][lL].|.[eE][vV][aA][lL][(].|.[eE][xX][cC][uU][tT][eE].') writelog = open('.//result.txt','a') for lines in logread: auditResult = auditString.match(lines) if auditResult != None: writelog.write(auditResult.group()) writelog.write('\n') else: exit writelog.close() log.close()
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。
上一篇:简单的js计算器实现
下一篇:浅谈jQuery绑定事件会叠加的解决方法和心得总结
编程语言
- 如何快速学会编程 如何快速学会ug编程
- 免费学编程的app 推荐12个免费学编程的好网站
- 电脑怎么编程:电脑怎么编程网咯游戏菜单图标
- 如何写代码新手教学 如何写代码新手教学手机
- 基础编程入门教程视频 基础编程入门教程视频华
- 编程演示:编程演示浦丰投针过程
- 乐高编程加盟 乐高积木编程加盟
- 跟我学plc编程 plc编程自学入门视频教程
- ug编程成航林总 ug编程实战视频
- 孩子学编程的好处和坏处
- 初学者学编程该从哪里开始 新手学编程从哪里入
- 慢走丝编程 慢走丝编程难学吗
- 国内十强少儿编程机构 中国少儿编程机构十强有
- 成人计算机速成培训班 成人计算机速成培训班办
- 孩子学编程网上课程哪家好 儿童学编程比较好的
- 代码编程教学入门软件 代码编程教程