大日志文件搜索数据

大日志文件搜索 例如搜索aaa 相关的日志

直接用grep “aaa”, 如果一个日志文件>10G, 那么搜起来相当慢

第一步 可以先搜索aaa相关行,

grep -ano 'aaa' a.log

第二步,可以根据行数 搜索一端范围内的日志 放到一个临时文件

sed -n 100,900p a.log >> tmp.log

第三步,tmp.log不会太大,可以搜索你想要的数据

总之:思路就是从一个大日志文件 截取一端范围内的日志数据,放到临时文件,不要在原来的大日志文件进行搜索,有点类似sql , 如果一个大表,我们可以先根据索引搜索范围内的数据放到临时表

发表评论

邮箱地址不会被公开。