awk ‘{print $1″ “$4}’ 000.txt | sort| uniq -c | sort -k1nr | head cat 000.txt | awk ‘{a[substr($4,9,13) $1]+=1} E … 继续阅读 awk常用分组统计
标签:shell
大日志文件搜索数据
大日志文件搜索 例如搜索aaa 相关的日志 直接用grep “aaa”, 如果一个日志文件>10G, 那么搜起来相当慢 第一步 可以先搜索aaa相关行, 第二步,可以根据行数 搜索一端范围内的日志 放到一个临时 … 继续阅读 大日志文件搜索数据
大日志文件搜索技巧
例如一个大日志文件超过10G的文件去搜索我们想要的信息,速度太慢,可以利用下面的技巧快速搜索我们想要的信息 step1, 查询关键字行数 step2, 利用sed -n 搜索这些行范围内的日志
grep正则匹配
grep -E 正则 匹配 ps -ef | grep -v grep | grep -E “/home/devjava/bankliquidation-file/apps/.*jar”
Jenkins通过shell脚本调用找不到命令
java -server -jar $APP_PATH/bank_yeepay_gateway*.jar 提示命令找不到 command not found 解决方案:要在脚本文件中写绝对路径 或者创建一个软连接 因为Jenkins 通过s … 继续阅读 Jenkins通过shell脚本调用找不到命令
mac技巧
1, finder标题栏显示全路径 命令行执行下面的命令 defaults write com.apple.finder _FXShowPosixPathInTitle -bool TRUE;killall Finder 2, 显示隐藏文件 … 继续阅读 mac技巧
shell脚本批量添加数据
mysql本地表,百万级别的数据,测试下添加索引,添加字段,等各种效果 例如新建一张空表 tmp_user, 建表语句如下: CREATE TABLE `tmp_user` ( `id` INT(10) NOT NULL AUTO_INCR … 继续阅读 shell脚本批量添加数据
sudo mvn package后提示找不到mvn命令
解决办法是,编辑当前用户的 .bashrc 文件,添加下面这行内容: alias sudo=”sudo env PATH=$PATH” 因为系统预装的 sudo 在编译时缺省使用了 –with-secure-pat … 继续阅读 sudo mvn package后提示找不到mvn命令
awk批量插入
awk批量插入,速度很快的,150万条记录,3分钟左右吧 执行:awk -f /tmp/push_info_insert.awk /tmp/221.txt BEGIN{ FS=”,” taskId=”20051″ user=”user” p … 继续阅读 awk批量插入
redis命令清空缓存
redis-cli -h 127.0.0.1 -p 6379 -a ‘redispwd’ keys “getItemId*” | xargs redis-cli -h 127.0.0.1-p 6379 -a ‘redispwd’ -n 0 … 继续阅读 redis命令清空缓存