阿里云日志下载到本地提取数据

最近在一个项目中，有一批绿洲图片上传失败的数据，需要重新处理

step1 利于阿里云命令下载 搜索关键字 根据时间段查询日志 下载到本地

aliyunlog log get_log_all --project="fs2hf" --logstore="bankliquidation-huifu-gateway" --query="mq >> ShopPicUploadListener" --from_time="2019-07-25 02:30:28+08:00" --to_time="2019-07-25 11:42:28+08:00" --region-endpoint="cn-shanghai.log.aliyuncs.com" --format-output=no_escape --jmes-filter="join('\n', map(&to_string(@), @))" --access-id="cfyme" --access-key="cfyme_test"  >> ./downloaded_0725.txt

阿里云下载命令参考使用如下：

step2 下载到本地后，然后利于awk命令过滤截取关键信息

/* cut分隔符只有一个等号*/
cat downloaded_0725.txt |cut -d "=" -f2 > oasis0725.txt

/* awk分隔符可以有多个字符 */
cat downloaded_0725.txt |awk -F 'message=' '{print $2}' > oasis.txt

step3, 提取到了关键信息，接下来程序可以处理了，读取oasis.txt文件的json数据，请求接口重新上传图片

oasis.txt文件内容如下：