Linux管理员的瑞士军刀-AWK

1 作为Linux系统管理员的瑞士小军刀,awk的作用是显而易见的,但是一般情况下使用的都是很简单的分割打印,但有时候需要稍微复杂一些的用法,这里进行一下我的总结。其实之前有写过一篇awk的博客,不过写的比较基础,这次作为补充并尽可能覆盖常用用法,之前的地址戳这里

GTX直压上云技术实践

**update:**测试时出现二进制文件大小恰好为256M整数倍时解压不退出的bug,提交至维护人员后已经解决,不得不说反馈速度真的是快,从我提出到解决总共用了不到1天时间。给点个赞,棒棒哒 GTX Compressor(直压上云技术)调研,由于现业务存在大规模业务数据上传云存储,云厂商提供接口具有一些局限性,现在尝试gtz这个工具。该工具目前支持阿里云及AWS非常符合业务场景,具有高压缩比、高性能、高速直压云等特点,且有数据校验机制,而且开包即用,不依赖当前系统其他任何库

**介绍:**GTX Compressor是Genetalks公司GTX Lab实验室开发的面向大型数据(数GB甚至数TB数据,尤其是生物信息数据)上云,而量身定制的复杂通用数据压缩打包系统,可以对任意基因测序数据以及数据目录进行高压缩率的快速打包,形成单个压缩数据文件,以方便存储档与远程传输、校验。区别于以往的压缩工具,GT Compressor系统着力于 高压缩率,高速率,方便的数据抽取 。 ——————摘自Github上该项目官方介绍

常见压缩格式对比

数据压缩可以分为无损压缩和有损压缩,有损,指的是压缩之后就无法完整还原原始信息,但是压缩率可以很高,主要应用于视频、话音等数据的压缩,因为损失了一点信息,人是很难察觉的,或者说,也没必要那么清晰照样可以看可以听;无损压缩则用于文件等等必须完整还原信息的场合。目前只归纳zip、rar、tar.gz、tar.bz常见的这几种,其他的以后接触了再进行补充。