awk：对文本内容去重

案例一

样本数据

ES11 ES15 ED13 ED15 ES1Z ED11 SZ13 SZ15 ED13 SB15 SB13 BT23 DZ19 IT39 SZ13 IU23 IT23 GZ13 GZ15 IJ13 IU21 JS13 IH13 BT25 ED11 ED13 ED15 EJ15 ES11 IT25 IU25 JS15 SV15

去重命令：

awk'{arr[$1]++;if(arr[$1] == 1){print}}'11.txt

案例二

样本数据

2019-01-13_12:00_index?uid=123 2019-01-13_13:00_index?uid=123 2019-01-13_14:00_index?uid=333 2019-01-13_15:00_index?uid=9710 2019-01-14_12:00_index?uid=123 2019-01-14_13:00_index?uid=123 2019-01-15_14:00_index?uid=333 2019-01-16_15:00_index?uid=9710

去重命令

awk-F"?"'{arr[$2]++;if(arr[$2]==1){print}}'