思海網絡:主營業務服務器租用,服務器托管,雙線服務器,雙線機房,廣東電信服務器,廣東電信租用,機柜租用,虛擬主機
我們的服務承諾
  • 19年行業經驗·絕對專業!
  • 全年7×24小時用心服務!
  • 實體公司運作,決非個人!
  • 服務器租用帶寬100%保障!
  • 免費DDOS被攻擊緊急救助!
  • 免押金,免設置費!
  • 免費安裝設置Ftp,IIs,Php!
  • 免費安裝服務器版殺毒軟件!
  • 免費系統安全性設置!
首頁 - 技術文章 - Linux系統
文章瀏覽

Linux刪除重復行的代碼

添加時間:2019-6-15 20:25:21 來源:思海網絡 

文本處理時,經常要刪除重復行,下面是三種方法

第一,用sort+uniq,注意,單純uniq是不行的。
 
sort -n test.txt | uniq
第二,用sort+awk命令,注意,單純awk同樣不行,原因同上。

 sort -n $file | awk '{if($0!=line)print; line=$0}'
 
第三,用sort+sed命令,同樣需要sort命令先排序。
sort -n $file | sed '$!N; /^.∗\n\1$/!P; D'

Shell腳本


# !/bin/sh
 
file='test.txt'
sort -n $file | uniq
sort -n $file | awk '{if($0!=line)print; line=$0}'
sort -n $file | sed '$!N; /^\(.*\)\n\1$/!P; D'

 

關鍵字:Linux、重復行、代碼

分享到:

頂部 】 【 關閉
首 頁 | 服務器租用 | 服務器托管 | 云服務器 | 大帶寬 | 虛擬主機 | 新聞中心 | 技術文章 | 購買流程 | 付款方式 | 關于我們 | 聯系我們 | 下載中心
版權所有:佛山思海電腦網絡有限公司 ©1998-2019 All Rights Reserved.
電話:(0757)22630313、22633833
公司地址: 廣東省佛山市順德區大良國際商業城A區4座3樓106號
郵政編碼:528300
中華人民共和國增值電信業務經營許可證:粵B1.B2-20030321
粵B2-20030321-1 網站公安備案編號:44060602000007
交互式欄目專項備案編號:200303DD003
機房7x24小時服務熱線 機房7x24小時服務熱線:(0757)23628508、23628509
銷售部 銷售部: [email protected]
技術部 技術部: [email protected]
客戶部 客戶部: [email protected]
網管部 網管部: [email protected]
察察工商部備案安網網上報警警警        
内蒙古十一选五遗漏查