リスト内の重複データを削除するにはuniqコマンドを使います。重複した数をカウントしたい場合は--countを指定します。重複結果をカウントしたものはテーブルとして返されます。これにより、どの項目がいくつ重複していたかを知ることができます。
重複したデータだけを取得するには--repeatedを指定します。
一回しか出てこないデータだけを取得するには--uniqueを指定します。
UNIXコマンドのuniqとは違い全データの重複チェックが行われます。データや行が隣接している必要はありません。
Terminal
["ab",1,3,1,"ab","cd",3,3,1,"xyz"] | uniq
["ab",1,3,1,"ab","cd",3,3,1,"xyz"] | uniq --count
["ab",1,3,1,"ab","cd",3,3,1,"xyz"] | uniq --repeated
["ab",1,3,1,"ab","cd",3,3,1,"xyz"] | uniq --unique
