Можно достигнуть этого с sort
и uniq
утилиты.
пример:
[john@awesome ~]$ echo -e "test\ntest\ntest\nanother test\ntest" test test test another test test [john@awesome ~]$ echo -e "test\ntest\ntest\nanother test\ntest" | sort | uniq another test test
в зависимости от данных можно хотеть использовать некоторые переключатели также.