Есть ли какие-либо инструменты, которые позволяют "различным" текстовым файлам размера терабайта?
Можно использовать bdiff
. Это используется для сравнения файлов, которые являются слишком большими, чтобы быть загруженными в памяти.
NAME
bdiff - big diff
SYNOPSIS
bdiff filename1 filename2 [n] [-s]
DESCRIPTION
bdiff is used in a manner analogous to diff to find which
lines in filename1 and filename2 must be changed to bring
the files into agreement. Its purpose is to allow processing
of files too large for diff. If filename1 (filename2) is -,
the standard input is read.
Действительно ли файлы являются поддающимися сортировке? (например, через команду "вида")
Если они, и в зависимости от вида различия Вы ищете и если это некогда от осуществления, почему Вы не сортируете их каждый, разделяете на буквы алфавита (или что бы то ни было, пока Вы получаете несколько файлов), и затем сравните каждую букву..
Примитивный, но мог бы работать аккуратный и легко для Вас?