У меня есть маленький файл, который шифруется, и я хочу видеть, является ли это метод шифрования, который был поврежден или взломан.
Это не совсем верно. Если файл является exe или исполняемым файлом, очень вероятно можно обнаружить тип шифрования, которое он использует. http://www.peid.info/ это - инструмент, где можно обнаружить тип использования шифрования. Может не работать над другим форматом файлов, таким как документ, и т.д.