Я хочу удалить PHP-5.3. полностью от моей машины после делают его из источника

Надеясь, что Вы используете некоторую разновидность Linux (я предположу, что это - базирующийся debian) Вы могли использовать инструмент как checkinstall (http://www.asic-linux.com.mx/~izto/checkinstall/), который создаст пакет со всеми файлами, следующими из сделать процедуры установки. Таким образом Вы получаете список файлов наряду с их путем. Теперь можно или удалить их вручную один за другим или установить созданный пакет, перезаписывающий существующие файлы и затем удаляющий его с помощью опции чистки.