Существует ли ключ реестра, чтобы сказать окнам удалять файл при следующем запуске?
Да, значения хранятся в ключе реестра
HKLM\System\CurrentControlSet\Control\Session Manager\PendingFileRenameOperations
но необходимо использовать инструмент для этого, как MoveFile от SysInternals или MoveLatr от BitSum (C исходный код предусмотрел последнего), которые делают редактирование реестра для Вас.