Это все изложено в документации VirtualBox. Особенно онлайн или в PDF. По существу выполните VirtualBox и пойдите,
(VM name) > Settings > Serial Ports > Enable port > connect to device
И добавьте название своего устройства. Будьте осторожны относительно полномочий файла.
Если Вы работаете бездисплейный, я думаю, что можно сделать это через VBoxManage modifyvm
.