Во-первых, удостоверьтесь, что Вы установили Гостевые Дополнения VirtualBox.
Затем по крайней мере, на хосте Mac OS X, можно просто изменить размер окна, и размер изменит в госте ОС. Или необходимо смочь получить доступ к большему количеству размеров с гостевыми дополнениями.
Как измениться/улучшить разрешение дисплея для гостевой ОС Linux на Virtualbox: http://digitizor.com/?p=1808