Почему мы все еще используем центральные процессоры вместо GPU?

Мне кажется, что в эти дни много вычислений сделано на GPU. Очевидно, графика сделана там, но использующий CUDA и т.п., AI, алгоритмы хеширования (думают биткоины) и другие также сделан на GPU. Почему мы не можем только избавиться от ЦП и использовать GPU самостоятельно? Что делает GPU настолько быстрее, чем ЦП?