Нельзя быть где-то умным, а где-то - наоборот. Точно так же, как нельзя быть немножко беременной.
Ум - это способность анализировать. Эта способность либо есть, либо нет. От предметной области это не зависит.
Вы же перепутали ум и знания. Вот знания могут быть в одной области при том, что их совершенно может не быть в другой.
Впрочем - да, определенная категория людей не различают ум и знания, для них и то и другое выглядит магией.