Почему правильно говорить о вероятности пребывания электрона в той или иной част?

Потому что быстро движущийся электрон может находиться в любой точке пространства, окружающего ядро атома, и на разном удалении от него, образуя атомную оболочку.