Проверить принадлежат ли точки A(2;4) , В(7;1) и С(0;2) окружности x^2+y^2-2x-4y=0

x0, x0 - координаты центра окружности. xp, yp - координаты точки расстояние от окружности до точки это гипотенуза, катеты это xp-x0 и yp-y0. Соответственно если это расстояние меньше радиуса окружности - точка внутри, равно - на границе, больше - за пределами. По теореме Пифагора.