Каким фразеологизмом можно заменить слово отказаться?

Если речь идет об отказе от действия, то вполне подойдет "Умывать руки"

Умывать руки. Пример: - Все, Тань, я умываю руки, нужно сматываться с этого проекта.