Почему правильно так ? The next day I heard a man talking to a woman outside the house. А не так ? The next day I heard a man to talk to a woman outside the house.

Эта конструкция называется - Complex Object (Сложное дополнение) –  су­ще­стви­тель­ное в им. па­де­же или ме­сто­име­ние в объ­ект­ном па­де­же + ин­фи­ни­тив/при­ча­стие на­сто­я­ще­го вре­ме­ни (Participle I). Инфинитив глагола должен быть без частицы TO! The next day I heard a man to talk to a woman outside the house. - т.е. это предложение не верно,  т.к. тут есть частица  to - to talk! The next day I heard a man talking to a woman outside the house. - а это предложение верно!