Так греки называли всех тех, кто не говорил на греческом языке (barbaros - непонятно болтающий). Отсюда возникло презрительное обозначение грубого и некультурного человека.