со всей серьезностью, без всяких шуток. Иногда выражение относят к "бильярдному" языку.
В некоторых разновидностях игры в бильярд требовалось положить в лузы определенное количество шаров. Случайно вкатившиеся в лузу шары шутливо называли "дураками".
По другой версии оборот древнее. Он родился во времена русск