Frankreich, Ende des 19. Jahrhunderts. Joseph Ferdinand Cheval (Jacques Gamblin) ist Briefträger und Eigenbrötler. Er genießt die Einsamkeit auf seiner täglichen Postroute entlang der Drôme. Sein Leben verändert sich jedoch schlagartig, als er die junge Philomène (Laetitia Casta) heiratet und seine Tochter Alice (Zelie Rixhon) geboren wird. Als Beweis seiner abgöttischen Liebe zu ihr sammelt er 33 Jahre lang Tag für Tag auf seiner Postroute Sandsteine und baut daraus eigenhändig einen unglaublichen Palast.
Inspiriert von hinduistischer und christlicher Architektur und mit Mörtel, Leim und Zement zusammengehalten, wird er bald als der "Ideale Palast" bekannt und ist ein Bauwerk, von dem Cheval bereits sein ganzes Leben lang geträumt hat. Nichts hält ihn von diesem Unterfangen ab, nicht einmal der Spott und die Verachtung seiner Mitbürger und sogar seiner Familie. Doch mit der Zeit stellen sich auch Journalisten und Kunstinteressierte ein, und der Palast entwickelt sich zur Touristenattraktion.