Mikor Mária Terézia meglátogatta Esterházy Miklóst kastélyában Eszterházán, a herceg igazi fejedelmi fénnyel fogadta. Az épp leégett épületszárny viszont megnehezítette a herceg dolgát.
A palotát egy hatalmas teremmel toldotta meg, hogy ott rendezzék az ünnepeket, de ez az épületszárny még a királynő érkezése előtt leégett. Ekkor a herceg hirtelen egy kis kastélyt építtetett a felséges asszony számára a parkban, a remek palotácskában folytak a kerti mulatságok.
Egy ilyen mulatság után Mária Terézia megkérdezte a hercegtől, mibe került ez a gyönyörű kis kastély?
– Nyolcvanezer forintba.
– O, das ist für einen Fürsten Esterhazy eine Bagatelle! (Oh! Ez egy Esterházy hercegnek semmiség!)
Alig fordultak egyet, már arany betűkkel ragyogott a kastély kapuja fölött e szó: Bagatelle. Attól fogva ez volt a pompás épület neve.