Rímskokatolícky kostol zasvätený Nanebovzatej Panne Márii bol postavený na mieste pôvodného kostola s využitím jeho jednej časti v roku 1778 v klasicistickom štýle. Súčasnej podobe vďačí rekonštrukcii v roku 1927. Kostol je zároveň pútnickým miestom.

Obec patrí zrejme medzi prvé, ktoré mali kostol, o čom svedčí aj slovo Kostolná v názve jednej z častí obce Holice. Prvá listinná zmienka o Kostole sv. Petra a Pavla pochádza z roku 1253. Dvojvežový kostol v románskom štýle bol postavený v polovici 13. storočia zrejme na mieste predchádzajúceho kostola. Kostol si zachoval svoju pôvodnú románsku podobu aj počas gotickej prestavby.

Zoltán Jankó, spisovateľ a kultúrpolitik, sa narodil v obci Baka, kde trávil aj svoje detstvo. Jeho osobnosť nám pripomína pamätná tabuľa zhotovená v roku 2006 umiestnená v hale Obecného úradu.