Казловіцкі парафіяльны касцёл, як і многія святыні Беларусі, мае нялёгкую гісторыю.

Засценак Казловічы, як і суседні маёнтак Верцялішкі, у сярэдзіне XIX стагоддзя былі ва ўладанні двараніна, афіцэра царскай арміі Аляксандара Свечына. У 1843 годзе яго жонкай Аляксандрай са старажытнага нямецкага роду Біспінгаў быў куплены хутар Казловічы, далучаны да іх вялікага валодання ў Верцялішках.
    З канца XVIII стагоддзя ў Казловічах існавала невялікая драўляная грэка-каталіцкая царква. З інвентара апісання парафіян казловіцкай царквы за 1824 год вынікае, што да яе належалі 341 вернік з вёсак Табала і Сколабава і невялікая частка са шляхецкіх ваколіц Эйсманты, Аленічы і Казловічы. У захаваных метрыкальных кнігах можна знайсці запісы аб ваколічнай шляхце: Быльчынскіх, Чарняўскіх, Давідовічах, Эйсмантах, Гарбачэўскіх, Камінскіх, Кучынскіх, Мінючыцах, Станкевічах, Струпінскіх, Талочках і інш. Адсюль вынікае, што парафіяне дзяліліся на простых прыгонных сялян і мясцовую шляхту, частка якой яшчэ заставалася ўніяцкай, а часам была рымска-каталіцкай, але працягвала наведваць уніяцкую святыню. †

Пасля ліквідацыі уніі ў 1839 годзе новыя праваслаўныя вернікі былі далучаны да прыхода ў Верцялішках, а вернікі рымска-каталіцкага веравызнання – да парафіі ў Азёрах. Былая грэка-каталіцкая царква стала капліцай азёрскай парафіі. Каталічка Аляксандра Біспінг грунтоўна адрамантавала капліцу ў канцы 50-х гадоў ХІХ стагоддзя.
    Пасля паўстання 1863 года капліцу ў Казловічах перадалі праваслаўным. У 1915 годзе гэтыя землі былі заняты немцамі, і ў былой уніяцкай царкве пачалі спраўляць Імшы, а ў 1920 годзе вернікі і мясцовыя ўлады загаварылі аб афіцыйнай рэвіндыкацыі (вяртанні) святыні католікам. Гэтаму спрыялі і вернікі былой казловіцкай грэка-каталіцкай парафіі, якія складалі найбагацейшую частку ваколічнай шляхты і з якімі вымушаны быў лічыцца азёрскі пробашч кс. Куксевіч, якому спачатку не вельмі падабалася перспектыва выдзялення з Азёр новай парафіі. У 1920 годзе касцёл у Казловічах быў пераасвечаны пад падвойным тытулам – Унебаўзяцця Найсвяцейшай Панны Марыі і св. Андрэя Баболі, мучаніка. Адзін з бакавых алтароў касцёла прысвечаны пакутніцкай смерці гэтага святога, празванага за сваю місіянерскую дзейнасць Апосталам Палесся.
    Наступным крокам для жыхароў вёсак і ваколіц было атрыманне афіцыйнага дазволу аб адлучэнні ад парафіі ў Азёрах і стварэнні асобнай парафіі ў Казловічах. Кс. Куксевіч, між іншым, абслугоўваў капліцу ў Казловічах да лістапада 1923 года, пакуль не прыслалі новага святара – кс. Станіслава Хадыку.
    Згодна з актам аб заснаванні за подпісам арцыбіскупа Віленскага Юрыя Матулевіча ад 5 чэрвеня 1925 года, Казловічы станавіліся парафіяй Гродзенскага дэканата Віленскай архідыяцэзіі і мітраполіі. Да парафіі вярталіся мясцовасці з Азёрскай і гродзенскай пабернардынскай парафій: Казловічы, Галаўнічы, Эйсманты, Заполле, Аленічы, Калабышкі, Дамброва, Рыдзелі, Табала, Баркі, Пундзішкі, Пілюкі, Дворцы, Сколабава, станцыя Аўльс, Ракітна і Верцялішкі. Сваі душпастырскія паслугі пробашч кс. Хадыка выконваў у Казловічах да 1932 года, калі ў парафіі было 898 вернікаў, у тым ліку 648 прыступіўшых да споведзі.
    Апошнім пробашчам у Казловічах быў кс. Станіслаў Смялоўскі (ад 1948 да 1 снежня 1964 года). Пасля яго смерці камуністычныя улады ў 1969 годзе зачынілі касцёл і размясцілі ў ім склад збожжа. Было прынята рашэнне аб разборцы касцёла на дровы, пасля таго, як у ім правалілася падлога ад згружанага люпіну. Але да гэтага не дайшло дзякуючы вернікам. Адраджэнне касцёла пачалося ў 1989 годзе дзякуючы намаганням старшыні парафіяльнага камітэта вернікаў Грыгорыя Абуховіча. 16 мая 1990 года, на парафіяльнае свята св. Андрэя Баболі, адбылася першая св. Імша.
    З 1990 па 2006 год пробашчам парафіі з’яўляўся кс. канонік Анджэй Садоўскі. Сёння абавязкі пробашча ў Казловічах выконвае кс. Яўген Барысюк.
    Да святкавання 100-годдзя вяртання касцёла католікам пачаліся аднаўленчыя работы. Была адноўлена закрыстыя, усталяваны пластыкавыя вокны (у дапаўненне да старых). Работамі кіраваў старшыня парафіяльнага камітэта Я. Ждончык. У 2020 аднавілі галоўны алтар Маці Божай Чанстахоўскай: ніжняя яго частка была выраблена з дуба столярам І. Ткачом з Азёраў, а верхняя рэстаўравана М. Гаўраш з Гродна. Усё рабілася, каб захаваць гістарычнасць будынка.