Ужо на пачатку XVII ст. мясцовая каталіцкая святыня, хутчэй за ўсё капліца, адзначалася як старажытная і «невядома кім і калі фундаваная». Касцёл жа на яе месцы быў пабудаваны па фундацыі караля Жыгімонта III Вазы ў 1609 годзе і асвечаны пад тытулам св. Юды Тадэвуша. Спачатку святыня атрымала статус філіі, але па просьбе віленскага біскупа Бенедыкта Войны кароль залічыў касцёл да парафіяльных.
У 1777 годзе князь Францішак Ксаверый Агінскі, уладальнік Прывалкі, аднавіў стары драўляны касцёл. Трохі пазней, у выніку страты сродкаў для існавання, парафія была ператворана ў самастойную капеланію, якую абслугоўвалі святары з закону кармелітаў з Вільні.
У 1866 за ўдзел у паўстанні 1863 года парафія была ліквідавана. У гонар ахвяр на Святой гары быў усталяваны высокі крыж (не захаваўся). У 1869 касцёл разам з парафіяльнымі будынкамі і зямлёю быў перададзены ва ўладанне праваслаўнай царкве.
У 1918-19 гадах мясцовыя католікі пабудавалі новы драўляны касцёл у неагатычным стылі і 16 ліпеня 1920 года святыня была асвечана ксяндзом Францішкам Бернатам пад тытулам Найсвяцейшай Панны Марыі Кармельскай (Шкаплернай) і свв. Сымона і Тадэвуша.
У 1990 годзе касцёл быў вернуты парафіянам, якія яго адрэстаўрыравалі. 29 кастрычніка 1994 года, на свята заступніка касцёла, святыню асвяцілі пад тытулам св. Юды Тадэвуша. У бутавы падмурак апсіды святыні быў пакладзены млынарны жэрнаў, а пры ўваходзе ўсталяваны два якары.