Połusze szczyci się zabytkowym kościołem pod wezwaniem świętego Józefa. Kościół i dzwonnicę zbudowano w XVIII wieku. Jest to najstarszy drewniany kościół na Litwie. Wnętrze kościoła ozdobiono cennymi dziełami sztuki ludowej.
Organistą tu pracował ojciec Mikasa i Kiprasa Petrauskasa.
Kościół wraz z dzwonnicą przedstawiony był na banknocie jednolitowym.
