Синагогу в Казимеж-Дольны основали в восемнадцатом столетии. Ее построили из местного известняка, это здание имеет форму прямоугольника 14,8 метров на 16,9 метров, стиль — позднего барокко. В юго-западной части находился основной зал для молитв, а в северной части женская галерея. Интерьер украшен полихромной потолочной, а также настенной лепниной.
Еще до того, как началась Вторая мировая война в районе синагоги находился еврейский квартал, его жители составляли практически пятьдесят процентов населения города. Еврейский квартал буквально стерли с лица земли в 1942 году, когда была ликвидация гетто. В 1944 году в период военных действий, нацисты полностью разгромили синагогу. После Второй мировой войны на этом месте остались одни руины.
В 1953 году здание синагоги перестроили и полностью отремонтировали, после этого тут открыли кинотеатр, который назывался «Висла». Кинозал работал вплоть до 2003 года, после чего его закрыли. Нынешний владелец синагоги — это еврейская община из Варшавы, сдает в аренду часть помещений. Главный зал до сих пор остается пустым, а в некоторых комнатах находится библиотека публикаций на еврейскую тематику. Летом в главном зале проходят концерты, выставки, а также показы новых фильмов.
Из первоначального интерьера до сегодняшнего дня частично остался в сохранности сводчатый вестибюль. На стенах синагоги находится мемориальная доска, на которой написано: «В память о трех тысячах польских граждан еврейской национальности, бывших жителях Казимеж-Дольны, которые были убиты нацистами во время Второй мировой войны».
Многие знают историю о том, что синагогу построил король Казимир Великий в качестве подарка для своей любимой Эстер. Также поговаривали, что камни для строительства синагоги привезены прямо из Иерусалима.