Замок на цьому місці був зведений ще в XVI столітті та належав роду графів Тишкевичів, які володіли цими землями з XIV століття. У 1627 році Януш Тишкевич в честь свого чудесного порятунку з татарського полону подарував замок католицькому ордену Босих кармелітів і виділив кошти для розміщення в замку храму і монастиря. У 1634 році Босі кармеліти починають будівництво монастиря: зводять “дольний” (підземний) храм, келії, торгові склади, різні господарські приміщення і підсилюють оборонні стіни. В результаті монастир перетворюється в добре укріплену фортецю, оснащену гарматами та обнесену валом з підіймальним мостом. Всередині фортеці постійно знаходився гарнізон для захисту монастиря від нападів татар і козаків. У 1642 році монастир був урочисто відкритий. При висвітленні храму Януш Тишкевич подарував монахам чудотворну ікону Пресвятої Діви Марії, яка здавна зберігалася в його роду.
Незабаром, в 1648 році під час національно-визвольної війни українського народу проти польського панування війська Максима Кривоноса штурмом взяли фортецю і майже повністю її знищили. Кармелітам вдалося втекти з Бердичева, захопивши з собою чудотворну ікону. Лише після придушення народного повстання, кармеліти на початку XVIII століття повертаються у свою колишню обитель і починають відновлювати зруйновану фортецю-монастир. Роботи з відновлення фортеці починаються в 1717 році та оскільки час було неспокійний, особливу увагу ченці ордена приділяють укріпленням фортеці: відновлюють і підсилюють кріпосні стіни, всередині розміщується посилений гарнізон і потужна артилерія. Фортеця перетворюється в значне військове укріплення.
З 1739 по 1754 роки всередині фортеці ведеться будівництво великого надземного храму над старим дольним (підземним). На будівництво розкішного Маріїнського храму грошей не шкодують: запрошуються видатні німецькі та польські архітектори, які керують будівництвом, з Італії запрошують відомого художника Веніаміна Фредеріче для внутрішнього розпису святині. В результаті собор перетворюється в архітектурну перлину регіону. Тут же в 1756 році з небаченою в цих краях пишністю проходить коронація чудотворної ікони Пресвятої Діви Марії.
У 1758 році кармеліти привозять в фортецю-монастир друкарню, утворюючи тут один з головних центрів друкарства. За роки свого існування (з 1758 по 1844) друкарня надрукувала тисячі книг на латині, їдиш, польською, російською, німецькою та французькою мовами. Друкарня приносила величезний прибуток монастирю, дозволяючи безбідно існувати чернечому ордену і містити кілька католицьких шкіл в Бердичеві та сусідніх селах. Крім друкарні в монастирі перебувала багата бібліотека, що робило його великим культурно-просвітницьким центром в регіоні.
У XVII-XVIII століттях положення Польщі різко погіршується і з 1795 року Польща, як самостійна держава, припиняє своє існування. З цієї причини положення Босих кармелітів змінюється в гіршу сторону. За наказом російського царя в 1832 році закриваються кармелітські школи, а в 1844 році друкарню переводять в Житомир. У 1866 році російська влада ліквідувала монастир, конфіскувавши його приміщення для потреб державних установ. У фортеці розмістилася поліція, пожежники та військові, а частина будинків були передані місцевим купцям в якості складів для товарів. Крім фортеці були також конфісковані всі землі та підприємства кармелітів. Лише в 1904 році монахам повернули вежу-дзвіницю фортеці.
Російська влада не особливо піклувалася підтриманням фортеці-монастиря в належному стані та вже до початку XX століття стан головної міської пам’ятки сильно погіршився. Лише в період з 1909 по 1914 роки було проведено перший за багато десятиліть капітальний ремонт храму, але подальша громадянська війна обернулася для фортеці черговими руйнуваннями. У 1918 монастир знову повернули кармелітам, але він недовго пробув в їх володінні — лише до 1926 року.
У 1926 році в житті фортеці-монастиря розпочинається новий етап — вона була націоналізована радянською владою і в її приміщеннях створюється історичний музей. У 1928 році для того, щоб уникнути повного знищення комплексу фортечних будівель Рада Народних Комісарів УРСР оголосив колишній монастир Босих кармелітів Державним Історико-культурним заповідником. Храм при цьому залишили вірянам, але вже в 1931 році під надуманим приводом він був відібраний і в ньому розташувалося архівне управління та студентський гуртожиток, а в підземному храмі розмістили атеїстичний кінотеатр, в якому демонструвалися антирелігійні, наукові та дитячі фільми. Основна робота історико-культурного заповідника була також направлена на антирелігійну діяльність. Екскурсії проводилися чотирма мовами: російській, українській, польською та єврейською.
У перші дні окупації Бердичева німецькими загарбниками почалося розграбування музею і велика частина музейних експонатів і коштовностей була вивезена в Німеччину або знищена пожежею, що стався в храмі в липні 1941-го. Зникла в тому числі головна монастирська святиня — ікона Пресвятої Діви Марії. Чи згоріла вона у вогні пожежі, або була викрадена і вивезена німцями — досі невідомо. Коли в 1941 році німці увійшли до Бердичева, почалося масове знищення єврейського населення. Одне з місць масових розстрілів знаходилося на території фортеці, де протягом року було знищено близько тисячі євреїв. Під час боїв за визволення Бердичева в 1944 році фортеця-монастир була практично повністю знищена, а храм був зруйнований на 40%.
