Przedstawiciele emancypującej się inteligencji żydowskiej już od końca lat 50-tych XIX wieku widzieli potrzebę budowy nowej synagogi reformowanej w Warszawie. Ludwik Natanson przedłożył gminie taki plan już w 1859 roku. Istniejąca wówczas synagoga przy Daniłowiczowskiej była za mała, a bliskość budynków fabrycznych, zdaniem środowiska asymilujących się Żydów, nie była jej godnym otoczeniem. Jednak z powodów tak finansowych jak i politycznych (po powstaniu styczniowym warunki do budowy nowej synagogi nie były sprzyjające) plan został odłożony na kilkanaście lat.

W końcu w 1872 roku ogłoszono konkurs na projekt architektoniczny nowej synagogi, który miał zakładać miejsce dla około 3000 mężczyzn na parterze i dla kobiet na galeriach, salę seminaryjną, przedsionek, „estradę” na której miała być umieszczona arka i boczne pomieszczenia. Rok później w Zachęcie wywieszono sześć propozycji. Mimo wyłonienia laureatów w maju 1873 roku żaden z planów nie został zrealizowany i rozpisano kolejny konkurs. W listopadzie 1874 roku przyjęto projekt Leandra Marconiego, zakładający miejsca dla 2200 osób i kosztujący 165 000 rubli, a dwa lata później wmurowano kamień węgielny pod budowę synagogi przy ul. Tłomackie[1]. Powodem tak dużych opóźnień był nikły odzew członków gminy na apele o datki na budowę. Ostatecznie 26 września 1878 roku Wielka Synagoga została uroczyście otwarta. Mowę inauguracyjną wygłosił po polsku rabin Izaak Cylkow[2]. W 1909 roku urządzono przed świątynią niewielki skwer otoczony płotem.

Mimo że Wielka Synagoga imponowała rozmiarem i rozmachem, z jakim urządzono wnętrza, była krytykowana i bojkotowana przez środowiska chasydzkie i ortodoksyjne. Nabożeństwa odprawiano w języku polskim. Odbywały się w niej nie tylko nabożeństwa czysto religijne, ale również nabożeństwa z okazji odzyskania niepodległości przez Polskę, uchwalenia Konstytucji 3 Maja, rozpoczęcia roku szkolnego czy nabożeństwo żałobne w dniu śmierci Józefa Piłsudskiego. Synagoga była kojarzona ze światowej sławy chórem, który śpiewał przy akompaniamencie organów i innych instrumentów muzycznych, co nie było popularne w inne synagogach. W piątki po zmierzchu, gdy odbywało się nabożeństwo, do świątyni mogli także przyjść chrześcijanie, aby posłuchać występu zespołu. Śmiano się z eleganckich panów w cylindrach, którzy w szabat zajeżdżali na skwer przed świątynią dorożkami lub samochodami. Synagoga na Tłomackiem służyła więc tylko zwolennikom judaizmu reformowanego.

Po wybuchu II wojny światowej hitlerowcy rozpoczęli dewastację synagogi. Jednak 20 maja 1941 zezwolili na jej otwarcie i odprawienie (31 maja) pierwszego nabożeństwa. W marcu 1942 roku synagogę powtórnie zamknięto i stworzono z niej magazyn na zrabowane Żydom mienie. 16 maja 1943 o 20.15 na polecenie Jürgena Stroopa synagoga została wysadzona w powietrze. To był symboliczny koniec dzielnicy żydowskiej. Do dzisiaj ocalał tylko budynek Biblioteki Judaistycznej, w którym obecnie mieści się Żydowski Instytut Historyczny. W miejscu synagogi stoi dziś „Błękitny wieżowiec”.