A plébánia megalapítását 1777-ben, Szent József titulussal, Batthyány József hercegprímás rendelte el. Ekkor még domonkos és pálos szerzetesek miséztek a néhány száz, szétszórtan élő hívőnek a Rókus-, Kálvária- és Óhegyi-kápolnákban. Az új plébánia első temploma a mai helyén fából készült.
A kőtemplom építését 1797-ben kezdték meg Tallher József tervei alapján, és már 1798-ban használatba is vették. A tornyok 1810-ben készültek el. Kasselik Fidél 1814-ben, majd Barcza Elek 1891–95 között alakította át az eredetileg klasszicista stílusú templomot, amely a millennium idejére gazdag, neobarokk díszbe öltözve nyerte el mai, mintegy 900 m²-es formáját.
Az itt szolgáló plébánosok, káplánok és hívek első közös munkája a templomépítés volt, amelyet nagy próbatételként követett az 1838. évi nagy pesti árvíz. Sok lelkierő kellett az újjáépítéshez. 1846-ra már mintegy 20 000 főt számlált az itt élő háromnyelvű, békében összekovácsolódott közösség.
Az 1848-as szabadságharc és az azt követő politikai megtorlás nem kímélt sem civilt, sem papot, ám mindez nem tántorította el az itt élőket: a plébániai élet tovább virágzott. Lelkesedésük 1895-ben a templom felújítását eredményezte, és ekkor épült meg az új, ma is működő plébániaépület is.
A 19-20. század fordulójára a plébánia Európa egyik legnagyobb egyházközsége lett, amely 12 káplánnal látta el feladatát. Az I. világháború után a hitéletben a szociális segítő és karitatív csoportok létrejötte vált meghatározóvá.
Az 1945 utáni időkben a kommunista diktatúra nyílt, majd burkolt egyházüldözése alatt is élt a plébánia. Ide látogatott 1984-ben Roger Schütz, amikor még nem mondhatott beszédet (az állam nem engedte), de együtt imádkozott a józsefvárosiakkal. 1985-ben megtörtént a templombelső tatarozása és az új liturgikus tér kialakítása Sedlmayer János és felesége tervei alapján. A szembemiséző oltár és az ambó carrarai márványból készült, felszentelését Paskai László bíboros végezte 1988-ban. Kalkuttai Boldog Teréz Anya ide látogatott 1986-ban, pedig az állami hatóságok tagadták a szegénység létét. Második látogatásakor négy nővért hagyott itt, néhány évre rá pedig házat alapított a közeli Tömő utcában. A hajléktalanok lelki gondozása 15 év óta, a nekik szóló vasárnapi szentmisével történik plébániánkon.
Az 1989-es változás szelét érezve az újjáéledés egyik pilléreként itt indult meg a női szerzetesközösségek reorganizációja a Szociális Testvérek Társulata segítségével. Jean Varnier a Hit és Fény közösség alapítója a magyarországi csoportnak itt beszélt Isten atyai szeretetéről 1987-ben. Giovanni Salerno atya a Harmadik Világ Szegényeinek Szolgái mozgalom alapítója is többször látogatott el plébániánkra, és itt, az Őr utcában hozta létre első magyarországi központját.
Ugartörők voltak hitoktatóink is, amikor 1990-ben megkezdték az önkormányzati iskolákban és óvodákban a hitoktatást. Márkón (Veszprémi Érsekség) a józsefvárosi hívek sok munkával nyári hittantáborok és lelkigyakorlatok számára alkalmassá tették a plébánia épületet. Ezzel csaknem egy időben felvetődött a roma pasztoráció plébánia szintű kialakítása. Híveinkből alakult Egyesület felvállalta az ebben való segítést. Ezt a munkát a CCIT-vel (nemzetközi katolikus bizottság a cigányokért) szervezet irányelvei szerint végezzük. 1994-től önálló helyen működik az Itiner program (régebben a Korányi Sándor, jelenleg az Illés utcában), mely sokoldalúan segíti roma testvéreink beilleszkedését az Egyházba, társadalomba.
Szlovák szentmiséket tartunk minden hónap első vasárnapján a köztünk élő szlovák nemzetiségiek gyökereinek ápolására. A Budapesten tartózkodó csángók lelki gondozására minden hónapban román nyelvű szentmisének adott otthont templomunk. Újjászerveződött a karitatív tevékenység, Teréz Anya lelkisége és tanítása szerint. Ebbe a munkába bekapcsolódtak plébániánk híveiből alakult civil alapítványok is. A jobb kommunikáció érdekében 1996-ban újraindult az Egyházközségi Tudósító.
A templom az 1997. évi LIV. törvény alapján 15 618. törzsszám alatt II. kategóriába sorolt műemlék.
Plébániánk rendszeresen szervez nyári táborokat, melyekről a Táborok oldalon osztunk meg élménybeszámolókat.