La confraternita di San Giuseppe ebbe origine nei primi anni del 1500 per opera del francescano padre Gerolamo Recalchi da Verona. I primi fedeli si incontravano in un locale dell’Oratorio di San Giovanni. Sentita l’esigenza di avere una propria sede, e di maggior capienza, fondarono, con licenza del Vescovo Giampietro Arrivabene, l’attuale edificio iniziato nel 1503 ed ultimato nel 1515 con sovvenzioni del Duca Guidubaldo e della Duchessa Elisabetta Gonzaga.
L’Oratorio venne poi riedificato tra il 1682 il 1689 a spese di Orazio Albani, per ovviare la forte umidità che, compromettendo l’altare, costrinse la Compagnia a trasferirlo sul lato opposto, nel luogo dell’originario ingresso. Nella guida stilata da Clemente XI compare la notizia che la Confraternita di San Giuseppe era aggregata a quella di San Giovanni Decollato di Roma. Gli statuti di questa Confraternita vennero stilati nel 1503 e rifatti nel 1553, con approvazione del vescovo Mons. Felice Tiranni.
Particolarmente legati a questa Confraternita, oltre a celebri artisti ed illustri personaggi, furono i componenti della famiglia Albani; tra questi ricordiamo il Papa Clemente XI e il cardinale Annibale. A quest’ ultimo si devono infatti i preziosi doni che arricchiscono tutt’ora l’Oratorio. Saliti i gradini d’ingresso, a destra si entra nella cappellina del Presepe realizzato dal Brandani tra il 1545-50. L’ambiente rettangolare è rivestito di pietra pomice e tufo il cui effetto scenico ricrea l’ambientazione di una grotta.
Nella rappresentazione, sotto una semplice capanna, la Vergine partecipa all’adorazione dei pastori, mostrando nel gesto delle mani il suo stupore, mentre il bue e l’asinello, magistralmente modellati, riscaldano Gesù Bambino. Seduto a terra, con una plastica naturalezza e leggermente in disparte, sta San Giuseppe assorto in profonda meditazione. Sopra la porta della cappella è collocato un bassorilievo del toscano Domenico Rosselli rappresentante la Madonna col Bambino.
La chiesa vera e propria, ad aula unica e di modesta altezza, è decorata fastosamente nelle pareti, nella volta e nel catino absidale, da Carlo Roncalli, autore anche delle quattro tele che rappresentano scene legate alla vita del Santo titolare: la Nascita del Redentore, lo Sposalizio, la Fuga in Egitto, e il Transito. Anche l’altare maggiore, consacrato nel 1729, realizzato in marmi pregevoli, è dono del cardinale Annibale Albani. Nel 1723 lo stesso cardinale mandò a Roma l’edicola con colonne di porfido e la maestosa statua di San Giuseppe, scolpita in marmo bianco dal comasco Giuseppe Lironi, cosi come pure il monumentale organo (opera di Sebastiano Vici) del 1782, utilizzato frequentemente per elevati concerti.
A destra dell’altare è appesa una Madonna col Bambino dipinta da Maurizio Sparagnini. Nella sagrestia si ammira un armadio in legno dipinto con vedute paesaggistiche di Alessio De Marchis, splendido esempio di mobile marchigiano.