Ceniony liturgista umieścił w swoim herbie biskupim łacińską sentencję ad mysterium ministrandum (tłumaczoną „do posługi misterium”) i krzyż, na którym Chrystus dokonał dzieła odkupienia, stanowiącego centrum historii zbawienia. Spod krzyża jak ze źródła wypływa siedem źródeł, czyli sakramentów.

– Liturgia czasem niepotrzebnie nam powszednieje. Przecież Kościół rozpoznawany jest właśnie po tym, że jest to wspólnota ludzi modlących się, ecclesia orans. Tego chciałbym pilnować jako biskup – mówi bp Józef Górzyński. – Uobecniana w liturgii Chrystusowa ofiara krzyża „jest szczytem, do którego zmierza działalność Kościoła i zarazem jest źródłem, z którego wypływa cała jego moc”. W ten sposób przez apostolską posługę Kościoła, przez biskupów, Chrystus włącza w swoje misterium, czyli obdarza swoim nowym życiem, którego znakiem jest liczba 8, wyrażona ośmioma gwiazdami wskazującymi na niebo – opisuje swój herb nowy biskup pomocniczy archidiecezji warszawskiej.