1840. február 18-án, Vácott látta meg a napvilágot a nagy tiszteletnek örvendő Holdházy János győri kanonok, főesperes, választott püspök – róla ír Hegedüs Péter.

Édesapja a győri püspökségnél vállalt uradalmi tiszti állást. Talán ez indította el fiát a papi pályán. Tanulmányait Pápán kezdte, majd a győri bencéseknél folytatta. Később teológia szakon végzett az egyetemen.

1862-ben szentelték pappá, majd győr-belvárosi káplánként kezdte meg pályáját. A következő esztendőben Simor János győri püspök magához vette, és szerpapi tisztségben alkalmazta. Többek között ő járt közben Ferenc József császárnál az 1849-ben beszüntetett győri jogakadémia visszaállítása ügyében. Holdházy szerkesztette meg az emlékiratot, melyben kimutatta a győri püspökök alapítványait a jogakadémia létesítésére, amelyek rendeltetésükhöz képest csak erre a célra fordíthatók. Lépéseit siker koronázta, és 1867-ben báró Eötvös József közoktatásügyi miniszter visszaállította a nagyhírű intézmény oktatási jogait.

Simor utódja, Zalka János a titkárává, később pedig a papnevelde igazgatójává nevezte ki Holdházyt. 1877 novemberében a neves régész, Rómer Flóris javaslatára meghívták József Károly Lajos főherceg fiainak nevelőjévé. Ezt a feladatát 15 éven keresztül látta el lelkiismeretesen. Mindeközben XIII. Leó pápa titkos kamarásai közé iktatta, 1892-ben pedig választott püspökké nevezte ki. Az uralkodó a harmadosztályú Vaskorona-renddel tüntette ki őt.

Holdházy egész életében az emberbaráti szeretet és jótékonykodás vezette útján. Az újonnan épülő győri kórház javára például óriási összeget: 1000 Ft-ot adományozott. Egy alkalommal pedig szó szerint is életet mentett. Amikor egy paptársával kocsin tett kirándulást a hegyekben, útjuk egy megáradt patak mellett vezetett. Egyszerre csak egy vadul száguldó lovaskocsit vettek észre maguk előtt, amelynek ülésén egy magányos hölgy kiáltozott segítségért. A kocsis még korábban leesett a bakról. A jármű hirtelen egy szirtnek ütközött, és darabokra törött, a hölgy pedig a hegyi patakba zuhan. Holdázyék azonnal a segítségére siettek, és a jéghideg vízbe gázolva, kimentették a szerencsétlent. Ezután saját felöltőikbe burkolva szállították be a legközelebbi kórházba.

Élete végén a választott püspöknek egy, a foggyökér gyulladásából kialakult rosszindulatú daganat keserítette meg a mindennapjait, de ő ezt is alázattal tűrte. Bécsben megoperálták ugyan, végül azonban hosszú szenvedés után megtért az istenéhez. Végrendeletében könyvtárát és vagyonát a Győr egyházmegyei könyvtárra hagyta.