Petzet wuchs in einem aufgeklärten bürgerlichen Milieu auf. Nach dem Abitur am Humanistischen Gymnasium in München-Pasing 1952 studierte er Kunstgeschichte und Archäologie an der Universität München. Sein Studium schloss er als Stipendiat der Studienstiftung des Deutschen Volkes – mit einem Studienaufenthalt in Paris – 1958 mit einer Promotion zum Dr. phil. bei Hans Sedlmayr (1896–1984) ab. Diese behandelte den 1790 fertiggestellten Neubau der Pariser Abteikirche Sainte-Geneviève, die in der Französischen Revolution zum Panthéon umgewidmet wurde.

Im selben Jahr als wissenschaftlicher Mitarbeiter am Bayerischen Landesamt für Denkmalpflege in München angestellt, erarbeitete Petzet in kurzer Folge vier Inventarbände zu Städten und Landkreisen in Bayerisch-Schwaben (1958-1964). 1965 wechselte er zur Bayerischen Verwaltung der staatlichen Schlösser, Gärten und Seen, wo er für die Betreuung der Königsschlösser Neuschwanstein, Linderhof und Herrenchiemsee sowie der Münchner Residenz und der Schlösser Nymphenburg und Schleißheim zuständig war. In diesen Jahren entstanden – z. T. in Zusammenarbeit mit seiner Frau Detta (1933–2012) – zahlreiche Veröffentlichungen, die, in Verbindung mit der 1968 von Petzet konzipierten Ausstellung „König Ludwig II. und die Kunst“, nicht nur eine Neubewertung der von Ludwig II. geplanten und realisierten Bauprojekte und ihrer Raumausstattungen einleiteten, sondern auch zum Ausgangspunkt einer neuen Sicht auf die Architektur und Kunst des Historismus wurden. In Zusammenarbeit mit Detta Petzet als studierter Kunsthistorikerin und Bühnenbildnerin entstanden in der Folge innovative, erlebnisorientierte Ausstellungen, die darauf setzten, die Besucher visuell und emotional einzubeziehen: Diese Form der Vermittlung über „Inszenierungen“ gehört seither zum Instrumentarium kulturhistorischer Ausstellungen.

Nach der zu den Olympischen Sommerspielen 1972 realisierten Großausstellung „Bayern – Kunst und Kultur“ wurde Petzet zum 1. Juli 1972 zum Leiter der Städtischen Galerie im Lenbachhaus berufen. Dort präsentierte er während seiner zweijährigen Amtszeit als Galeriedirektor 18 Ausstellungen, die neben den bisherigen Themenkreisen „Blauer Reiter“ und Expressionismus internationale Kunstrichtungen der Gegenwart einschlossen. Einzelausstellungen u. a. von George Segal (1924–2000), Günter Fruhtrunk (1923–1982), Shūsaku Arakawa (1936–2010), Nikolaus Lang (1941–2022), Cy Twombly (1928–2011), Piero Manzoni (1933–1963) und Gerhard Richter (geb. 1932). Themenausstellungen wie „Die Sammlung Herbig. Bilder, Objekte, Filme, Konzepte“, „Kinetische Objekte“ und „New York Dada. Duchamp, Man Ray, Picabia“ wurden Ausgangspunkt kontroverser Debatten und verschafften dem Lenbachhaus ein gesteigertes Interesse innerhalb der Münchner Kunst- und Kulturszene der frühen 1970er Jahre.

Das avantgardistische Programm der Städtischen Galerie und die damit einhergehende Polarisierung der öffentlichen Meinung wurden bei Petzets Bewerbung für das Amt des Generalkonservators des Bayerischen Landesamts für Denkmalpflege zum Prüfstein. Doch erfolgte mit maßgeblicher Unterstützung durch Kultusminister Hans Maier (geb. 1931) die Ernennung zum Leiter der staatlichen Denkmalpflege in Bayern zum 1. Juli 1974. Die Erfüllung von Petzets Auftrag als Generalkonservator war bestimmt von der Umsetzung der Aufgaben des zum 1.10.1973 in Kraft getretenen Bayerischen Denkmalschutzgesetzes. Die Erweiterung der Kriterien für den Zeugniswert von Denkmälern, die neben der künstlerischen und geschichtlichen die volkskundliche oder städtebauliche Bedeutung mit einbezogen, war Ausgangspunkt einer landesweiten wissenschaftlichen Inventarisation, die den Bestand der in die bayerische Denkmalliste aufgenommenen Bau- und Bodendenkmäler auf ca. 120 000 Denkmäler anwachsen ließ. Dieses Großprojekt erforderte einen Ausbau des Amtes mit Einrichtung regionaler Außenstellen und die Neuorganisation der Zusammenarbeit mit den Kommunalverwaltungen und den kirchlichen Institutionen, insbesondere mit den Unteren Denkmalschutzbehörden in Städten und Landkreisen. Parallel dazu erfolgten der Ausbau und die Qualifizierung der Restaurierungswerkstätten, orientiert an der Entwicklung von Kunsttechnologie und Konservierungswissenschaft, sowie der Aufbau eines naturwissenschaftlich arbeitenden Zentrallabors für Denkmalpflege. Gerade bei herausragenden Projekten wie der Restaurierung der Wallfahrtskirche Vierzehnheiligen bei Bad Staffelstein im Oberen Maintal (abgeschlossen 1990) und der Wieskirche bei Steingaden (abgeschlossen 1992) waren die Amtswerkstätten federführend beteiligt.

Unter Petzets Leitung erlangte das Bayerische Landesamt für Denkmalpflege eine Führungsposition unter den Denkmalämtern der deutschen Bundesländer. Als international geschätzter Experte – er sprach fließend Französisch und beherrschte auch die englische Fachsprache – initiierte Petzet Kooperationsprojekte mit europäischen Ländern sowie internationale Hilfsprojekte. So unterstützte das Bayerische Landesamt für Denkmalpflege im Kroatienkrieg seit 1992 den Aufbau einer zentralen Restaurierungswerkstätte mit Depot für die in den Kriegsgebieten geborgenen Kulturgüter in Schloss Batthyány in Ludbreg bei Varaždin (Kroatien). Ein weiteres Beispiel ist ein Kooperationsprojekt mit der Provinz Shaanxi zur Entwicklung von Methoden zur Analyse und Konservierung von Fassungsresten an den Figuren der Tonarmee in Xi’an (China).

Mit den Funktionen als Präsident des Deutschen Nationalkomitees des Internationalen Rats für Denkmalpflege ICOMOS (1998–2012) wie auch als Präsident von ICOMOS (1999–2008) wurde für Petzet nach dem Wechsel in den Ruhestand als bayerischer Generalkonservator 1999 das ehrenamtliche Engagement für den Schutz und die Pflege des Weltkulturerbes zur Schwerpunktaufgabe. Sein diplomatisches Geschick gab seinen Empfehlungen – auch bei den Verfahren zur Anerkennung als UNESCO-Weltkulturerbe – besonderes Gewicht. Hervorzuheben ist sein Einsatz für die Organisation der Bergung der Fragmente der von Taliban-Milizen zwischen 1998 und 2001 gesprengten Buddha-Statuen von Bamiyan (Afghanistan) mit einer begleitenden Dokumentation als Grundlage für eine eventuelle Anastylose. Zuletzt engagierte er sich auch für Umweltschutzbelange im Sinne eines integralen Verständnisses für den Schutz von Kultur- und Naturerbe.

Neben Petzets organisatorischen und kulturpolitischen Leistungen als Generalkonservator stehen gleichwertig seine wissenschaftlichen Beiträge zur Kunstgeschichte und Denkmalpflege. Sie reichen von seiner Auseinandersetzung mit der französischen Barockarchitektur über die Inventarbände zu Städten und Landkreisen im Allgäu bis zur Beschäftigung mit den theoretischen Grundlagen der Denkmalpflege. Die von Petzet als Generalkonservator vielfach persönlich initiierten und herausgegebenen Publikationen dokumentieren den inventarisierten Denkmälerbestand und die fachwissenschaftliche Tätigkeit des Amtes in Inventaren, Jahrbüchern, und Publikationsreihen. Dabei geht es nicht nur um Fachinformationen, sondern auch um die Vermittlung der Anliegen von Denkmalschutz und Denkmalpflege als gesellschaftliche Aufgabe: Beispielhaft steht dafür die Herausgabe der Reihe „Denkmäler in Bayern“ mit bebilderten Kurzinventaren der bayerischen Städte und Landkreise als Spiegel der bayerischen Denkmallandschaft. Zu Petzets wissenschaftlichen Leistungen gehört auch seine langjährige Lehrtätigkeit an der Universität Bamberg, an der Akademie der Bildenden Künste in München sowie am Lehrstuhl für Restaurierung, Kunsttechnologie und Konservierungswissenschaft der TU München.