Nach dem Abitur in Cham (Oberpfalz) studierte Frey seit November 1951 Rechts- und Staatswissenschaften in München und wechselte im Sommer 1956 nach Graz, wo er 1960 bei dem späteren Präsidenten des österreichischen Verfassungsgerichtshofs, Erwin Melichar (1913–2000), zum Dr. rer. pol. promoviert wurde. Von Haus aus wohlhabend, nutzte Frey 1958 seinen Anteil am Familienerbe zum Aufbau des Deutschen Allgemeinen Verlags (seit 1968 Druckschriften- und Zeitungsverlags GmbH, DSZ-Verlag).

1958 übernahm Frey die wirtschaftlich angeschlagene „Deutsche Soldaten-Zeitung“ zur Hälfte, 1960 vollständig. Unter dem Namen „Deutsche National-Zeitung“ (DNZ) baute er das Blatt seit 1963 zum rechtsradikalen Leitorgan der Bundesrepublik mit einer Auflage von über 100 000 Exemplaren bis Anfang der 1980er Jahre aus. Viele Artikel schrieb er selbst, meist ohne seinen Namen zu nennen. Frey erwarb mehrere Zeitungen, darunter die „Deutsche Wochen-Zeitung“, die 1999 mit der DNZ zur „National-Zeitung“ (NZ) verschmolz. Die Zeitungen propagierten eine Politik der nationalen Größe, polemisierten scharf gegen etablierte Parteien und positionierten sich geschichtsrevisionistisch. Ende der 1990er Jahre betrug die Auflage noch rund 50 000 Exemplare. 2019 wurde die NZ eingestellt und im Herbst 2020 der DSZ-Verlag liquidiert.

Zur Bundestagswahl 1969 bemühte sich Frey erfolglos um eine Kandidatur für die Nationaldemokratische Partei Deutschlands (NPD). Als sich nach seinem Parteieintritt 1975 seine Hoffnung zerschlug, Teil des Bundesvorstands zu werden, verließ er 1979 die NPD und konzentrierte sein politisches Engagement auf den 1971 von ihm gegründeten Verein Deutsche Volksunion (DVU). Dieser avancierte zu einem überparteilichen Sammelbecken der radikalen Rechten in Konkurrenz zur NPD, was strategische Bündnisse jedoch nicht ausschloss.

Ab Ende der 1960er Jahre trat Frey als scharfer Kritiker der neuen Ostpolitik Willy Brandts (1913–1992) und Egon Bahrs (1922–2015) hervor. Kampagnen zur Rehabilitierung deutscher „Kriegshelden“, bei denen u. a. mit dem Kampfpiloten Hans-Ulrich Rudel (1916–1982) geworben wurde, verschafften ihm und der DVU zusätzlich Aufmerksamkeit. Wiederholte Ausfälle gegen die westdeutsche Erinnerungskultur und Repräsentanten der Bundesrepublik brachten Frey mehrere hundert Strafanträge ein. Rechtskräftig verurteilt wurde er nicht. Den 1969 vom Bundesminister des Innern, Ernst Benda (1925–2009), unternommenen Versuch, Frey die Grundrechte zu entziehen, wies das Bundesverfassungsgericht 1974 mit der Begründung zurück, es sei nicht ausreichend deutlich gemacht geworden, warum Frey eine reale Gefahr für die Bundesrepublik darstelle.

1987 gründete Frey die DVU als Partei und war bis 2009 deren Bundesvorsitzender. Diesen Schritt begründete er damit, dass die von Bundeskanzler Helmut Kohl (1930–2017) angekündigte „geistig-moralische Wende“ in der Bundesrepublik ausgeblieben sei. Frey trat 1989 als Spitzenkandidat der DVU zur Europawahl an, erreichte aber nur 1,6 % der Stimmen. Seit Beginn der 1990er Jahre gelangen der DVU mit ausländerfeindlichen, nationalistischen und EU-feindlichen Positionen Achtungserfolge, etwa bei der Bürgerschaftswahl in Bremen (1991) und der Landtagswahl in Schleswig-Holstein (1992). Zwar büßte die DVU in Norddeutschland rasch an Zustimmung ein, erzielte in Ostdeutschland jedoch beachtliche Erfolge. Ihr bestes Ergebnis erzielte sie 1998 bei der Landtagswahl in Sachsen-Anhalt mit 12,9 %.

Frey führte die DVU mit autoritärer Hand. Kritikern galt sie als Phantompartei, da sie vor Ort kaum Aktivität entfaltete. Die von ihm im Zuge des Partei-Niedergangs befürwortete Fusion der DVU und NPD wurde im Juli 2010 per Urabstimmung bestätigt. Obwohl in der Szene aufgrund seines geschäftlichen Hintergrunds umstritten, war Frey ein zentraler Protagonist der bundesdeutschen Rechten nach 1945. Öffentliches Aufsehen erregte die 1993 von ihm enthüllte Kooperation der DVU mit dem Staatsrechtler und CSU-Politiker Theodor Maunz (1901–1993), der anonym für die DNZ geschrieben und die DVU juristisch beraten hatte.

Frey knüpfte internationale Kontakte u. a. zu dem britischen Historiker und Holocaust-Leugner David Irving (geb. 1938), dem Vorsitzenden der Liberaldemokratischen Partei in Russland, Wladimir Schirinowski (geb. 1946), und zu Jean-Marie Le Pen (geb. 1928) vom französischen Front National. Gleichwohl entfaltete er im eigenen Lager keine integrierende Wirkung. Einer seiner prominenten Kritiker aus dem rechten Lager war der Vorsitzende der Freiheitlichen Partei Österreichs, Jörg Haider (1950–2008), der ihm im April 1994 öffentlich politischen Egoismus vorwarf. Freundschaftliche Beziehungen entwickelten sich hingegen zu Freys ehemaligen Konkurrenten Franz Schönhuber (1923–2005), dem Vorsitzenden der Republikaner. Ein an die Presse durchgegebener „Meinungsaustausch“ über die Zusammenarbeit von DVU und REP trug 1994 zum Sturz Schönhubers bei.

Zu den von Frey zeitweise protegierten Akteuren der radikalen Rechten zählen der Publizist und Politiker Harald Neubauer (1951–2021) sowie Karl-Heinz Hoffmann (geb. 1937), 1973 Gründer einer nach ihm benannten Wehrsportgruppe.