Nach dem Abitur in Wiesbaden 1908 studierte Gerlach Philosophie und Mathematik an der Universität Tübingen und wurde Mitglied im Corps Borussia Tübingen (1954 Austritt). Der Philosoph Erich Adickes (1866–1928) riet ihm, auch Physik zu studieren. Nach dem Besuch einer Vorlesung und eines Praktikums bei dem Physiker Friedrich Paschen (1865–1947) wechselte Gerlach 1909 von der Philosophie zur Physik, wurde 1911 Paschens Assistent und 1912 bei diesem zum Dr. rer. nat. promoviert. 1916 habilitierte er sich für Physik. In beiden Qualifikationsschriften überprüfte Gerlach die Messwerte anderer Experimentatoren der Stefan-Boltzmann-Konstante und entwickelte eine eigene Messmethode, doch wurde trotz jahrelanger Versuche keine Vereinbarkeit der Messwerte erreicht. Daneben beschäftigte er sich – dank der Offenheit am Institut Paschens – mit anderen Gebieten, wie Magnetismus, Röntgenstrahlen, Strahlungsdruck, Spektroskopie, und experimentierte lange vor Otto Stern (1888–1969) mit Atomstrahlen.

Von 1915 bis 1918 leistete Gerlach – mit Unterbrechungen wegen Krankheit – Kriegsdienst. Er war meist bei technischen Einheiten, die sich mit der Entwicklung von Nachrichtengeräten auf der Basis der neuen Elektronenröhren befassten, so z. B. bei der Technischen Abteilung der Funkertruppen unter Leitung von Max Wien (1866–1938), wo er u. a. mit den Physikern Gustav Hertz (1887–1975), Wilhelm Westphal (1882–1978), Max Born (1882–1970), James Franck (1882–1964) und Peter Debye (1884–1966) in Kontakt kam. Nach der Entlassung aus dem Militär 1919 übernahm Gerlach die Leitung des Physikalischen Labors der Farbenfabriken vorm. Friedr. Bayer & Co. in Elberfeld (heute: Wuppertal).

1920 wechselte Gerlach als außerordentlicher Professor und Assistent des Experimentalphysikers Richard Wachsmuth (1868–1941) an die Universität Frankfurt am Main. Stern, Assistent des Frankfurter Theoretischen Physikers Born, überredete Gerlach zur Durchführung gemeinsamer Experimente, um die 1916 von Arnold Sommerfeld (1868–1951) und Debye verkündete Richtungsquantelung der Atome auf ihre Existenz zu überprüfen. Die im Sommer 1921 begonnenen Experimente führte Gerlach nach Sterns Weggang nach Rostock im Oktober 1921 fast allein zu Ende. Im Februar 1922 gelang ihm der Nachweis der Richtungsquantelung. Die vollständige und richtige Interpretation des Versuchs, der als Stern-Gerlach-Experiment in die Geschichte der Physik einging, gelang erst in den darauffolgenden Jahren mithilfe des Elektronenspins und der relativistischen Quantentheorie. Gerlach setzte die Untersuchungen zur Richtungsquantelung mit anderen Atomsorten fort und befasste sich bald wieder verstärkt mit der Spektralanalyse und dem Strahlungsdruck. 1923 gelang ihm mit Alice Golsen (geb. 1889) erstmals die Messung des reinen Strahlungsdrucks. 1925 übernahm er Paschens Ordinariat für Experimentalphysik an der Universität Tübingen, wo er neben der Spektralanalyse zum Ferromagnetismus arbeitete.

1929 folgte Gerlach einem Ruf auf den Lehrstuhl für Experimentalphysik an die Universität München. Er führte seine spektralanalytischen und magnetischen Untersuchungen fort, die er zunehmend auf Anwendungen in der Metallkunde ausweitete. Wegen seiner Proteste gegen Aktivitäten der nationalsozialistischen Studentenschaft und die Bücherverbrennung (10.5.1933) sowie einer angeblichen Sabotage des Rundfunkempfangs am „Tag von Potsdam“ (21.3.1933) wurde er im Wintersemester 1933/34 mit einem Vorlesungs- und Prüfungsverbot belegt. Im November 1939 wurde er in die „Arbeitsgemeinschaft Cornelius“ berufen, die sich mit der Entmagnetisierung von Schiffen und Torpedos sowie mit der Entwicklung von Magnetzündern beschäftigte und zum Oktober 1943 wieder aufgelöst wurde. Obwohl er den Krieg für verloren hielt, übernahm Gerlach Ende 1943 nach Beratung mit Otto Hahn (1879–1968) und Werner Heisenberg (1901–1976) die Leitung der Fachsparte Physik im Reichsforschungsrat und wurde Bevollmächtigter für Kernphysik und damit Leiter des „Uranprojekts“. Er suchte erfolgreich die physikalische Forschung in Deutschland über die restliche Zeit des Kriegs zu erhalten und Physiker von der Front zu holen. Außerdem setzte er sich mit Erfolg für den Schutz jüdischer Kollegen vor Verfolgung durch NS-Behörden ein und ermöglichte seiner jüdischen Studentin Gertrude Scharff (1911–1998) noch 1935 die Promotion. Er gehörte weder der NSDAP noch anderen NS-Organisationen an. Seine Rolle in den Ämtern des Reichsforschungsrats ist jedoch bis heute nicht vollständig geklärt.

Nach Ende des Zweiten Weltkriegs wurde Gerlach mit neun anderen Wissenschaftlern im Rahmen der „Operation Epsilon“ bis Januar 1946 auf dem Landsitz Farm Hall (England) interniert und bis einschließlich März 1948 in der britischen Besatzungszone festgehalten, wo er die Vertretung des Lehrstuhlinhabers Christian Füchtbauer (1877–1959) für Experimentalphysik an der Universität Bonn übernahm. Anschließend kehrte er auf seinen Lehrstuhl zurück und beteiligte sich als Rektor von 1948 bis 1951 an der Wiedererrichtung der Universität München. Zugleich wirkte er am Aufbau der Studienstiftung des Deutschen Volkes, der Max-Planck-Gesellschaft und der Physikalisch-Technischen Bundesanstalt mit und war von 1949 bis 1951 Gründungspräsident der Fraunhofer-Gesellschaft. Gerlach gehörte zu den „Göttinger Achtzehn“, einer Gruppe angesehener bundesdeutscher Atomforscher, die sich im April 1957 mit einem Manifest erfolgreich gegen die Aufrüstung der Bundeswehr mit Atomwaffen wandte und für eine friedliche Nutzung der Kernenergie eintrat. Gerlachs Veröffentlichungen nach dem Krieg haben auch Kernkraftwerke sowie künstliche und natürliche Radioaktivität und deren Auswirkungen zum Gegenstand. Ebenso galt sein Interesse der Anwendung der Physik in Technik, Chemie und Medizin, wozu er wertvolle Beiträge verfasste. Nach seiner Emeritierung 1957 widmete er sich verstärkt der Geschichte der Naturwissenschaft – hier v. a. dem Werk Johannes Keplers (1571–1630) – und bemühte sich in Vorträgen und Rundfunkbeiträgen um die Popularisierung der Naturwissenschaft, die er als festen Bestandteil einer humanistischen Bildung verstand, u. a. auch als Autor der Neuen Deutschen Biographie.

Als exzellenter Experimentalphysiker lieferte Gerlach mit seinen Präzisionsmessungen Belege für die Gültigkeit der Quantenphysik. Seine Ergebnisse der Magnetismusforschung hatten Einfluss auf die Metallphysik und industrielle Anwendungen und seine Mitwirkung in Wissenschaftsorganisationen, seine Beiträge zur Wissenschaftsgeschichte und zur Popularisierung der Physik waren von großer Bedeutung.

Neben Scharff waren u. a. Hermann Auer (1902–1997), Max Auwärter (1908–1995), Heinz Bittel (1910–1980), Josef Brandmüller (1921–1996), Friedrich Fraunberger (1912–1996), Ernst Hofmeister (1922–2022), Eugen Kappler (1905–1977), Walter Rollwagen (1909–1993), Friedrich Wilhelm Schütz (1900–1972), Eugen Schweitzer (gest. 1934) und Klaus Stierstadt (geb. 1930) seine Schüler.