Bermann Fischer wuchs in einem jüdischen und nationalpatriotisch orientierten Elternhaus in Gleiwitz (Oberschlesien, heute Gliwice, Polen) auf, wo er im Juni 1915 am humanistischen Gymnasium das Notabitur erhielt und sich danach freiwillig zum Kriegsdienst meldete. Bis November 1918 an der Westfront eingesetzt, studierte er nach Kriegsende seit 1919 Medizin in Breslau (Schlesien, heute Wrocław, Polen), Freiburg im Breisgau und München. 1922 wurde Bermann Fischer, der während seiner Studienzeit mit antijüdischen Ressentiments konfrontiert worden war, an der Münchner Chirurgischen Universitätsklinik bei Ferdinand Sauerbruch (1875–1951) zum Dr. med. promoviert. Nach kurzer Tätigkeit an der Klinik übersiedelte Bermann Fischer 1923 nach Berlin und trat eine Stelle als Assistenzarzt an der Chirurgischen Abteilung des Städtischen Krankenhauses im Friedrichshain an.

1925 lernte Bermann Fischer Brigitte Fischer (1905–1991), eine Tochter des Gründers des S. Fischer Verlags, Samuel Fischer (1859–1934), kennen und trat im Herbst desselben Jahres als dessen designierter Nachfolger in den Verlag ein. Um den Verlagsnamen zu erhalten, nahm das Ehepaar nach der Hochzeit 1926 den Namen Bermann-Fischer an (der Bindestrich entfiel 1947 beim Erwerb der US-amerikanischen Staatsbürgerschaft). Unter dem Mentorat seines Schwiegervaters und v. a. des Cheflektors Oskar Loerke (1884–1941) arbeitete sich Bermann Fischer in die verlegerische Tätigkeit ein und stieg 1928 zum Geschäftsführer des S. Fischer Verlags auf. Er gewann neue jüngere Autoren für den Verlag, u. a. Manfred Hausmann (1898–1986), Hans Keilson (1909–2011), August Scholtis (1901–1969) und später Carl Zuckmayer (1896–1977). Zudem überzeugte er ältere Autoren, dem Haus die Treue zu halten, darunter Gerhart Hauptmann (1862–1946), Thomas Mann (1875–1955) und Alfred Döblin (1878–1957), der sich mit Samuel Fischer überworfen hatte. 1929 wurde Döblins Roman „Berlin Alexanderplatz“ ein großer Verkaufserfolg des Verlags. Im selben Jahr gewann Bermann Fischer weiteres verlegerisches Ansehen, als er gegen seinen skeptischen Schwiegervater eine günstige Volksausgabe von Thomas Manns „Buddenbrooks“ durchsetzte, die sich glänzend verkaufte. 1932 übernahm Bermann Fischer die Verlagsleitung.

Nach der nationalsozialistischen Machtübernahme hielt Bermann Fischer die Buchproduktion trotz einsetzender staatlicher Repressalien aufrecht. 1935 führte er mit Unterstützung von Peter Suhrkamp (1891–1959) im Reichsministerium für Volksaufklärung und Propaganda Verhandlungen mit Ministerialrat Heinz Wismann (1897–1947), wobei es ihm gelang, eine vollständige „Arisierung“ des S. Fischer Verlags abzuwenden, jedoch zum Preis von dessen Aufteilung: Bermann Fischer erhielt die Erlaubnis, mit den Büchern und Rechten von im „Dritten Reich“ unerwünschten Autorinnen und Autoren, u. a. Thomas Mann, Döblin, Annette Kolb (1870–1967) und Carl Zuckmayer (1896–1977), das Land zu verlassen. Der zweite Verlagsteil verblieb als Kommanditgesellschaft unter Suhrkamps Leitung in Berlin und betreute Autoren wie Hauptmann und Hermann Hesse (1877–1962).

Bermann Fischer übersiedelte 1936 mit seiner Familie nach Wien und gründete den Bermann-Fischer Verlag. Der „Anschluss“ Österreichs durch das Deutsche Reich im März 1938 veranlasste ihn zur Flucht über Italien und die Schweiz nach Schweden. In Stockholm gründete er mit finanzieller Unterstützung des Verlegers Tor Bonnier (1883–1976) erneut einen Verlag, für den er u. a. Franz Werfel (1890–1945) und Stefan Zweig (1881–1942) gewann. Bermann Fischer verlegte zudem weiter die Werke Thomas Manns, darunter die Romane „Lotte in Weimar“ (1939) und „Joseph, der Ernährer“ (1943). Um auch ältere Titel Manns lieferbar zu halten, initiierte er 1939 die Stockholmer Gesamtausgabe.

Als Gegner des Nationalsozialismus bekannt, wurde Bermann Fischer im Juni 1940 aus dem auf politische Neutralität bedachten Schweden ausgewiesen und übersiedelte mit seiner Familie in die USA. Er ließ sich in Old Greenwich nahe New York City nieder, führte von hier aus den Stockholmer Verlag weiter und versuchte, auf dem US-amerikanischen Buchmarkt Fuß zu fassen. Die 1942 mit Fritz Landshoff (1901–1988) gegründete L. B. Fischer Publishing Corporation, in der lediglich englischsprachige Titel erschienen, blieb jedoch nur Episode und brachte wirtschaftlich wenig Erfolg.

Nach dem Zweiten Weltkrieg engagierte sich Bermann Fischer, die verstreuten Verlagsunternehmen zusammenzuführen und den seit 1944 unter dem Namen Suhrkamp firmierenden S. Fischer Verlag in Deutschland wieder zu etablieren. Juristische Auseinandersetzungen mit Peter Suhrkamp führten 1950 zu einer Trennung des Verlags: Der 1936 mit Bermann Fischer emigrierte Verlagsteil konstituierte sich wieder als S. Fischer Verlag mit Sitz in Frankfurt am Main, während Suhrkamp einen neuen, nach ihm benannten Verlag gründete, dessen wirtschaftliche Grundlage v. a. durch die Entscheidung Hesses für Suhrkamp gesichert wurde. In den 1950er Jahren baute Bermann Fischer den S. Fischer Verlag mit seiner Ehefrau und dem Cheflektor Rudolf Hirsch (1905–1996) zu einem Ort anspruchsvoller und breitenwirksamer Literatur auf. 1952 gelang mit Gründung der „Fischer Bücherei“ der erfolgreiche Einstieg in den Taschenbuchmarkt. Das Verlagsprogramm wurde seit 1952 durch die erfolgreiche Sachbuchreihe „Bücher des Wissens“ und durch das populäre „Fischer Lexikon“ (40 Bde., 1957–1963) ergänzt.

Nachdem sich keine innerfamiliäre Nachfolge abzeichnete, begann Bermann Fischer 1963 mit dem schrittweisen Verkauf des Verlags an Georg von Holtzbrinck (1909–1983), der 1974 seine Tochter Monika Schoeller (1939–2019) als Verlagsleiterin einsetzte. 1962 übersiedelte Bermann Fischer mit seiner Ehefrau nach Camaiore bei Lucca (Italien), wo er sich u. a. der Bildhauerei widmete. Von ihm geschaffene Bronzebüsten Thomas Manns sind heute in Lübeck, München und Zürich zu sehen; ein Relief Samuel Fischers findet sich an dessen früherem Wohnhaus in Berlin-Grunewald.