Baums Familie zog nach dem Ende des Ersten Weltkriegs aus der Provinz Posen nach Berlin, wo Baum bis 1928 eine Realschule besuchte und anschließend zum Elektriker ausgebildet wurde. Früh in jüdischen Kindergruppen und seit 1925 in der SPD-Kinderorganisation „Rote Falken“ aktiv, engagierte sich Baum seit 1927 in der Deutsch-Jüdischen Jugendgemeinschaft (seit 1936 Ring-Bund Jüdischer Jugend) und trat 1931 dem Kommunistischen Jugendverband Deutschlands (KJVD) bei. Zuvor hatte er Lehrgänge und Vorträge zu marxistischer Theorie und Historischem Materialismus in der Sozialistischen Arbeiterjugend besucht.

Im KJVD festigten sich Baums enge Freundschaften zu Marianne Cohn (1912–1942), die er um 1934 heiratete, Martin Kochmann (1912–1943) und Sala Rosenbaum (1936 verh. Kochmann, 1912–1942), die später den Kern der nach Baum benannten Widerstandsgruppe bildeten. Nach der nationalsozialistischen Machtübernahme agierten sie in den Strukturen des nun illegalen KJVD gegen das NS-Regime. Ihre Widerstandsarbeit umfasste die Verbreitung von Flugschriften und Klebezetteln, die Schulung von Mitgliedern und den Kontakt zur Auslandsleitung des KJVD in Prag durch Kuriere. 1935 wurde der KJVD von der Gestapo zerschlagen. Baum, der mit verschiedenen Identitäten gearbeitet hatte, entging der Verhaftung.

Nach dem Beschluss der KPD-Auslandsleitung im Sommer 1935, Juden aus der illegalen Parteiarbeit herauszuhalten, übernahm Baum den Auftrag des KJVD-Instrukteurs, die Verbindung zu jüdischen Jugendverbänden zu festigen und die Jugendlichen kommunistisch zu erziehen. Baum und seine Freunde engagierten sich anschließend in der jüdischen Jugendbewegung, v. a. dem „Ring“, in dem Baum als Lehrer und Mentor verehrt wurde. Hierbei konzentrierte er sich auf die Vermittlung von Selbstbewusstsein und Gemeinschaftsgefühl sowie auf politische und allgemeine Bildungsarbeit, ohne die jüdischen Jugendlichen zu aktiver Widerstandstätigkeit aufzufordern. Nach dem Verbot des „Rings“ 1937 blieb um Baum und Kochmann ein informeller Kreis von Jugendlichen bestehen, von denen viele Deutschland noch verlassen konnten, wozu die Älteren ihnen rieten.

Seit Herbst 1940 waren Herbert und Marianne Baum Zwangsarbeiter in der „Judenabteilung“ des Berliner Elektromotorenwerks Siemens. Hier gewannen sie u. a. Heinz Joachim (1919–1942) und Marianne Joachim (1921–1943) für ihre Gruppe, die sich nach Beginn des deutschen Angriffs auf die Sowjetunion im Juni 1941 als konspirativ arbeitender, aktiver Widerstandskreis verstand. Die Gruppe, der rund 35 Mitglieder angehörten, beschaffte sich einen Abziehapparat und stellte seit dem Herbst 1941 Flugschriften her. Außerdem verfasste sie im Frühjahr 1942 zwei Zeitungen mit einer Auflage von je 10 Exemplaren, die anonym an Arbeitskollegen und in Briefkästen verteilt wurden. Unter anderem mit Verweis auf die schlechte Versorgungslage sollte der Widerstandswille der Bevölkerung angefacht werden. Die Resonanz war indes gering, mehrere Exemplare wurden der Gestapo ausgeliefert. Seit Ende 1941 war die Hauptsorge Baums, das Überleben der Gruppenmitglieder zu sichern. Die drohende Deportation sollte durch Abtauchen in die Illegalität verhindert werden, die hierfür nötigen Mittel wurden durch Schwarzmarktgeschäfte beschafft.

Zur Jahreswende 1941/42 knüpfte Baum Kontakt zu dem kommunistischen Widerstandskreis um Joachim Franke (1905–1942) und Werner Steinbrinck (1917–1942). Den aus diesem Kreis stammenden Vorschlag, einen Brandanschlag auf die antisowjetische, rassenideologisch konnotierte Propagandaausstellung „Das Sowjet-Paradies“ im Berliner Lustgarten auszuüben, unterstützte Baum, indem er ausgewählte Mitglieder seiner Gruppe zur Teilnahme aufforderte. Der Anschlag vom 18. Mai 1942, eines der sichtbarsten Zeichen von jüdischem Protest gegen die NS-Diktatur in der Reichshauptstadt, hatte jedoch kaum Wirkung: Elf Besucher erlitten leichte Rauchverletzungen, die Ausstellung wurde bereits am Folgetag wieder geöffnet.

Infolge der Ermittlung einer Sonderkommission der Gestapo wurde Baum am 22. Mai 1942 verhaftet, kurz darauf auch seine Frau und alle am Brandanschlag Beteiligten sowie Helfer und Unterstützer beider Gruppen. Insgesamt kam es in den folgenden Monaten zu rund 100 Verhaftungen. Baum wurde am 11. Juni 1942 erhängt in seiner Zelle im Polizeigefängnis Berlin aufgefunden. Von den am Brandanschlag direkt beteiligten Personen hat niemand überlebt.