Klafki besuchte seit 1937 die Hindenburg-Oberschule in Angerburg (Ostpreußen, heute Węgorzewo, Polen) und entwickelte schon in dieser Zeit – vermittelt durch seinen Vater, der als Oberstudienrat tätig war – ein Interesse für didaktische Themen. Seit 1943 als Flakhelfer eingesetzt, musste er seine Schullaufbahn 1944 kriegsbedingt mit Reifevermerk vorzeitig beenden und leistete bis zum Ende des Zweiten Weltkriegs Reichsarbeitsdienst und Kriegsdienst. Nach der Ausheilung einer Verwundung absolvierte er seit 1946 ein Studium zum Volksschullehrer an der Pädagogischen Hochschule Hannover, das er mit dem Ersten Staatsexamen abschloss. Die zweite Ausbildungsphase erfolgte seit 1948 parallel zur Tätigkeit als Lehrer an Volksschulen in Lindhorst und Lüdersfeld bei Hannover. Für seinen Abschluss verfasste er 1952 eine 2013 publizierte zweite Staatsexamensarbeit, in der er bereits sein Konzept der „Kategorialen Bildung“ entwarf und die Kernthesen seiner „Studien zu Bildungstheorie und Didaktik“ (1963) formulierte.

Von 1952 und 1957 studierte Klafki als Adolf-Grimme-Stipendiat Pädagogik bei Herman Nohl (1879–1960), Theodor Litt (1880–1962) und Erich Weniger (1894–1961) an den Universitäten Göttingen und Bonn. Zu seinen Göttinger Kommilitoninnen und Kommilitonen gehörten u. a. Herwig Blankertz (1927–1983), Ilse Dahmer (geb. 1929), Wolfgang Kramp (1927–1983), Klaus Mollenhauer (1928–1998), Hans-Dietrich Raapke (1929–2016), Wolfgang Schulenberg (1920–1985), Theodor Schulze (geb. 1926) und Hans-Martin Stimpel (geb. 1926). 1957 wurde er bei Weniger in Göttingen zum Dr. phil. promoviert. In seiner Dissertation „Das pädagogische Problem des Elementaren und die Theorie der kategorialen Bildung“, die ihn weithin bekannt machte, systematisierte er sein Konzept der „Kategorialen Bildung“. Nach Tätigkeiten als Assistent bzw. Oberassistent an der PH Hannover und der Universität Münster wurde Klafki 1963 ohne Habilitation als Nachfolger von Elisabeth Blochmann (1892–1972) zum ordentlichen Professor für Erziehungswissenschaft an die Universität Marburg an der Lahn berufen, wo er bis zur Emeritierung 1992 lehrte (Dekan 1980/81, 1989/90). Rufe an die Universitäten Tübingen und Göttingen lehnte er 1963 bzw. 1969 ab.

Im Berufungsjahr legte Klafki sein erstes Hauptwerk („Studien zu Bildungstheorie und Didaktik“, 1963) vor, in dem er in mehreren Aufsätzen seine Theorie der „Kategorialen Bildung“ entfaltete. Seinen überragenden Ruf erwarb er sich durch die Auflösung des langen akademischen Streits, ob man sich bei der Auswahl von Bildungsinhalten eher an formalen oder an materialen Bildungstheorien orientieren solle. In formalen Bildungstheorien werden Inhalte nur danach ausgewählt, ob sie eine Funktion für das Erwerben von „Kräften“ bzw. Motiven der Persönlichkeit oder eine Funktion für das Erwerben von Methoden des Denkens, Erkennens etc. haben. In materialen Bildungstheorien entsprechen die ausgewählten Inhalte einem vorab definierten, kulturell akzeptierten Inhaltskanon, die entweder als „objektive Kulturgüter“ verstanden werden oder einer Auffassung des „Klassischen“ entsprechen, wie z. B. griechische Tragödien. Nach der von Klafki vorgeschlagenen dialektischen Auflösung der Kontroverse sollten im Sinn einer kategorialen Bildung nur solche Inhalte ausgewählt werden, die einerseits etwas Grundlegendes, ein Urphänomen, ein Grundproblem (materiale Seite) repräsentieren und andererseits dieser Inhalt den Lernenden zugleich subjektiv bedeutungsvoll erscheint, also mit dem Erwerben von Erkenntnismotiven verbunden ist (formale Seite). Kategoriale Bildung heißt, dass Lernende neue kategoriale Wahrnehmungsdimensionen und zugleich – modern gesprochen – neue Motive und Fähigkeiten des Lernen Lernens erwerben: Sie betrachten die Wirklichkeit mit anderen Kategorien als früher; und in dieser neuen Betrachtungsweise sind sowohl ihre subjektive Sicht, ihre persönlichen Motive und auch Merkmale der allgemeinen, objektiven und wissenschaftlichen Erkenntnisse untrennbar miteinander verwoben.

Als gekürztes Zitat aus Klafkis Werk erlangte der Begriff des "doppelten Erschließungsverhältnisses" anhaltende Wirkung: Lernende erschließen sich durch kategoriale Bildung die Wirklichkeit und sind zugleich von dieser Wirklichkeit erschlossen worden. In einem ebenfalls im genannten Werk veröffentlichten Aufsatz „Didaktische Analyse als Kern der Unterrichtsvorbereitung“ zeigte Klafki, wie Lehrkräfte bei Kategorialer Bildung praktisch vorgehen sollten. Diese „Studien zu Bildungstheorie und Didaktik“ wurden mehrfach übersetzt und neu aufgelegt; sie machten ihn auch über die akademische Fachwelt und nationale Grenzen hinaus berühmt.

Ein breites Publikum erreichte Klafki auch mit dem unter seiner Leitung erarbeiteten „Funkkolleg Erziehungswissenschaft“, das 1969/70 vom Hessischen Rundfunk ausgestrahlt wurde. Seine hierzu verfassten „Studienbegleitbriefe“ (3 Bde., Nachdrucke bis 1986) erreichten Auflagen von bis zu einer halben Million und unterstützten die Entwicklung der Erziehungswissenschaft zu einem universitär verankerten Fachstudium, für das 1969 der Diplom-Abschluss aufgrund eines Beschlusses der Westdeutschen Rektorenkonferenz und des Beschlusses der Kultusministerkonferenz an den westdeutschen Universitäten und Pädagogischen Hochschulen eingeführt wurde.

Im Kontext der Studentenbewegung unterzog Klafki seine durch die Geisteswissenschaftliche Pädagogik geprägten Vorstellungen von Bildung einer Revision und entwarf eine „kritisch-konstruktive Erziehungswissenschaft“, in der er sich auf die Kritische Theorie und die Frankfurter Schule der Sozialphilosophie, v. a. auf Theodor W. Adorno (1903–1969), Max Horkheimer (1895–1973), Jürgen Habermas (geb. 1929) und Hans-Joachim Heydorn (1916–1974), bezog. Besonders in „Aspekte kritisch-konstruktiver Erziehungswissenschaft“ (1976) legte er Vorschläge vor, wie im bestehenden gesellschaftlichen System demokratische Veränderungen auch durch ein entsprechendes Bildungssystem zu fördern seien und formulierte in empirischen Forschungsprojekten auf dieser Grundlage Prinzipien der Handlungsforschung mit einer gleichberechtigten Kooperation von Wissenschaft und Praxis und dem Ziel, die Mündigkeit der Schülerinnen und Schüler zu fördern.

1985 publizierte Klafki sein zweites Hauptwerk „Neue Studien zur Bildungstheorie und Didaktik“. Es verweist auf epochaltypische Schlüsselprobleme (wie die Friedensfrage, die Umweltfrage, gesellschaftliche Ungleichheit, neue Medien, Ich-Du-Beziehungen) und benennt unter Berufung auf neuhumanistische Bildungstheorien Selbstbestimmungs-, Mitbestimmungs- und Solidaritätsfähigkeit als zentrale Bildungsziele. Auch diese Aufsatzsammlung fand breite Zustimmung; das darin enthaltene Allgemeinbildungskonzept ging in Schulgesetze, Rahmenrichtlinien und Curricula ein. Klafkis Auseinandersetzung mit der Verstrickung der Geisteswissenschaftlichen Pädagogik in die NS-Ideologie schloss eine kritische Reflexion seiner Mitgliedschaft in der Hitler-Jugend ein, so in dem von ihm herausgegebenen Band „Verführung, Distanzierung, Ernüchterung. Kindheit und Jugend im Nationalsozialismus“ (1988). Das mit Johanna-Luise Brockmann (geb. 1925) verfasste Werk „Geisteswissenschaftliche Pädagogik und Nationalsozialismus. Hermann Nohl und seine ‚Göttinger Schule’ 1932–1937. Eine individual- und gruppenbiografische, mentalitäts- und theoriegeschichtliche Untersuchung“ (2002) analysiert bis dahin unbekannte Schriften Nohls, in denen dessen systemstützende Haltung zum Ausdruck kommt.

Klafki legte als Verfasser und Herausgeber mehr als 400 Werke vor, die in 14 Sprachen übersetzt wurden und mit denen er die Diskussion um geeignete Bildungsvorstellungen, Lehrerbildung und Schulreformen förderte. Mit seinen Thesen stieß er mehrfach öffentlich ausgetragene Kontroversen an, an denen er sich führend beteiligte, so etwa 1975 in seiner Auseinandersetzung mit Frank-Olaf Radtke (geb. 1945) über die Handlungsforschung sowie 1997/98 mit Meinert A. Meyer (1941–2018) und Hermann Giesecke (1932–2021) über epochaltypische Schlüsselprobleme. Bezüglich der Handlungsforschung ging es darum, ob der postulierte Abbau der Hierarchie zwischen Forschenden und Lehrkräften in Klafkis Handlungsforschungsprojekt faktisch nicht realisiert worden sei, und bei der Nennung von Schlüsselproblemen wurde Klafki vorgeworfen, aus einer rein subjektiven Perspektive heraus normative Inhalte schulischen Unterrichts abgeleitet zu haben. Von seinen über 70 Doktorandinnen und Doktoranden erhielten viele Lehrstühle und andere einflussreiche Positionen in der Erziehungswissenschaft, etwa Karl-Heinz Arnold (geb. 1952), Wilfried Hendricks (geb. 1943), Barbara Koch-Priewe (geb. 1950), Astrid Kaiser (geb. 1948), Susanne Lin-Klitzing (geb. 1963), Hanno Schmitt (geb. 1942), Frauke Stübig (geb. 1945) und Heinz Stübig (geb. 1939).

Großen Einfluss auf die Erziehungswissenschaft und die Entwicklung der Bildung in der Bundesrepublik nahm Klafki auch als gefragter Berater und Wissenschaftsorganisator. In der Deutschen Gesellschaft für Erziehungswissenschaft, der er 1963 beitrat, gehörte er viele Jahre dem Vorstand an und amtierte von 1986 bis 1988 als Vorsitzender. 1968 trug er zur Gründung des Bundes demokratischer Wissenschaftlerinnen und Wissenschaftler bei, dessen Vorstandsmitglied er wurde. Zumeist als Vorsitzender engagierte er sich in zahlreichen Gremien zur Reform von Schulen, etwa von 1991 bis 2006 als Vorsitzender des Wissenschaftlichen Beirats der Laborschule Bielefeld. Klafki beeinflusste wichtige bildungspolitische Entscheidungen in mehreren Bundesländern, z. B. zur Einrichtung von Gesamtschulen, zur Verlängerung der Pflichtschulzeit, zur Einführung der Förderstufe und einer sechsjährigen Grundschulzeit sowie zur Einführung des Fachs Arbeitslehre an Hauptschulen. So war er von 1967 bis 1971 Vorsitzender der Lehrplankommission für Hauptschulen in Nordrhein-Westfalen, von 1968 bis zu deren Auflösung 1971 durch den hessischen Kultusminister Ludwig von Friedeburg (1924–2010) Vorsitzender der Kommission zur Revision der Hessischen Bildungspläne und 1992 Vorsitzender der Schulreform-Kommission beim Senator für Bildung und Wissenschaft des Landes Bremen.