Nach dem Abitur am Ersten Gymnasium in Zagreb (Königreich Jugoslawien, heute Kroatien) 1923 studierte Feller hier Mathematik, wechselte 1925 an die Universität Göttingen, wo er u. a. David Hilbert (1862–1943) und Richard Courant (1888–1972) hörte und bei Letzterem 1926 mit der Arbeit „Über algebraisch rektifizierbare transzendente Kurven” zum Dr. phil. promoviert wurde. 1928 übernahm Feller einen Lehrauftrag für Angewandte Mathematik am Mathematischen Seminar der Universität Kiel und begann sich mit den mathematischen Grundlagen der Stochastik zu befassen, wozu er v. a. mit seinem Kollegen Erhard Tornier (1894–1982) zusammenarbeitete.

Tornier, seit 1932 Mitglied der NSDAP, denunzierte Feller nach der nationalsozialistischen Machtübernahme wegen dessen jugoslawischer Herkunft und als angeblichen Juden. Nachdem Feller am 9. September 1933 die Lehrbefugnis auf Grundlage des „Gesetzes zur Wiederherstellung des Berufsbeamtentums“ entzogen worden war, ging er im selben Jahr nach Kopenhagen. 1934 wechselte er als Rockefeller-Stipendiat an die Universität in Stockholm, wo er wissenschaftlicher Berater der Institute für Mathematische Statistik und für Experimentelle Biologie war.

Feller war mit seiner 1934 publizierten Rezension der „Grundbegriffe der Wahrscheinlichkeitsrechnung“ (1933) Andrei N. Kolmogorows (1903–1987) im „Zentralblatt für Mathematik“, worin er dessen mathematisch strenge Grundlegung der Wahrscheinlichkeitstheorie auf die Maßtheorie würdigte, maßgeblich an der internationalen Durchsetzung der mathematischen Wahrscheinlichkeitstheorie beteiligt. Feller leistete grundlegende wahrscheinlichkeitstheoretische Beiträge, v. a. zu den Grenzwertsätzen, die das asymptotische Verhalten einer Folge von Zufallsvariablen beschreiben. Lebenslang beschäftigte er sich mit den Eigenschaften der normalisierten Summen von unabhängigen Zufallsvariablen – sowohl aus der Sicht der Verteilungstheorie als auch der asymptotischen Grenzen ihrer Summen. Fellers früheste Veröffentlichung dazu, „Über den Zentralen Grenzwertsatz der Wahrscheinlichkeitsrechnung“ (1935), betrachtete die verschiedenen Varianten dieses Satzes. Der Zentrale Grenzwertsatz von Lindeberg-Feller ist eine Verallgemeinerung des Zentralen Grenzwertsatzes von Lindeberg-Lévy. Eine Verfeinerung des Zentralen Grenzwertsatzes von Lindeberg-Feller ist das Gesetz des iterierten Logarithmus, das Feller seit den 1960er Jahren mehrmals erweiterte und verbesserte.

Feller interessierten v. a. die Differential- und Integralgleichungen sowie die mathematischen Halbgruppen, die sich in einem Wahrscheinlichkeitskontext ergaben. In seiner 1936 erschienenen ersten Arbeit über die Markow-Prozesse gelang es ihm, die Halbgruppentheorie auf die durch Markow-Prozesse erzeugte Halbgruppe anzuwenden. Feller bewies Existenz- und Eindeutigkeitstheoreme für sog. Integrodifferentialgleichungen, die die Übergangswahrscheinlichkeiten des Prozesses regeln. 1939 publizierte er „Die Grundlagen der Volterraschen Theorie des Kampfes ums Dasein in wahrscheinlichkeitstheoretischer Behandlung“ und untersuchte darin Markow-Modelle für die Lotka-Volterra-Gleichungen, die ein deterministisches Modell für die Jäger-Beute-Beziehung und für das Wachstum und den Rückgang der Bevölkerung darstellen. Dabei zeigte er, dass die mittlere Reaktion in den stochastischen Modellen möglicherweise nicht exakt mit den ursprünglichen deterministischen Modellen übereinstimmt.

1939 emigrierte Feller mit seiner Ehefrau in die USA, erhielt 1944 die US-amerikanische Staatsbürgerschaft und lehrte bis 1945 als Associate Professor an der Brown University in Providence (Rhode Island, USA). Anschließend wurde er Professor für Mathematik an der Cornell University in Ithaca (New York, USA). Seit 1950 bis zu seinem Tod war er Eugene Higgins Professor für Mathematik an der University Princeton (New Jersey, USA). In seinen letzten Lebensjahren war Feller außerdem ständiger Gastprofessor an der Rockefeller University in New York City, wo er mit Genetikern, u. a. Theodosius Dobzhansky (1900–1975), zusammenarbeite. Dieser machte ihn auf ein als Haldane’s Dilemma bekannt gewordenes Problem aufmerksam, wonach der durch langsame natürliche Selektion verursachte Verlust (Evolutions- und Substitutionslast) derart wächst, dass er eine gleichzeitige Selektion an mehreren Orten in angemessenem Tempo ausschließt. Feller löste dieses Problem für einen Spezialfall in seiner Arbeit „On the Influence of Natural Selection on Population Size“ (1966), in dem er einen Fehler in der Evolutionstheorie korrigierte.

1940 gründeten Otto Neugebauer (1899–1990), Jacob D. Tamarkin (1888–1945) und Feller die Zeitschrift „Mathematical Reviews“ als Nachfolge des 1931 von Neugebauer gegründeten und herausgegebenen Referateorgans „Zentralblatt für Mathematik“. Während Fellers Mitherausgeberschaft bis 1945 wurden die „Mathematical Reviews“ zum weltweit wichtigsten Rezensionsorgan für mathematische Veröffentlichungen. 1950 publizierte Feller mit „An Introduction to Probability Theory and its Applications“ eine der bedeutendsten mathematischen Abhandlungen des 20. Jahrhunderts, die mehrfach aufgelegt und übersetzt wurde. Der zweite, 1966 erschienene Band, der unabhängig vom ersten Band konzipiert und geschrieben wurde, richtete sich an eine breitere Leserschaft, wurde aber lange nicht so bekannt. Zu Fellers Schülern zählen die Stochastiker Patrick Billingsley (1925–2011), David A. Freedman (1938–2008), Henry McKean (1930–2024) und Lawrence Shepp (1936–2013).