Родился в семье военного, сын генерал-майора. В 1902 году поступил на службу в армию, в 1904 году произведён в лейтенанты. В 1914 году окончил Баварскую военную академию.
Участвовал в Первой мировой войне, служил в штабах различного уровня, был награждён Железным крестом 1-го и 2-го классов.
После демобилизации немецкой армии остался в рейхсвере. В 1923—1924 годах командовал батареей 7-го артиллерийского полка, затем в штабе 7-й дивизии и военного округа. С 1926 года — обер-квартирмейстер Войскового управления. С августа 1931 года начальник штаба 6-го военного округа. С октября 1934 года — командующий артиллерией 7-й дивизии, с октября 1935 года командир 7-й дивизии. С октября 1937 года второй, а с февраля 1938 года — первый обер-квартирмейстер Генштаба Сухопутных войск. 27 августа 1938 года стал начальником Генерального штаба Сухопутных войск вместо ушедшего в отставку Людвига Бека. В сентябре 1942 года Гитлером был смещен с этого поста в связи с провалом стратегии немецкого командования в битве на Волге и Северном Кавказе.
Гальдер был посвящен в 1938 и 1939 годах в планы заговорщиков, которые хотели свергнуть гитлеровский режим путём военного переворота для того, чтобы избежать вовлечения Германии в войну.
Карьера в ОКХ
Являясь противником начавшейся в 1939 году войны и сопротивляясь гитлеровской агрессивной политике, Гальдер, однако, продолжал выполнять приказы фюрера. Он активно участвовал в создании гитлеровской армии, разработке и осуществлении планов агрессии против Польши, Франции, Бельгии, Нидерландов, Люксембурга, Югославии, Греции и СССР. После провала гитлеровской стратегии осенью 1942 года Гальдер был отстранен от должности 24 сентября 1942.
Арест и концлагерь Дахау
23 июля 1944 года Гальдер был арестован по подозрению в причастности к покушению на Гитлера и 25 июля 1944 года был помещён в концлагерь Дахау. С 7 октября Гальдер для допросов переведён в тюрьму РСХА на Принц-Альбрехтштрассе, после чего 7 февраля 1945 года был переведён во Флоссенбург, а 9 апреля — вновь в концлагерь Дахау. В это время с 31 января 1945 года он был уже уволен с действительной военной службы с лишением наград и запрещением носить военную форму.
28 апреля 1945 года он был освобождён американцами и содержался в лагере военнопленных. В качестве свидетеля Гальдер давал показания на Нюрнбергском процессе, где заявил, что, не случись гитлеровского вмешательства в военные дела, Германия в 1945 году могла бы заключить мир на «почётных» условиях: «Хотя выиграть войну и не удалось бы, но можно было, по крайней мере, избежать позорного поражения».
20 июня 1947 года Гальдер был переведён в лагерь для интернированных гражданских лиц. Находясь в американском плену, он участвовал в написании военно-исторических трудов. В 1948 года успешно прошёл денацификацию и после ряда апелляций с 12 сентября 1950 года официально стал считаться «свободным от обвинений».
Карьера в США
С 1950 года эксперт при федеральном правительстве, одновременно до 1959 работал в историческом управлении армии США. С 1959 года старший консультант при группе исторических связей армии США. В июне 1961 года Гальдер, закончив комментарии к собственному дневнику, отошёл от дел. В ноябре 1961 года награждён высшей наградой США, вручаемой иностранным гражданским служащим.