Родился 16 (2) июля 1900 года (16 июля – по документам и по данным личного дела; 2 июля - по метрической записи. Отец - Иван Николаевич, сельский фельдшер, мать - Васса Васильевна, крестьянка.
В селе Зырянское Камышловского уезда Пермской губернии Филипп закончил три класса местной трехлетней школы. В 1911 году был принят в Камышловскую мужскую гимназию. Отца Ивана Николаевича уважали в Земстве, поэтому Филипп получил стипендию и был освобожден от платы при условии учебы только на «отлично». Гимназию не окончил: началась Гражданская война.
В мае 1918 года Филипп Голиков в неполные восемнадцать лет добровольно записался в Рабоче-крестьянскую Красную армию. Воевал в составе стрелкового полка «Красные орлы». В октябре 1918 года назначен полковым корреспондентом в газету дивизии «Окопная правда» и «Набат».
После окончания Гражданской войны находился на политической работе в войсках: Приуральского, Западно-Сибирского, Сибирского Ленинградского, Приволжского военных округов.
В 1931 году Ф.И. Голиков окончил экстерном военную школу и был переведен на командную работу. В 1933 году окончил Военную Академию им. М.В.Фрунзе (заочно).
В 30-е годы служил в Приволжском, Киевском военных округах. В январе 1938 года назначен членом Военного совета Белорусского военного округа.
В июле 1940 года переведен на работу в Москву: Назначен начальником Разведывательного управления Генерального штаба РККА.
С началом Великой Отечественной войны Ф.И. Голиков, оставаясь на посту начальника Разведупра был назначен главой Советской военной миссии в Великобритании и США. Миссия вылетела на Британские острова 6 июля 1941 года. Вел переговоры о военных поставках и открытии Второго фронта.
В сентябре Голиков возвращается в Москву и принимает участие в работе Московской конференции трех держав – СССР, Англии и США, проходившей с 29 сентября по 1 октября. На ней был подписан протокол о взаимных поставках.
Голиков неоднократно просил у высшего руководства отправить его на фронт и уже октябре 1941 года был назначен командующим формировавшейся в Пензенской области
10-ой Резервной армии. В конце ноября 10-ая армия была переброшена в район г.Михайлова Рязанской области. В составе войск Западного фронта армия с рубежа Зарайск-Захарово-Пронск 6 декабря перешла в наступление, нанося главный удар в направлении Михайлов-Сталиногорск (ныне Новомосковск), отбросив на расстояние до 200 км части 2-й танковой группы генерал-полковника Гудериана.
С февраля 1942 года Голиков – командующий 4-ой ударной армией Калининского фронта. С апреля 1942 года - командующий войсками Брянского фронта. В июле 1942 года – командующий Воронежским фронтом. В августе 1942 года назначен командующим 1-й гвардейской армией на Юго-Восточном и Сталинградском фронтах. С сентября 1942 года – заместитель командующего Сталинградским фронтом. В октябре 1942 года повторно назначен командующим Воронежским фронтом.
На посту командующего Воронежским фронтом провел три крупные операции. В первой их них, Острогожско-Россошанской операции 13-27 января 1943 года войска фронта взяли в кольцо 13 вражеских дивизий ( в том числе силы 2-й венгерской армии , итальянский альпийский корпус, 24-й танковый корпус). К 27 января окруженная группировка была разгромлена.
В Воронежско-Касторненской операции, проходившей с 24 января по 17 февраля 1943 года были окружены и разгромлены 11 вражеских дивизий, освобождена большая часть Воронежской и Курской областей, города Воронеж, Старый Оскол и многие другие населенные пункты. В плен было взято более 80 000 чел.
В Харьковской наступательной операции 2 февраля – 2 марта 1943 года советским войскам удалось продвинуться более чем на 100 километров и освободить Харьков.
В марте 1943 года Голиков был отозван в Москву и на фронт более не направлялся, несмотря на его многочисленные просьбы.
В апреле 1943 года Голиков был назначен заместителем Народного комиссара обороны СССР по кадрам. С мая 1943 года должность именовалась – начальник Главного Управления кадров Народного комиссариата обороны СССР (с 1946 года Министерства Вооруженных сил СССР). 4 октября 1944 года был назначен Уполномоченным Совета Народных Комиссаров по делам репатриации граждан СССР из Германии и оккупированных ею стран. В этих должностях находился до 1950 года.
В сентябре 1950 года Голиков Филипп Иванович был назначен командующим Отдельной механизированной армией, дислоцирующейся в Румынии. По возвращении в Москву – начальник Военной академии бронетанковых войск.
С января 1958 года – начальник Главного политического управления Советской армии и Военно-Морского флота.
В мае 1961 года было присвоено звание Маршала Советского Союза.
В июне 1962 года назначен Генеральным инспектором Группы генеральных инспекторов Министерства обороны СССР.
Филипп Иванович Голиков умер 29 июля 1980 года. Похоронен на Новодевичьем кладбище в Москве.
Награжден многими советскими и иностранными орденами и медалями, в их числе : четыре Ордена Ленина, четыре ордена Красного Знамени, Суворова 1 степени, Кутузова 1 степени, два ордена Красной Звезды и др.