Громов служил в Прибалтийском военном округе командиром взвода и роты, Северо-Кавказском и Туркестанском военных округах. С января 1980 по июль 1982 года и с 1985 по 1986 год проходил службу в Афганистане. После окончания Академии Генштаба и непродолжительной службы в Прикарпатском военном округе, в 1987 году вернулся в Афганистан командующим 40-й армией, которую вывел на родину в 1989 году. В 1990-1991 годах - первый заместитель министра внутренних дел СССР.
В 1991 году Громов баллотировался на должность вице-президента России. С декабря 1991 года он занимал пост первого заместителя главнокомандующего Сухопутными войсками, с июня 1992 по март 1995 года - заместителя министра обороны РФ. С 16 марта 1995 года занимал должность главного эксперта по военным вопросам МИД РФ в ранге заместителя министра иностранных дел. В декабре 1995 года избран депутатом Государственной Думы ФС РФ второго созыва.
Громов являлся членом думской (второго созыва) фракции "Российские регионы", председатель подкомитета по контролю над вооружениями и международной безопасности Комитета Госдумы по международным делам.
Борис Громов 19 декабря 1999 года избран в Государственную Думу третьего созыва по федеральному списку избирательного блока "Отечество" - вся Россия" (ОВР). Он сложил с себя депутатские полномочия в связи с избранием его губернатором Московской области 13 января 2000 года. В 2000 году вступил в должность губернатора Подмосковья. Переизбран в 2003 году на второй срок. В декабре 2003 года вошел в состав президиума Государственного совета РФ (Распоряжение Президента России). Генерал-полковник. Награжден орденами "За службу Родине в Вооруженных Силах СССР" третьей степени, Красной Звезды, двумя орденами Красного Знамени, орденом Ленина и медалью Героя Советского Союза (1988 год); орденом Преподобного Сергия Радонежского второй степени (2001 год), орденом "За заслуги перед Отечеством" второй степени (2003 год).
