В армии с 1917. В 1918 окончил Московскую лётную школу, оставлен в ней лётчиком-инструктором.

Участник гражданской войны: в ноябре 1919-ноябре 1920 - лётчик 29-го разведывательного авиаотряда (Восточный фронт), лётчик 2-го авиационного крыла Приуральского сектора войск внутренней охраны; летал на разведку, разбрасывал листовки-воззвания.

В 1920-1922 - лётчик-инструктор Московской авиационной школы, в 1922-1924 - начальник отделения боевого применения 1-й Высшей авиационной школы (Москва). В 1924 был временно прикомандирован в качестве лётчика-инструктора и командира отряда к Серпуховской высшей школе воздушного боя, стрельбы и бомбометания.
В 1923 становится чемпионом СССР по тяжёлой атлетике в тяжёлом весе.

С июня 1924 - лётчик-испытатель Научно-опытного аэродрома (НИИ ВВС). Поднял в небо и провёл испытания самолётов У-2, И-3, И-4, И-4бис; провёл государственные испытания Р-3, И-1, ТБ-1. 23.06.1927 при испытаниях И-1 на штопор впервые в стране выполнил вынужденный прыжок с парашютом из самолёта.

Выполнил ряд дальних перелётов:

10 июня - 13 июля 1925 года на самолёте Р-1 с бортмехаником Е.В.Родзевичем участвовал в групповом перелёте Москва - Пекин. Пройдено расстояние 6476 км за 52 лётных часа.

30 августа - 2 сентября 1925 года на самолёте Р-1 с бортмехаником Е.В.Родзевичем совершил перелёт Пекин - Токио.

31 августа - 2 сентября 1926 года на самолёте АНТ-3 "Пролетарий" с бортмехаником Е.В.Родзевичем совершил круговой перелёт Москва - Кёнигсберг - Берлин - Париж - Рим - Вена - Варшава - Москва. Пройдено 7150 км за 34 часа 15 минут лётного времени.
10 июля - 8 августа 1929 года на самолёте АНТ-9 "Крылья Советов" с бортмехаником В.П.Русаковым совершил круговой перелёт Москва - Берлин - Париж - Рим - Марсель - Невер - Лондон - Париж - Берлин - Варшава - Москва. Пройдено расстояние 9037 км за 53 часа лётного времени.

С апреля 1930 - лётчик-испытатель и командир авиаотряда ЦАГИ. Поднял в небо и провёл испытания практически всех самолётов ОКБ А.Н.Туполева, созданных в 1930-х годах - пассажирских АНТ-9, АНТ-14, АНТ-20 "Максим Горький", АНТ-35, разведчиков Р-6, Р-7, бомбардировщиков ТБ-3, ТБ-4, АНТ-42 (Пе-8), а также ряда опытных самолётов - АНТ-13, АНТ-25, БОК-15 и других.

12-15 сентября 1934 года на самолёте АНТ-25 (второй пилот - А.И.Филин, штурман - И.Т.Спирин) совершил длительный полёт продолжительностью 75 часов, во время которого достигнута рекордная дальность полёта самолёта - 12411 км.
За выполнение полёта и проявленные при этом мужество и героизм 28.09.1934 присвоено звание Героя Советского Союза.

12-14 июля 1937 года на самолёте АНТ-25 (второй пилот - А.Б.Юмашев, штурман - С.А.Данилин) совершил беспосадочный перелёт Москва - Северный полюс - Сан-Джасинто (США) протяжённостью 10.148 км по прямой (полётное время - 62 часа 17 минут). Были установлены 3 мировых авиационных рекорда дальности полёта. Весь экипаж (первыми среди отечественных авиаторов) был удостоен медалей де Лаво (награды ФАИ).

В 1940-1941 - начальник Научно-технической группы НКАП. С марта 1941 - начальник Лётно-исследовательского института (первый его руководитель). В августе-декабре 1941 находился в правительственной командировке в США по вопросу приобретения американских самолётов.

Участник Великой Отечественной войны: с декабря 1941 - командир 31-й смешанной авиационной дивизии (Калининский фронт); с февраля 1942 - командующий ВВС Калининского фронта. В мае 1942 - мае 1943 - командующий 3-й воздушной армией, созданной на базе ВВС Калининского фронта. Воздушная армия в составе Калининского и Северо-Западного фронтов участвовала в оборонительной операции в районе города Белый, в Ржевско-Сычёвской, Великолукской, Ржевско-Вяземской операциях. С мая 1943 - командующий 1-й воздушной армией. Армия под его командованием в составе Западного и 3-го Белорусского фронтов участвовала в Орловской, Спас-Деменской и Смоленской операциях, наносила удары по железнодорожным узлам на витебском и оршанском направлениях.

С июня 1944 - начальник Главного Управления боевой подготовки фронтовой авиации ВВС. В 1946-1949 - заместитель командующего Дальней авиацией.

В 1949-1954 - начальник Управления лётной службы Министерства авиационной промышленности, в 1954-1955 - начальник отдела лётной службы Министерства авиационной промышленности. С 1955 - в запасе.

В 1959-1961 - председатель Федерации тяжёлой атлетики СССР.

Жил в Москве. Умер 22 января 1985 года. Похоронен в Москве, на Новодевичьем кладбище.

Генерал-полковник авиации (1944), заслуженный лётчик СССР (1925), заслуженный мастер спорта СССР (1969), профессор (1937), лётчик-испытатель 1-го класса (1940). Награждён 4 орденами Ленина, орденом Октябрьской Революции, 4 орденами Красного Знамени, орденами Суворова 2-й степени, Отечественной войны 1-й степени, 3 орденами Красной Звезды, медалями, иностранными наградами. Удостоен награды ФАИ - медали де Лаво (1937).

Его имя носит Лётно-исследовательский институт (г.Жуковский), на территории которого установлен его бюст. Его именем названа улица в Москве и площадь в Жуковском.

М.М.Громовым установлено 3 мировых авиационных рекорда дальности полёта (из них 1 - абсолютный).