1882 yılında İstanbul'da doğdu. Mehmed Emin Paşa'nın oğludur. İlköğrenimini İstanbul, Van, Harput ve Mekke'de tamamladıktan sonra, 1896'da İstanbul Fatih Askeri Rüştiyesi'ni, 1899'da Kuleli Askeri İdadisi'ni, 1902'de Harbiye Mektebi'ni ve 1905'te de Erkân-ı Harbiye Mektebi'ni bitirerek yüzbaşı rütbesiyle orduya katıldı.
İki yıllık kıta stajını Manastır'da yaptı. İttihat ve Terakki'nin Manstır örgütünün kurulmasına katıldı. 1907'de kolağası (önyüzbaşı) rütbesi alarak İstanbul Harbiye Mektebi, tabiye öğretmen vekilliğine atandı. İttihat ve Terakki İstanbul örgütünün kurulmasında görev aldı.
II. Meşrutiyet'ten sonra Edirne'de II. Ordu 3. Fırka (tümen) erkân-ı harfliğine (kurmaylığına) atandı. 31 Mart 1909 ayaklanmasında Hareket Ordusu'nda görev aldı. 1910 Arnavutluk ayaklanmasının bastırılması harekâtında çalıştı.
14 Nisan 1912'de binbaşılığa yükseldi. Balkan Savaşı'nda Trakya sınır komiseri olarak görev yaptı. 1914'te kaymakam (yarbay) rütbesiyle Birinci Kuvve-i Seferiye komutanlığıyla İran ve ötesi harekâtıyla görevlendirildi.
Bir süre sonra İstanbul Kartal'da 14. Fırka komutanlığına atandı ve Çanakkale'ye gönderildi. Kerevizdere'de Fransızlar'a karşı üç ay savaştıktan sonra miralaylığa (albay) yükseldi.
Buradan, İstanbul'da I. Ordu erkân-ı harbiye başkanlığına, sonra Galiçya'ya gidecek ordunun ve ardından Mareşal Von der Goltz'un erkân-ı harbiye başkanlığına atanarak Irak'a gitti.
1916'da Kutü'l-Amare'yi kuşatan 18. Kolordu komutanlığına getirildi ve burayı aldıktan sonra Irak'ta İngilizler'le çarpıştı. 1917'de Diyarbakır'daki 2. Kolordu komutanlığına getirildi ve Van, Bitlis, Elaziz (Elazığ) cephelerindeki II. Ordu komutanlığına vekâlet etti.
1918'de Erzincan ve Erzurum'u Ermeniler'den ve Ruslar'dan geri aldı. Ardından Sarıkamış, Kars ve Gümrü kalelerini ve Karakilise'yi (Karaköse) kurtardı. Aynı yıl mirliva (tümgeneral) oldu. Mondros Mütarekesi sırasında sadrazam olan Ahmed İzzet Paşa'nın erkân-ı harbiye-i umumiye reisliği (genelkurmay başkanlığı) önerisini kabul etmeyerek Anadolu'da görev almak istedi.
Önce Tekirdağ'daki 14. Kolordu komutanlığına, ardından da Erzurum'daki 15. Kolordu komutanlığına atanmasını sağlayarak Nisan 1919'da göreve başladı. Hazırlıkları yapılan Erzurum Kongresi'nin toplanmasında önemli rol oynadı.
Kurtuluş Savaşı'nda Edirne milletvekilliği ve Doğu cephesi komutanlığı yaptı.
Ermeniler'in eline geçen Sarıkamış, Kars ve Gümrü kalelerini geri alarak 15 Kasım 1920'de Ermeni ordusunu kesin olarak yendi. Ermeni hükümetiyle Ankara hükümeti adına Gümrü Antlaşması'nı imzaladı.
Kars'ın alınmasıyla ferikliğe (korgeneral) yükseldi. Rus Sovyet Sosyalist Federe Cumhuriyeti ve Kafkasya hükümetleriyle Kars Antlaşması görüşmelerini yürüttü. Kurtuluş Savaşı'nın bitiminden sonra I. Ordu müfettişliğine atandı.
1923'te İstanbul milletvekili oldu. 1924'te, TBMM'deki Dörtler Grubu'nu destekledi. Ardından askerlikten ayrılarak Halk Fırkası'ndan istifa etti.
17 Kasım 1924'te kurulan Terakkiperver Cumhuriyet Fırkası'nın başkanlığına seçildi.
Parti 3 Haziran 1925'te Şeyh Sait ayaklanması nedeniyle kapatıldı. Karabekir Mustafa Kemal Paşa'ya karşı yapılan İzmir suikasti ile ilgili görülerek bazı partililerle birlikte yargılandıysa da beraat etti.
Siyasi yaşamına on iki yıllık aradan sonra, 6 Ocak 1939'da İstanbul milletvekili olarak devam etti.
1946'da TBMM başkanlığına seçildi ve bu görevde iken öldü (26 Ocak 1948).
