1865年，段祺瑞出生于今安徽合肥市，他的爷爷段沛是李鸿章手下的淮军将领，官至记名总兵。
1885年，段祺瑞考入了李鸿章创办的北洋武备学堂。
1888年，段祺瑞以第一名的成绩被李鸿章保送到德国留学。
1895年，袁世凯在天津小站训练新式陆军，回国后的段祺瑞在荫昌的推荐下担任代理总教习。从此，段祺瑞成为袁世凯的重要帮手。
1901年，袁世凯将义女张佩衡嫁与段祺瑞为继室。
1902年，在袁世凯的保奏下，段祺瑞出任北洋军参谋处总办，全面主持编练北洋新军。
1908年，在慈禧和光绪帝先后去世后，摄政王载沣欲杀害心腹之患袁世凯，但段祺瑞制造假的兵变，致使载沣不敢动手。
1909年，摄政王载沣以袁世凯族籍为由，命其回河南老家养病，而段祺瑞常赴河南与袁世凯秘议。
1911年，武昌起义爆发后，载沣因指挥不动北洋军，被迫启用袁世凯。袁世凯出山后，即令段祺瑞为湖广总督率北洋军讨伐革命军，但段祺瑞并没有大举进攻革命军，而是与革命军秘密谈判。
1912年，段祺瑞秉承袁世凯的意图，联名46名北洋高级将领电促清帝退位。不久，隆裕太后在内外压力下，宣布清帝溥仪退位。同年，袁世凯继任中华民国临时大总统后，段祺瑞则出任陆军总长。
1915年，袁世凯图谋称帝，段祺瑞则知后，五次前去劝阻，结果三次被拒绝，两次吃了闭门羹，最后段祺瑞被迫辞职。同年，袁世凯称帝。段祺瑞出于受袁世凯几十年的知遇之恩，虽未公开声讨，但绝不参与。
1916年，袁世凯称帝败死后，段祺瑞推举黎元洪出任中华民国大总统，自己则出任国务总理。
1917年，在第一次世界大战期间，段祺瑞主张对德国宣战，但遭到了黎元洪的反对，从而引发了“府院之争”接着，张勋以调停府院之争为名，率兵进入北京，但张勋入京后却拥立了溥仪复辟，总统黎元洪也被迫流亡使馆区。同年，段祺瑞联合冯国璋将张勋击败，赶走后恢复共和。 事后，冯国璋出任总统，段祺瑞则担任总理。
1918年，总统冯国璋任期届满后，在选举第二届总统之际，段祺瑞和冯国璋相持不下。最后，段祺瑞和冯国璋约定共同下野，并选举北洋元老徐世昌为大总统。但段祺瑞下野后，仍通过自己的皖系军阀继续在幕后操纵政权。
1920年，直系军阀首领冯国璋去世后，曹锟和吴佩孚及其首领之位，二人为争夺北洋政府政权，联合奉系军阀张作霖对段祺瑞为首的皖系军阀发动直皖战争。此战皖系军阀战败，段祺瑞被迫辞职，直系和奉系共同控制了北洋政府。
1924年，第二次直奉战争爆发。此战因直军第三军司令冯玉祥阵前倒戈，致使直系军阀吴佩孚和曹锟战败。战后奉系张作霖与冯玉祥共同控制了北洋政府。为了平衡双方关系，张作霖请段祺瑞出山担任国家元首。
1926年，英、美、法、日等八大帝国主义国家向段祺瑞执政府提出拆除大沽口国防设施，否则以武力解决的“八国通牒”消息传出后，北京群众五千余人在李大钊的主持下在天安门集会抗议，要求拒绝八国通牒，而段祺瑞政府竟下令开枪，并当场打死47人，伤150多人，酿成了震惊中外的318惨案。事后，段祺瑞被冯玉祥驱逐下台，逃入东交民巷法国使馆，后又退居天津日本租界，潜心佛学，自号“正道居士”
1931年918事变后，日本人胁迫段祺瑞去东北组织傀儡政府，但遭到了段祺瑞的严词拒绝。同时，段祺瑞为避免日本人的要挟，举家迁至上海，并公开表明自己的抗日态度。
1936年，段祺瑞在上海病逝，终年72岁。