天津武備学堂を卒業。1895年（光緒21年）、袁世凱が組織した新建陸軍に加入する。督隊稽査先鋒官、左翼歩兵第2営統帯、北洋常備軍軍政司参謀処総弁、天津南段警察局総弁などを歴任した。1908年（光緒34年）、布政使署理黒竜江巡撫に就任し、さらに北洋第3鎮統制に就任した。
辛亥革命勃発時には、武衛右軍右翼翼長に就任する。1912年（民国元年）、拱衛軍司令に就任した。1913年（民国2年）、江西宣撫使兼第2軍軍長となる。さらに、二次革命（第二革命）鎮圧の功績から、湖北都督に昇進した。
1914年（民国3年）、彰武上将軍に封じられ、督理湖北軍務（いわゆる湖北将軍）に就任した。1915年（民国4年）8月、鎮安上将軍に遷り、督理奉天軍務（奉天将軍）兼巡按使に就任した。袁世凱の皇帝即位を支持し、12月、一等公爵に封じられた。しかし、東北に地盤を広げようとする張作霖らから圧力をかけられ、段は1916年（民国5年）4月に、奉天将軍等を辞任した。
6月に袁世凱が死去すると、段芝貴は段祺瑞率いる安徽派に加わった。1917年（民国6年）7月の張勲復辟の際には、段芝貴は討逆軍東路司令に任命されて張勲を撃破し、輔威上将軍に封じられた。1918年（民国7年）1月、陸軍総長に就任した。翌年1月、京畿衛戍司令に異動した。
1920年（民国9年）7月の安直戦争では、定国軍西路総司令として直隷派と戦ったが敗北する。指名手配を受けた段芝貴は、天津の租界に逃げ込み、完全に政界・軍界から引退した。
1925年（民国14年）3月、死去。享年57。
中華民国・天津市
清・安徽省廬州府合肥県