Krstajic a Čelik Zenica csapatában nevelkedett, majd a délszláv háború idején, 1992-ben igazolt a Zentához, egy év múlva pedig a Kikindához.[1] Itt a másodosztályban játszott, de teljesítményével felhívta magára az ország két élcsapatának, a Partizannak és a Crvena zvezdának a figyelmét. Krstajic a Partizant választotta, és a fekete-fehérekkel három bajnoki címet valamint egy kupagyőzelmet ünnepelhetett. Ebben az időszakban a klubban nyújtott legemlékezetesebb mérkőzése az 1999–2000-es UEFA-bajnokok ligája sorozatban az NK Rijeka elleni találkozó volt, ahol hátvéd létére két góllal segítette 3-1-es győzelemhez csapatát.[2]
2000 nyarán a német Bundesligába, a Werder Bremenhez igazolt. Négy szezont töltött a csapatnál, és a 2002-2003-as szezonban a bajnoki címet és a kupagyőzelmet is megszerezte csapatával. 2004-ben a Schalke 04 igazolta le. Krstajic itt öt idényen keresztül játszott, alapembere, majd csapatkapitánya lett a gelsenkircheni klubnak.[3] Összesen kilenc szezont játszott a német élvonalban, ez idő alatt 243 találkozón tizennyolc gólt szerzett és a liga egyik legjobb hátvédjévé vált.
2009-ben visszatért a Partizanhoz,[4] ahol újabb bajnoki címet és a kupagyőzelmet szerzett.
A jugoszláv és a szerb színeket 59 alkalommal képviselte, két gólt szerzett címeres mezben. 1999. szeptember 5-én debütált a válogatottban. Tagja volt a 2006-os labdarúgó-világbajnokságon szereplő csapatnak. A selejtezősorozatban a Nemanja Vidic, Mladen Krstajic, Goran Gavrancic és Ivica Dragutinovic hátvédsor összesen egy gólt engedélyezett az ellenfél játékosainak. A csoportkörös kiesést követően lemondta a válogatottságot, de Javier Clemente meggyőzte a folytatásról és egészen a 2010-es világbajnoki selejtezők végéig segítette az akkor már önálló szerb csapatot.
2011 nyarán a Partizan sportigazgatója lett,[5] majd 2015-ben a bosnyák Radnik Bijeljina elnöke.[6] 2016-ban a szerb válogatott mellé került mint pályaedző, majd 2017-ben ő lett a szövetségi kapitány, és irányításával a válogatott kijutott a 2018-as labdarúgó-világbajnokságra.[7] 2019 júniusában menesztették posztjáról, miután a szerb válogatott Európa-bajnoki selejtezőn 5–0-s vereséget szenvedett Ukrajnától.[8] 2021 januárjától a Topolyai SC vezetőedzője lett.[9]