Coloccini begon zijn carrière als profvoetballer bij Boca Juniors in 1998. In 1999 werd hij gecontracteerd door AC Milan, maar de Italiaanse club verhuurde hem aan achtereenvolgens Boca Juniors (1999–2000), CA San Lorenzo de Almagro (2000–2001), Deportivo Alavés (2001–2002), Atlético de Madrid (2002–2003) en Villarreal CF (2003–2004). In 2004 leek Coloccini een kans te krijgen bij AC Milan, maar na in een halfjaar slechts één wedstrijd te hebben gespeeld werd de Argentijn in januari 2005 verkocht aan Deportivo La Coruña.
Coloccini verruilde Deportivo La Coruña in 2008 voor Newcastle United. Daarmee degradeerde hij in 2009 naar de Championship. Daarin werd Coloccini met de club direct kampioen, waarop een terugkeer naar de Premier League volgde. Hij verlengde in augustus 2015 zijn contract bij Newcastle tot medio 2017, met een optie voor nog een seizoen.[1] Hij had toen meer dan tweehonderd competitiewedstrijden in het eerste elftal van de club gespeeld en was uitgegroeid tot aanvoerder. Coloccini degradeerde na het seizoen 2015/16 met Newcastle United voor de tweede keer naar de Championship. Nadat directe concurrent Sunderland op 11 mei 2016 won van Everton werd het voor Newcastle één speelronde voor het einde van de competitie onmogelijk om nog boven de degradatiestreep te komen. Coloccini liet de club in juli 2016 na acht seizoenen en 248 competitiewedstrijden achter zich. Newcastle en hij ontbonden in overleg zijn contract.[2]
Coloccini tekende in juli 2016 een contract bij San Lorenzo, waarvoor hij vijftien jaar eerder al een seizoen op huurbasis speelde. In juli 2021 vertrok hij transfervrij naar competitiegenoot Aldosivi. Daar sloot hij eind 2021 zijn carrière af.