Sarp begon zijn professionele carrière bij Gaziosmanpaşaspor waar hij van 1999 tot 2002 actief was. In 2002 ging hij naar de toenmalige tweedeklasser Mersin Idman Yurdu om daar twee jaar te spelen. In 2004 ging hij naar Ankaraspor om voor de eerste keer in de Süper Lig te spelen. Nog in hetzelfde seizoen ging hij naar Kayseri Erciyesspor waar hij 36 wedstrijden had gespeeld. Aan het begin van het Süper Lig 2007/08 seizoen werd hij getransferd naar Bursaspor waar hij 4 gele kaarten kreeg in het hele seizoen. Op 2 september 2011 werd Sarp verkocht aan Samsunspor.
