Sylla debuteerde in 2011 voor het Guineese Horoya AC. In 2012 trok hij naar het Franse Toulouse. Op 4 mei 2013 vierde hij zijn debuut voor Toulouse in de Ligue 1 tegen Lille OSC. In het seizoen 2013/14 dwong hij onder Alain Casanova een basisplaats af.