Koskei maakte zijn doorbraak in 1981. Toen won hij de 800 m bij de Amerikaanse universiteitskampioenschappen en later dat jaar de 400 m bij de Keniaanse kampioenschappen. Op 26 augustus 1984 finishte hij een 800 meterwedstrijd in 1.42,28. Hiermee werd hij tweede achter Joaquim Cruz, die de wedstrijd won in 1.41,77. Deze twee tijden waren de twee snelste tijden van dat seizoen en bovendien de derde en vierde snelste tijd ooit gelopen in de atletiekgeschiedenis (na Wilson Kipketer en Sebastian Coe). Omdat Kipketer tijdens de race voor Denemarken uitkwam, gold de tijd van Sammy Koskei als Afrikaans record.[1] Pas 25 jaar later, op 6 september 2009, werd dit record, evenals zijn nationale record, hem ontnomen door zijn landgenoot David Rudisha.