Rayo Vallecanon menestys on ollut paljon vaatimattomampaa kuin sen paikallisvastustajien Realin ja Atléticon. Seura nousi pääsarja Primera Divisióniin ensimmäistä kertaa kaudeksi 1977–1978, ja piti paikkansa kolmen kauden ajan. 1980-luvun Rayo Vallecano vietti Segunda Divisiónissa ja 1990-luku oli seuralle aaltoliikettä Primera Divisiónin ja Segunda Divisiónin välillä.[2] Noustuaan Juande Ramosin valmentamana takaisin pääsarjaan kaudeksi 1999–2000 Rayo jopa johti sarjaa neljän kierroksen ajan ja sijoittui lopulta historiallisesti yhdeksänneksi.[3]
Vuonna 2000 Rayo Vallecano sai UefanFair Play -arvonnassa paikan kauden 2000–2001 Uefa-cupiin, jossa se pudotti Constel·lación, Molden, Viborgin, Lokomotiv Moskovan ja Bordeaux’n ennen puolivälierätappiota tulevalle loppuottelijalle Alavésille.[4] Myöhemmin seura ajautui vaikeuksiin ja kärsi kaksi peräkkäistä putoamista, kauden 2002–2003 päätteeksi Segunda Divisióniin ja kauden 2003–2004 päätteeksi Segunda División B:hen. Kaudeksi 2008–2009 Rayo palasi jälleen Segundaan.[2]
Ska punk -yhtye Ska-P:n debyyttialbumilla Ska-P (1994) julkaistu kappale ”Como un rayo” on omistettu äärivasemmistolaisesta kannattajakunnastaan tunnetulle seuralle. Rayo Vallecano oli vuonna 1989 auto-onnettomuudessa Madridissa menehtyneen englantilaisen Laurie Cunninghamin viimeinen seura.