1942-ben kezdett el futballozni az ÚTSE csapatánál, majd 1946 és 1949 között a Wolfner együttesében szerepelt. 1949-ben igazolt az Újpesthez (később Újpesti Dózsa), ahol hamar a kezdőcsapatba került, elsősorban középhátvéd, illetve balhátvéd poszton játszott. Legnagyobb sikerét is itt érte el, amikor 1960-ban a csapat megnyerte a magyar bajnokságot.
1966-ban kezdett el edzősködni, először a Vác csapatánál, majd 1968 és 1969 között a BEAC vezetőedzője volt. 1970-ben visszatért az Újpesthez, amelynek tartalékcsapatát vezette. Szakedzői diplomáját eközben szerezte meg 1972-ben a Testnevelési Főiskolán. 1973-ban nevezték ki az Újpesti Dózsa vezetőedzőjévé. Edzői sikerei is az Újpesthez kötik, mivel Várhidi 1980-ig tartó vezetőedzői időszaka alatt a csapat négy bajnoki címet nyert. Utána 1981-től három évig Gödön edzősködött, majd 1985 és 1986 között Kuvaitban dolgozik. 1987-ben visszatért a Gödhöz, majd 1990 és 1995 között az Elektromos edzéseit irányította. Ezután vonult nyugdíjba.
↑1949–50: Újpesti TE, 1950–56: Bp. Dózsa, 1956–90: Újpesti Dózsa néven
↑„...egy tősgyökeres újpesti házaspárnak, Vinkovics Józsefnek és Mészáros Juliannának fiúgyermeke született, aki a Pál nevet kapta. Akkor még a szülők nem sejthették, hogy fiuk milyen karriert fut majd be labdarúgóként és edzőként egyaránt. Neve összeforrt az Újpesttel, a klubhűség szobrát róla lehetne megmintázni. ... Háromsaroknyira az Újpesti-stadiontól, a Tinódi utcában születtem. Később a Nádor, végül a Temesvári utcában laktunk.” Gál László: Az Aranycsapat elfeledett legendái. Tóth II. József és Várhidi Pál élete. Halmay könyvek 7. (Budapest, 2015) 32–33. o.