Sullivan belegte 2005 im Doppelzweier mit Daniel Karena den Bronzerang bei den Junioren-Weltmeisterschaften. 2007 belegte er zusammen mit Nathan Cohen den fünften Platz beim Weltcup in Amsterdam. Bei den U23-Weltmeisterschaften 2007 siegte Sullivan im Einer, ein Jahr später wiederholte er diesen Erfolg bei der U23-Weltmeisterschaft. 2009 gewann er bei den U23-Weltmeisterschaften zusammen mit Robert Manson im Doppelzweier. 2010 bildeten dann Joseph Sullivan und Nathan Cohen den neuseeländischen Doppelzweier in der Erwachsenenklasse, nach einem siebten Platz beim Weltcup in München und einem dritten Platz in Luzern gewannen die beiden den Titel bei den Ruder-Weltmeisterschaften 2010 auf dem Lake Karapiro auf der Nordinsel Neuseelands. Dass Sullivan und Cohen nicht nur vor heimischem Publikum erfolgreich waren, zeigten sie 2011 mit Weltcupsiegen in Hamburg und Luzern sowie der erfolgreichen Titelverteidigung bei den Ruder-Weltmeisterschaften 2011 in Bled. Bei den Olympischen Spielen 2012 in London erruderten Cohen und Sullivan die Goldmedaille vor dem italienischen Zweier.