Il Giappone partecipò ai Giochi della XXI Olimpiade che si sono svolti a Montréal dal 17 luglio al 1º agosto 1976, con una delegazione di 213 atleti impegnati in 20 discipline per un totale di 119 competizioni. Portabandiera alla cerimonia di apertura fu il pallavolistaKatsutoshi Nekoda, palleggiatore della squadra vincitrice del titolo olimpico a Monaco di Baviera 1972.
Il bottino della squadra fu di 9 medaglie d'oro, 6 d'argento e 10 di bronzo, grazie alle quali il Giappone si confermò al quinto posto nel medagliere per nazioni. Le medaglie d'oro vennero dal judo, con 3 successi su 6 gare, nella ginnastica ginnastica maschile, dove i nipponici vinsero il concorso a squadre e due titoli individuali di specialità, nella lotta libera, dove vinsero due titoli, e nella pallavolo femminile. L'atleta che conquistò più medaglie fu il ginnasta Mitsuo Tsukahara che ne ottenne in tutto cinque di cui due d'oro.