Starptautiskās Olimpiskās komitejas (SOK) kongresā 1914.gadā Parīzē apstiprināja olimpisko karogu. Bija plānots, ka divus gadus vēlāk to uzvilks mastā sestajās olimpiskajās spēlēs Berlīnē. Bet sākās Pirmais pasaules karš un olimpiskās spēles nenotika, tādēļ par tām atgādina tikai kārtas skaitlis.
Olimpiskā karoga idejas autors ir mūsdienu olimpisko spēļu iniciators Pjērs de Kubertēns. Karogs, kurā savīti pieci dažādas krāsas apļi, simbolizē olimpiskās saimes vienotību starp visu kontinentu tautām.
Pirmoreiz olimpisko karogu olimpiskajās spēlēs pacēla 1920.gadā Antverpenē, Beļģijā.