主條目：古代奧林匹克運動會
在奧林匹亞全盛時期訓練運動員的地方根據希臘神話，大力神赫拉克勒斯在奧林匹亞贏得了一場比賽的勝利後下令，類似的比賽應該每四年在奧林匹亞舉行一次。另一個傳說則稱，宙斯在戰勝泰坦巨人克洛諾斯后創立了奧林匹克運動會。奧運會的起源還有一個傳說：公元前9世紀的Elidos爆發內戰，Elidos的國王Iphitos於是詢問女祭司，如何才能使人民免予戰亂。女祭司告訴他必須為眾神舉辦運動會。國王於是決定每四年舉辦一次運動會，交戰的各方同意在運動會期間停止戰鬥，並且把運動會命名為“奧林匹克”，因為希臘的奧林匹斯山是眾神聚集之地。
運動會是在祭神的奧林匹亞舉行，那裡有一個12米高的用象牙和黃金鑄成的宙斯神像，這個神像是世界七大奇迹之一。
第一個有文字記載的奧運會於公元前776年舉行，但是我們可以確定之前奧運會就已經存在了。當時只有短跑(希臘人稱之為“斯泰德”Stadion，意為“場地跑”，英語中“體育場”stadium一詞就出於此)一個項目，長度為192.27米，因為這是大力神腳長的六百倍。奧運會每四年舉行一次，後來希臘人還將奧運會作為一種計算時間的方式，一個“奧林匹亞”就是兩次奧運會之間的時間——4年。
後來，其他項目逐漸地加入到奧運會中：拳擊、摔跤、混斗(合併拳擊和摔跤的運動)和田徑(包括場地跑、跳遠、標槍和鐵餅)。新項目的加入使得運動會的長度從1天延長到5天，其中3天有比賽，其他2天則從事宗教活動。最後一天所有的參賽選手都可以參加一場盛宴，享用在比賽第一天時供奉給宙斯的100頭牛。奧運會項目獲勝者的獎品是橄欖枝編成的花環以及莫大的榮譽。雕塑家們還為獲勝者雕刻人像。古人曾經約定奧運會舉行期間，各城邦互不交戰，久而久之，橄欖枝就成了和平的象徵。
許多人以為在奧運會期間所有的戰爭都必須停止，其實不一定，不過參賽的士兵可以被允許脫隊，而且在進入敵軍的陣地時不會被攻擊。
公元393年，羅馬帝國皇帝狄奧多西一世廢除奧運會，認為這是一項“異教徒的活動”。
現代奧運會
現代奧運會的創始人，皮埃爾德顧拜旦男爵15世紀的文藝復興使得許多歐洲人開始重新讚揚奧林匹克精神。意大利的馬泰奧帕爾米里亞在1450年提出要提倡奧運會的和平與友誼的精神；德國人庫齊烏斯花了多年時間挖掘古希臘的奧林匹亞村，他在1852年1月在柏林宣讀了考察報告，並建議恢復奧運會。
被尊稱為“現代奧林匹克之父”的法國教育家皮埃爾德顧拜旦於1892年在索邦大學大禮堂首次公開提出恢復奧運會，並把範圍擴大到全世界。1894年，顧拜旦致函各國體育組織，邀請他們參加在巴黎舉行的國際體育大會。在同年6月16日舉行12國的代表在巴黎舉行了恢復奧林匹克運動大會。會議決議每四年舉行一次全球範圍的奧林匹克運動會。6月23日，國際奧林匹克委員會成立，希臘人維凱拉斯出任主席，顧拜旦任秘書長，並親自設計了奧運會的會徽、會旗。會議還通過了奧林匹克憲章。1896年，第一屆現代奧林匹克運動會終於在希臘雅典正式舉行。並決定此後每4年舉行一次，會期不超過16天。
歷屆奧運會從1896年開始，其中第6屆(1916年)、第12屆(1940年)、第13屆(1944年)由於戰爭的原因沒有舉行，但是屆數仍然按照順序排列。
1896年奧運在1896年4月5日舉行，雖然只有13個國家300名運動員參加，但是它第一次成為了國際性的比賽。這一屆的冠軍沒有金牌，因此不能被稱作“金牌獲得者”。在這一屆奧運會上，也確定了奧運會由奧委會的各成員國輪流舉辦的原則。
1900年奧運第一次有女子運動員參加，這也是女子進入體育運動的開始。1912年奧運首次實行了限制職業運動員參賽的規定。從這屆開始，國際奧委會對女子參賽由默認轉為公開支持的態度。
1908年奧運時，在聖保羅大教堂舉行奧運會的宗教儀式上，美國賓夕法尼亞州大主教在佈道詞中說，奧運會“重要的是參與，不是勝利”，顧拜旦很欣賞這句話，以後多次引用，使得不少人認為這句話應該成為奧林匹克理想。1913年，為了宣傳奧林匹克精神、鼓勵參賽運動員，由顧拜旦提議，經國際奧委會批准，將“更快、更高、更強”(拉丁文:Citius、Altius、Fortius)作為奧林匹克格言。
1920年奧運為了紀念在第一次世界大戰中喪生的人們，在開幕式上點燃了火炬，這一形式也被以後的奧運會承襲下來。本屆奧運會還首次採用了國際奧委會會旗——奧林匹克五環旗。此外，開幕式上的運動員宣誓儀式和閉幕式上的會旗移交儀式也是從這一屆開始的。1936年奧運首創了火炬接力並在開幕式上點燃火炬的儀式。1968年奧運增加了裁判員宣誓。
自1964年奧運以降，耗資日益巨大，使得許多國家都不敢申請。美國舉辦的1984年奧運大膽革新，引入商業模式，最後獲得2.25億美元的盈利，首開奧運會獲利的先河。