Tijdens de bespreking van de kwestie van het houden van de III Olympiade, besloot het Internationaal Olympisch Comité deze te organiseren op het grondgebied van de Verenigde Staten, aangezien dit land goede resultaten liet zien tijdens de twee vorige spelen. Aanvankelijk wilden ze de Olympische Spelen houden in Chicago of New York, maar daardoor viel de keuze op het kleine havenstadje St. Louis.
De III Olympiade in St. Louis, samen met de Olympische Spelen van Parijs, werd gehouden in het kader van de Wereldtentoonstelling. Het lokale management van de tentoonstelling beschouwde het echter niet als een concurrent, maar probeerde integendeel op alle mogelijke manieren de spellen te gebruiken voor hun eigen reclamedoeleinden. Bovendien herhaalden de organisatoren enkele fouten van de Olympische Zomerspelen van 1900 in Parijs. Door gehechtheid aan de Wereldtentoonstelling werden de wedstrijden naar de achtergrond geduwd en duurden de Olympische Spelen zelf bijna 5 maanden (1 juli - 23 november 1904). Veel wedstrijden werden gehouden onder leiding van verschillende professionele organisaties, maar desondanks kregen ze allemaal de titel van Olympische disciplines.
Volgens het IOC namen 12 landen deel aan de St. Louis Summer Games. De enige staat die de wedstrijd voor het eerst bijwoonde, was Zuid-Afrika. In vergelijking met de Olympische Spelen van Parijs is het aantal deelnemende landen drastisch gedaald. De 13 staten die deelnamen aan de Zomerspelen van Parijs konden om economische redenen niet naar St. Louis komen. Rusland, dat op dat moment in oorlog was met Japan, nam niet deel aan de competitie.
In totaal namen 651 mensen deel aan de III Olympische Zomerspelen, waaronder 6 vrouwen. Ze streden om 94 sets prijzen in 18 sporten. Het meest talrijk was het team van de Verenigde Staten van Amerika, zij vertegenwoordigden 533 mensen bij de spelen. In veel sporten (boksen, worstelen, waterpolo, boogschieten en tennis) traden alleen Amerikaanse atleten op, dus de spelen toonden duidelijk de superioriteit van het land aan.
In St. Louis begonnen ze voor het eerst de drie, niet twee, atleten toe te kennen die het beste resultaat lieten zien. De hoofdwinnaar van de wedstrijd kreeg een gouden medaille; de atleet die de tweede plaats behaalde - zilver; en de derde plaats werd bekroond met een bronzen medaille. Deze traditie is tot op de dag van vandaag bewaard gebleven.
In het onofficiële teamevenement werden de deelnemende landen als volgt gepositioneerd: I plaats - VS (78 gouden, 82 zilveren, 78 bronzen medailles), II plaats - Duitsland (4 gouden, 4 zilveren, 5 bronzen medailles), III plaats - Cuba (4 gouden, 2 zilveren, 3 bronzen medailles).
