Com 385 atletas do Brasil escalados em todas as modalidades, os brasileiros completaram a melhor performance nos Jogos Pan-Americanos de sua história em 1963, quando São Paulo foi a sede da competição. Embora não tenha ameaçado o primeiro lugar dos Estados Unidos, o Brasil ficou em segundo no quadro de medalhas, com 14 medalhas de ouro, 20 de prata e 18 de bronze.
O principal destaque brasileiro na competição foi a já consagrada tenista Maria Esther Bueno, que ganhou a medalha de ouro em simples e a prata nas duplas, ao lado de Maureen Schwartz.
A seleção de futebol também fez bonito e pela primeira vez conquistou a medalha de ouro. O Brasil terminou o torneio invicto com quatro vitórias e um empate, incluindo uma goleada por 10 a 0 sobre os EUA. No time, dois jovens jogadores que se consagrariam como campeões da Copa do Mundo de 70, no México: Carlos Alberto Torres e Jairzinho.
O time masculino de basquete, no entanto, ficou devendo. Os brasileiros tinham conquistado um título mundial no mesmo ano e ainda buscaram uma medalha de bronze olímpica no ano seguinte, mas não conseguiram ficar em primeiro no Pan: acabaram com a prata, atrás dos EUA.
Depois de oito anos sem alterações, o programa dos Jogos abriu espaço para uma nova modalidade: o judô. Foi uma estréia modesta: apenas três países (Brasil, Estados Unidos e Uruguai), em um total de 11 atletas, participaram da competição, que foi realizada em apenas um dia. O Brasil levou uma medalha de ouro, no peso médio, com Lhofei Shiozawa.
Já no salto triplo, pela primeira vez em quatro edições o campeão não foi o brasileiro Adhemar Ferreira da Silva, que não competiu em São Paulo. O norte-americano William Sharpe ganhou o ouro com um salto de 15,15m.
Ainda no atletismo, a final da prova dos 200m foi disputadíssima. Três atletas cruzaram a linha de chegada com o mesmo tempo, 21s2. Só o photochart definiu que o venezuelano Rafael Sandrea ficaria com o ouro; o norte-americano Ollan Cassell, com a prata; e o venezuelano Arquimedes Herrera, com o bronze.
No levantamento de peso, o antilhano José Antonio Flores quebrou o recorde mundial na prova de desenvolvimento, categoria pesado ligeiro (até 90kg), levantando 162,5kg. Apesar disso, ele ficou com a medalha de prata que, na época, só era dada para quem alcançasse o melhor desempenho geral em cada categoria. O ouro ficou com o norte-americano Bill F. March.
A única construção realizada para competição foi a Vila Pan-Americana, que serviu de hospedagem para todos os atletas participantes. Construída em tempo recorde, hoje ela pertence à Cidade Universitária da Universidade de São Paulo.
Já na parte esportiva, foram adaptados o ginásio e o velódromo do Ibirapuera, o Autódromo de Interlagos, instalações do Palmeiras, do Paulistano, do Pinheiros e do Pacaembu, além do Jockey Club, da Hípica Santo Amaro, da Sociedade Hípica Paulista, da Academia Militar das Agulhas Negras (AMAN), em Resende, no Rio, entre outros.
Os poucos investimentos e o desempenho acima da média tiveram conseqüências positivas para o Comitê Olímpico Brasileiro (COB). A competição acabou com um superávit e o COB investiu o dinheiro extra na compra de sua primeira sede própria, no centro do Rio de Janeiro.
A Cerimônia de Abertura dos IV Jogos Pan-Americanos começou em Brasília e terminou no Estádio do Pacaembu, que recebeu um público de 40 mil pessoas para a festa. A chama olímpica foi acesa na capital por um grupo de índios Carajás, que usou o método tradicional do seu povo para acender o fogo, ao som de "Canto do Pagé", do compositor Heitor Villa Lobos. De lá, passou por Goiânia, Uberlândia, Uberaba, Ribeirão Preto e Limeira antes de entrar no estádio nas mãos do velocista José Telles da Conceição.
Sob salva de tiros de Artilharia e revoada de pombos, foram hasteadas as bandeiras Olímpica e Pan-Americana. Amaury Passos, campeão mundial com a Seleção Brasileira de basquete em 1959, no Chile, fez o "juramento do atleta". Para encerrar a cerimônia, todos os presentes ao estádio ouviram o Hino Nacional Brasileiro.
Vale destacar que o Pan de 1963 foi o primeiro a ter disputa entre duas candidatas. A cidade de São Paulo venceu por 18 votos a 5 a disputa contra Winnipeg, no Canadá. A definição ocorreu dias antes do começo dos Jogos Pan-Americanos de Chicago, no VII Congresso Esportivo Pan-Americano.
| País | Total | ||||
| 1º | Estados Unidos | 106 | 56 | 37 | 199 |
| 2º | Brasil | 14 | 20 | 18 | 52 |
| 3º | Canadá | 11 | 27 | 26 | 64 |
| 4º | Argentina | 8 | 15 | 16 | 29 |
| 5º | Cuba | 4 | 6 | 4 | 14 |
Número de países: 22
Países: Antilhas Holandesas, Argentina, Bahamas, Barbados, Brasil, Canadá, Chile, Cuba, El Salvador, Equador, Estados Unidos, Guatemala, Guiana, Jamaica, México, Panamá, Peru, Porto Rico, Trinidad e Tobago, Uruguai e Venezuela.
Total: 1.665
Atletas do Brasil: 385
Número de esportes: 19
Esportes: atletismo, basquete, beisebol, boxe, ciclismo, esgrima, esportes aquáticos (natação, saltos ornamentais, nado sincronizado, pólo aquático), futebol, ginástica, hipismo, judô, levantamento de peso, lutas, pentatlo moderno, remo, tênis, tiro esportivo, vela e vôlei.
Esporte estreante: judô