O boxe começou a ser praticado no Brasil por volta de 1920, (ano em que foi reintegrado por definitivo o esporte nos Jogos Olímpicos) nas cidades de São Paulo e Rio de Janeiro. A primeira entidade de boxe surgiu em 5 de março de 1933, quando foi fundada a Federação Carioca de Boxe, que também filiou-se no mesmo ano à Confederação Latino-Americana. A Federação Carioca foi reorganizada em 3 de agosto de 1935, com a denominação de Federação Brasileira de Pugilismo, posteriormente entitulada Confederação Brasileira de Pugilismo, em 1941. Em 1998, uma mudança nos estatutos alterou a denominação para Confederação Brasileira de Boxe (CBBoxe), que cuida especificamente do boxe olímpico ou amador.

Em Olimpíadas, Ralph Zumbano, Vicente dos Santos, Manoel Francisco do Nascimento e José Nascimento Dias foram os quatro primeiros atletas que defenderam o Brasil, nos Jogos de Londres-1948. Zumbano conseguiu a melhor campanha, com duas vitórias antes da derrota para o húngaro Tibor Csik. Em Helsinque-1952, o número de lutadores do Brasil cresceu para sete. Pedro Galasso, Celestino Pinto, Alexandre Dib, Paulo de Jesus, Nelson Andrade, Lucio Grotone e Jorge Isaías de Carvalho foram os nomes do Brasil na Finlândia.

Uma das maiores promessas de medalha nos Jogos Olímpicos foi Éder Jofre, em Melbourne-1956. Jofre venceu a primeira luta, mas foi derrotado no combate seguinte pelo argentino Cláudio Barrientos.

A maior alegria do boxe amador brasileiro, porém, ficou por conta de Servílio de Oliveira. Nos Jogos da Cidade do México, em 1968, ele conseguiu finalmente a primeira (e até agora única) medalha olímpica. Na semifinal, perdeu para o mexicano Ricardo Delgado e ficou com o bronze na categoria mosca.

Um dos nossos maiores lutadores foi Acelino Freitas, o Popó, dono de quatro cinturões pelas organizações mundiais de boxe profissional. Popó nunca esteve em uma Olimpíada, e tem uma medalha de prata do Pan de Mar del Plata-1995.

Valdemir Pereira foi à Olimpíada de Sydney-2000, e caiu na segunda rodada. Pouco menos de cinco anos depois, ele seria o quarto brasileiro na história (após Jofre, Miguel de Oliveira e o próprio Popó) a conseguir um título mundial profissional.

O último desempenho brasileiro em competições de grande porte foi na edição do Pan de 2007, no Rio de Janeiro. O país obteve um ouro, uma prata e seis bronzes. O ouro foi obtido por Pedro Lima na categoria entre 64 kg, a prata foi conquistada por Everton Lopes na categoria 57 kg, e os bronzes pelos pugilistas James Dean Pereira, Davi Souza, Myke Carvalho, Glaucélio Abreu, Rafael Lima e Antônio Nogueira.

Para as Olimpíadas de Pequim-2008, o Brasil será representado por seis atletas: Paulo Carvalho, Robson Conceição, Robenilson Vieira, Everton Lopes, Myke Carvalho e Washington Silva - os dois últimos estiveram nos Jogos de Atenas, em 2004, mas não obtiveram sucesso.