Фрейзър беше роден на 12 януари 1944 г . в Бофорт, Южна Каролина. Той печели олимпийска титла за САЩ в Токио през 1964 година. Веднага след игрите преминава при професионалистите. Шест години по-късно Джо става световен първенец в тежка категория, след като нокаутира носителя на титлата Джими Елис.
Шампионът нанася първото поражение на Али в епична 15-рундова битка в зала "Медисън Скуер Гардън" на 8 март 1971 година, останала в историята като "Боят на века". След мача и двамата постъпват в болница.
През 1973 година Джо Фрейзър отстъпва шампионския пояс на Джо Форман. След няколко опита да си върне титлата и две загуби от Али, Фрейзър прекратява кариерата си през 1976-а. Той записва 32 победи, 4 загуби и един равен мач. Единствено Форман и Али успяват да победят Джо.
След това Фрейзър става мениджър на сина си Марвис, който е известен в профибокса единствено с тежките си загуби с нокаут от Лари Холмс и Майк Тайсън. Дъщерята на големия шампион също надяна ръкавиците. Жаклин Фрейзър загуби от дъщерята на Али - Лейла, по точки през 2001 година.