1902年6月28日オハイオ州リブリー生まれ。
1937年12月2日ニューヨークにて結核の合併症のため死去。35歳。
音楽一家の出で、父ルーク・スミス・シニア (Luke Smith, Sr.) は地方のバンドリーダーだった。
兄弟のうち、ジョーの他に6人がトランペット奏者となったが、プロとなったのは3人でそのうちの一人が
フレッチャー・ヘンダーソンの楽団に一緒に在団したこともあるラッセル・スミス (Russell Smith) である。
初めはセントルイスや地方で巡演していたが、ニューヨークに出て1920年ドラムのカイザー・マーシャルの楽団に入り、
続いてフレッチャー・ヘンダーソンの楽団に加わった。
ヘンダーソンはルイ・アームストロングの才能を認めながらも最もお気に入りのトランぺッターとして彼の名を上げていたという。
一時ノーブル・シスルの楽団に移ったこともあったが28年10月まで弟のラッセルと共にフレッチャー・ヘンダーソンの楽団でプレイした。
また、一方、ベッシー・スミス、エセル・ウォーターズなどのブルース歌手の伴奏でも素晴らしい演奏を聴かせた。
特にベッシーとの共演盤で名を上げたといわれる。
29年マッキニーズ・コットン・ピッカーズに加わったが30年12月に再びヘンダーソンの楽団に戻った。
30年代同楽団で巡業中病魔に侵され以降ニューヨーク・ロングアイランドの病院暮らしを余儀なくされた。
評論家粟村政昭氏は、「ビックス（・ベイダーベック）のエッセンスをそのまま黒人流に消化したようなデリケートで
ソウルフルな彼のプレイは、スイング時代の初期に咲いた白い一輪の日陰の花であった」とベタ褒めである。
「ベッシー・スミス物語第2集/エニー・ウーマンズ・ブルース」(CBS SONY SOPB 55026)
"Fletcher Henderson ／A Study in frustration" CD-2
「RCAジャズ栄光の遺産シリーズ第9巻／ザ・ビッグ・バンド・イーラ」（RCA RA-47）
”Bessie Smith／The collection”(Columbia CK 44441)
"Bessie Smith／Nobody's blues but me"(CG 31093)