Belzer nasceu em Bridgeport, Connecticut, numa família judia, filho de Francis e Charles Belzer, um varejista de doces e tabaco. Belzer cresceu com seus pais e seu irmão mais velho, Leonard; como jovem, trabalhou entregando jornais e "foi expulso de toda as escolas que frequentou". Formou-se na Andrew Warde High School, na cidade vizinha de Fairfield. Perdeu ambos os pais ainda jovem; tinha 18 anos quando a mãe morreu de câncer, e 22 quando o pai cometeu suicídio.
Após a escola Belzer trabalhou como repórter para o jornal Bridgeport Post. Frequentou a Dean Junior College, em Franklin, Massachussetts, até ser expulso por liderar muitas demonstrações estudantis. Após abandonar a universidade, Belzer se alistou no exército americano. Por um breve período também estudou e, posteriormente, lecionou ioga; um de seus primeiros quadros de humor incluía um personagem chamado "Yogi Yogi, the Yodeler", participante de um concurso de yodeling.

Cônjuge: Harlee McBride (de 1985 a 2023), Dalia Danoch (de 1976 a 1978), Gail Susan Ross (de 1966 a 1972)
Irmãos: Leonard Belzer