Prvi zapaženiji nastup bila mu je uloga Čovjeka Iz Inozemstva: kao stranac u nekom klubu bi izvodio užasno loše oponašanje poznatih ličnosti. Primjerice, najavio bi da će glumiti predsjednika
Cartera, a zatim bi lažnim naglaskom rekao: "Pozdrav, ja sam gospodin Carter, predsjednik Sjedinjenih Država. Puno vam hvala". Publika bi reagirala s bijesom zbog lošeg nastupa, ili bi čak sažalijevala nesretnog komičara koji bi se, nakon što bi bio izviždan pred svima, rasplakao na pozornici. Kasnije bi gledatelji većinom shvatili da su bili izigrani što je postao zaštitni znak Kaufmanovih nastupa. Kao Čovjek Iz Inozemstva bio je uspješan u oponašanju
Elvisa Presleya.
1975. stekao je popularnost nastupom u
Saturday Night Live, a sljedeće godine je glumio u filmu
God Told Me To. Sedamdesetih je u nastupima često surađivao s glazbenicom Laurie Anderson.