Nascida Rose Marie Mazzetta, em Nova York, ela alcançou o sucesso após atuar durante cinco temporadas do The Dick Van Dyke Show, durante a década de 1960. Depois disso, atuou em The Doris Day Show. Rose Marie foi indicada ao Emmy três vezes e ganhou uma estrela na Calçada da Fama em 2001.
Lançado este ano, o documentário Wait for your laugh, do diretor Jason Wise, conta a história de sua longa carreira na indústria do entretenimento, que começou quando ela tinha três anos. Além de atuar em séries de TV, Rose Marie também teve programas no rádio e atuou em produções cinematográficas. Entre seus trabalhos estão os filmes Psicose (1998), de Gus Van Sant, e Watchboard (1986), de Kevin S. Tenney.
A atriz faleceu em sua casa em Van Nuys, na Califórnia. Ela era viúva e deixa um filho.