Der 1948 im US-Bundesstaat New Jersey geborene Avery hatte zunächst in der US-Armee gedient, bevor er Schauspieler geworden war. Mit der Erfolgsserie "Der Prinz von Bel-Air" feierte er in den 1990er Jahren als strenger, aber auch liebenswerter Onkel des heutigen Hollywood-Stars Will Smith seinen Durchbruch.
Später spielte er in zahlreichen Filmen und Fernsehserien mit und arbeitete auch als Synchronsprecher für Zeichentrickserien. Erst im Herbst hatte er seinen letzten Film "Wish I Was Here" abgedreht.