Der gebürtige Brite kam erst mit etwa 40 Jahren zum Film. Er spielte Nebenrollen unter anderem in dem Thriller "Frantic" (1988), dem Drama "Barton Fink" (1991) und dem Krimi "In the Line of Fire" (1993).
Seine bekannteste Rolle war die des Martin Crane in der NBC-Sitcom "Frasier", dort spielte er von 1993 bis 2004 in mehr als 260 Episoden mit. Martin Crane ist der knurrige Vater des Radio-Seelenklempners Dr. Frasier Crane. Seine Markenzeichen in der Serie sind seine silberne Gehhilfe, sein kleiner Hund und der abgewetzte Fernsehsessel, mit dem er in die Wohnung seines Sohnes einzieht. Was den Erfolg bei Frauen angeht, stellt er diesen oft in den Schatten. Für die Rolle war Mahoney zwei Mal für den Emmy-Preis nominiert.
John Cusack, der mit Mahoney in der Jugendromanze "Teen Lover" (1989) gespielt hatte, würdigte den Verstorbenen als großen Schauspieler mit einem ungewöhnlich freundlichen Wesen. "Wann immer man ihn traf - man fühlte sich sofort besser."
