1937 in Bugojno im heutigen Bosnien und Herzegowina geboren, startete Markovic seine Karriere zuerst bei seinem Heimatclub NK Iskra Bugojno und später bei NK Celik Zenica, bevor er 1958 zu Dinamo Zagreb wechselte. Das Ende seiner aktiven Spielerkarriere bestritt er beim Wiener Sportclub (1966/67) und bei Austria Wien (1967/69).
Markovic spielte in der jugoslawischen Nationalmannschaft, mit der er bei der Fußballweltmeisterschaft 1962 in Chile den vierten Platz errang. Neben Kroatien und Österreich war er auch Trainer in Belgien und Frankreich. Von 1998 bis 2012 war er HNS-Vorsitzender.