Fezen bliver ofte forbundet med Mellemøsten og Nordafrika, men den kegleformede hovedbeklædnings ophav er stærkt omdiskuteret.
Ifølge nogle kilder blev fez-lignende hatte brugt allerede i oldtidens Grækenland, mens andre peger på Balkanhalvøen som fezens arnested.
Under alle omstændigheder vandt fezen først for alvor popularitet under Osmannerriget, som strakte sig fra Egypten i syd til Østrig i nord.
Blandt osmannerne blev fezen forbundet med modernitet og var en populær hovedbeklædning blandt mænd i alle hjørner af det enorme rige – ofte som et alternativ til turbanen, der blev opfattet som gammeldags.
Pudsigt nok blev fezen selv med tiden et symbol på konservatisme og tilbageståenhed – bl.a. i Tyrkiet, hvor fezen blev forbudt og erstattet af vestlige hatte efter Osmannerrigets sammenbrud i 1922.
Fezen har fået sit navn efter byen Fez i Marokko, hvor det røde farvestof til hattene oprindeligt blev produceret.