「直轄」在古代稱為「直隸」。直隸制始於宋朝，北宋設「路」作為省級行政區劃，在二十三路之外，還有中央政府直接管轄的府，如北宋京師所在開封府。1946年，國民政府通過的「憲法」多次提到「直轄市」，但是在第十一章「地方制度」中只講到「省」、「縣」，無直轄市與地方（西藏）的規定。而且此後的公文中仍是採用「院轄市」一詞，因此「直轄市」並沒有落到實處。
國民政府時期曾有12個直轄市
1921年7月北京政府頒布的《市自治制》中曾規定京都市由內務部直接監督。這是提出設置由中央政府直接監督的市的第一個正式法令，但這種市是屬於自治性質的。真正在行政區劃中實行直屬於中央政府的市建制始於1926年。國民政府攻占武漢後，在漢口成立特別市政府，不屬於湖北省管轄，由國民政府直接領導，這是我國產生的第一個直隸於中央政府的市建制。
1927年，國民黨政府定都南京後，便開始設置特別市（後改為行政院直屬的院轄市，即直轄市）。到1947年，一共設立了12個直轄市：
南京：1927年5月，設南京特別市。1930年6月，改稱南京市，為行政院院轄市。
上海：1928年8月，設上海特別市。1930年7月，改稱上海市，為行政院院轄市。
北平：1928年6月，設北平為特別市，1930年6月，降為河北省轄市，11月，又改稱北平市，為行政院院轄市。
天津：1928年6月，設天津為特別市，1930年11月，降為河北省轄市。1935年6月，又改稱天津市，為行政院院轄市。
漢口（武漢）：1929年4月，設武漢為特別市（含武漢、武昌、漢陽三鎮）。1936年5月，降為湖北省轄市。1947年，又升為漢口市，為行政院院轄市。
青島：1929年7月，以日本交還的膠澳商埠設立青島特別市。1930年9月，改為青島市，為行政院院轄市。
廣州：1930年1月，設立廣州特別市。8月降為廣東省轄市。1947年，又改為廣州市，為行政院院轄市。
西安（西京）：1932年1月，決定以陝西長安為陪都，定名西京，直屬行政院。但當時只是設立了籌備委員會，並沒有成立市政府。1943年3月，批准成立西安市，隸屬於陝西省。1947年，改為西安市，為行政院院轄市。
重慶：1939年5月，設重慶市，為行政院院轄市。
大連、哈爾濱：1945年9月，抗日勝利後，國民黨政府收回了在1905年先由沙皇俄國、後為日本占領的旅順口、大連灣地區，改置為大連院轄市。同時還另外設有哈爾濱院轄市。不過當時是蘇聯紅軍占領了大連、哈爾濱（隨後是東北抗日民主聯軍進駐該市），國民黨政府實際上並沒有能夠在這兩個城市行使管轄權。
瀋陽：1947年6月，設立瀋陽市，為行政院院轄市。
