舟山市踞于浙江省东北部的舟山群岛。远在5000多年前的新石器时代，就有人类在这里生息繁衍。

      舟山群岛春秋时属越国，称“甬东”。战国时楚灭越，便归属于楚国。秦始皇统一六国后实行郡县制，甬东为会稽郡鄮县东境地。从两汉至唐开元二十六年（738年），甬东均为大陆县治所属的东境地。开元年间正是唐朝的全盛时期，浙东采访使齐澣经实地调查，认为江浙闽沿海的行政区划不利于经济的开发，主张调整。其中一条就是析分鄮县，分置鄮县、慈溪、奉化、翁山四县。其中舟山群岛（甬东之地）设翁山县。这一奏请获得朝廷批准，公元738年翁山县正式建立，下辖富都、安期、蓬莱三乡。“翁山”一名则因境内有翁山而得。这是舟山群岛第一次建立县治，首任县令王叔通。县治初设义页河，后移于镇鳌山旁。此后的一千多年间，县治屡废屡建，逐渐巩固。

      初建县治33年后，即公元771年（唐大历六年）临海人袁晁揭竿起义，连陷浙东诸州县，并一度占领翁山，翁山县因此被撤销。此后三百年间，舟山群岛以“鄞州地”的说法行世。

      宋朝以来，国势又逐渐强盛。

      公元1073年（北宋熙宁六年）王安石在鄞州任县令，他考虑到大海中乡村治理的方便和舟山群岛的地位，上奏朝廷重置县治。宋神宗批准这一奏请，在旧翁山县地重置县治，名昌国。“意其东控日本，北接登莱，南连瓯闽，西通吴会，实海中之巨障，足以昌壮国势焉。”1079年（宋元丰二年）割定海县（今宁波市镇海、北仑两区）的金塘乡归昌国县。至此，定海县下辖富都（本岛及周围小岛）、安期（六横岛、桃花岛一带）、蓬莱（岱山岛及其东北诸岛一带）、金塘（金塘岛及周围小岛）四乡。形成了以浙江北部群岛为一整体的政权建置格局。这一格局延续至今。

      此后，宋元两朝，昌国的县制基本稳定。公元1278年（元至元十五年）因“海道险要”、“户口倍增”升县为州，名昌国州。此时，舟山有居民22600余户，126000余人。

      时至明朝（公元1368～1644年），1369年（明洪武二年）朱元璋命征南将军汤和处理东南防务。汤和部下的两个指挥官在秀山岛干预当地居民的民事纠纷，被人打死。汤和迁怒于舟山百姓，奏请朝廷说：“昌国居民外结倭寇，内多盗贼。”是“不可教化之顽民”，是“边防之大患”，执意要撤废县治，驱迁岛民。朱元璋听信了汤和的奏报，下诏撤废昌国县，所有岛民悉数驱迁到内地。诏书下达后，昌国州紫微岙人王国祚以为大谬，奔赴南京向朱元璋说理，力陈舟山岛民不可内迁的理由。为此，朱元璋作出调整，同意留下部分居民，即城区四里内的547户，8085人可以留下，其余46岛居民全部赶往内地。这就是舟山历史上著名的第一次海禁。

      昌国县废后，史书开始称昌国为舟山。“舟山”一名来自民间，或以为本岛“山形如舟”而得名，或以为“渔舟云集于此”停泊而得名。

      迁徙的命令虽然颁布实施了，县治也没有了，但实际上不少居民陆续返岛，逐渐打破了限制，沿海渔民也不可避免地到舟山靠泊，或为避风，或为淡水食品的补给。至明嘉靖年间（1522－1566）舟山群岛又有居民6005户。

      明末清初，部分明末遗臣拥戴鲁王朱以海“监国”，于1649年（清顺治六年）移驻舟山，与清朝展开攻守战，前后延续十多年，直至清康熙初年。

      1662年（清康熙元年），郑成功（南明延平郡王）收复被荷兰人侵占的中国领土台湾，此后，郑成功子孙以台湾为基地同清政府对峙。为了断绝郑氏集团的粮饷和军用物资供给，清政府下令禁海。在这次海禁中，北自天津南至广东，沿海岸线订定界桩，严禁一切船只出海贸易、捕捞；沿海及各岛屿居民内迁30～50里，在沿海一带形成一个无人区。舟山群岛上所有的居民都迁入内地。这就是舟山历史上著名的第二次海禁。这次海禁持续了20年。

      1683年（清康熙二十二年）台湾收复，海宇廓清，浙江巡抚赵士麟、总兵孙惟统奏请展复舟山。1686年总兵黄大来奏请设立县治。

      1687年（清康熙二十六年）县治设立，县名定海。康熙题“定海山”扁额。他以为“舟”是动的物体，不太平，不如以“定”为好，“海定则波宁”。于是将原来的定海县（今宁波市镇海、北仑两区）改名为镇海，定海一名专称舟山群岛上的县治，以祈“海波永定”。这是舟山群岛上第三次建县。

      1840年（清道光二十年）鸦片战争爆发，定海沦落。1841年4月，英军在定海民众的抗击下退出定海。为加强防务，清政府将定海县升为直隶厅，隶属浙江省。1841年9月，英军再度进攻舟山，定海总兵葛云飞偕寿春总兵王锡朋、处州总兵郑国鸿，率军民抗击，是为震惊中外的“鸦片战争定海保卫战”。

      英军占领定海后的第六天，在定海设立政府，调守备丁尼士总理一切事务。1842年又宣布定海与香港为自由贸易港。1846年（清道光二十六年）三月十二日，依据《退还舟山条款》，英军退出舟山，被英国占领近五年的定海重回祖国怀抱。

      1911年辛亥革命爆发。民国元年（1912）11月（清宣统三年九月）定海光复，改定海直隶厅为定海县，直至解放前夕的1949年7月。1949年7月（民国38年）国民党当局析定海县为定海、 滃州两县。 滃州县治在岱山岛高亭镇。与此同时，人民政权——定海县人民政府在宁波庄桥宣告成立。1950年5月舟山群岛解放，县人民政府迁至定海镇鳌山麓。滃州县废除。

      解放以来，舟山群岛的渔业经济迅速发展，国防上的地位更显突出，建制逐步升级。

      1953年2月，中共浙江省委报请政务院成立舟山专区。6月10日政务院批准，舟山专区辖定海、普陀、岱山（三县均系原定海县分析）、嵊泗（由江苏省松江专区划入）4县。1954年4月增辖象山县（由宁波专区划入）。1958年10月，象山县从舟山专区划出，归入台州专区。

      1958年11月，定海、普陀、岱山、嵊泗4县合并，建立舟山县，直属浙江省。1960年1月，舟山县归属宁波专区。11月，嵊泗人民公社划归上海市管辖。1962年5月，撤销舟山县，恢复舟山专区和定海、普陀、岱山县，增设大衢县（由岱山县的衢山区和嵊泗的大小洋山、滩浒、徐公岛组成）。嵊泗列岛从上海市划归舟山专区管辖，恢复嵊泗县建置。1964年大衢县撤销。1967年3月起，舟山专区改为舟山地区。