临沂历史悠久，是中华文明的重要发祥地之一。

在距今50万年前的旧石器早期，我们山东最早的居民就栖息在沂蒙地区的溶洞中，他们以采集和渔猎为生，以母为氏。

20万年以前，人类的祖先就在这块土地上创造了远古文明，沂水县南洼洞遗址出土的若干石器和葛氏斑鹿角化石证明，古人类在这里聚居生息繁衍，创造着物质文明和精神文明。 [4] 

10万年以前，随着族群的扩大，祖先们沿沂河沭河而下，追逐太阳而居，来到临沂地区的沂沭河大平原上定居。 旧石器时代早期的文化遗存在境内有多处发现使用文字符号，沂河和沭河流域发现的近百处细石器文化遗存，是一、二万年前的人类所创造。

1万年前，细石器时代，远古先民在沂沭河流域建立了密集的聚落群，开始驯养家畜，驯化农作物，开始了最初的原始农业活动，沂沭河流域成为我国原始农业的发源地之一，成为人类历史上第一次绿色革命的摇篮之一。

在史前阶段，先民靠他们勤劳灵巧的双手，制造出实用精美的石器、骨器、玉器等生产具和生活用品，烧造出“黑如漆、明如镜、薄如纸、硬如瓷”的蛋壳陶。采用稻米、蜂蜜和水果等原料制成一种混合型酒；这里诞生了中国最古老的文字；形成了最早的传统的礼乐制度；夯筑高台基的房屋，开创了中国古代台基式建筑的先河。

在这块土地上孕育产生了构成中华民族大一统文化主体的东夷文化，并在此基础上造就了色彩浓烈、丰富厚重的沂蒙文化，成为山东三大文化体系之一。

在距今8500年前后，东夷族群逐渐形成。他们先后历经后李文化—北辛文化—大汶口文化—龙山文化—岳石文化，开始在这片土地稳定发展。

虞夏时期

虞夏禹划九州，临沂之域构为徐州。《尚书·禹贡》记载：“淮沂其乂，蒙羽其艺。”“沂”指沂水，“蒙”指蒙山。这一记载表明，沂沭河流域、蒙山地区自古以来就是较为完整的古老文化区域。

公元前2053年大禹后裔姒少康中兴夏朝，封其次子曲烈于临沂域内的缯衍之地，以丝织品立国，故名“缯国”。

商朝时期

商朝时期，这块土地上就出现过郯、莒、费诸方国。周灭商后，临沂地域分属齐、鲁等国，见于《春秋》的还有颛臾、鄅、鄫、鄟、阳、向、郯、根牟、於馀丘等国。

周朝时期

周时沂蒙属青州。 

东周时期齐国所修筑的长城，是我国现存有准确遗迹可考、保存状况较好、年代最早的古代长城，是世界文化遗产。齐长城西起黄河东岸，沿泰沂山区分水岭向东至黄海，途经临沂沂水的穆陵关是当时的“天下第一关”。

周代初期的鄅国遗址距今3000余年历史，是临沂市历史上见于文字记载中最早的诸侯国之一，其国都被视为临沂城建城伊始。 

春秋时期

春秋时期，除上述古国外，见于《春秋》 的有启阳、中丘、祝丘、鄪、祊、防、台、东阳、武城、丘舆、向、次室、蒙、郓、堂阜、密、鄢陵等17个大的城邑。这些大城邑的出现，是经济文化发达的标志。

春秋时期，鲁国季孙斯、叔孙州仇帅师修筑启阳城作为鲁国东南屏障，成为今临沂老城的前身。

季文子在次室邑推行的“初税亩”被视为我国农业税征收的起始。

战国时期

战国时期，域内诸封国先后为齐、楚所兼并，至战国末期，南部属楚，北部属齐。 

战国末年，楚国在临沂域内设兰陵县，成为山东省境内最早设立的县邑。春申君请荀子在此治邑治学，终老于兰陵，“兰陵多学”成为这一时代的文化特征。

秦朝时期

秦朝统一后，实行郡县制，全国分为三十六郡，临沂地域属琅邪郡和郯郡。

西汉时期

西汉时，郡国并行，临沂地域分属徐州之琅邪国、东海郡、城阳国和兖州之泰山郡。

西汉时，为避汉景帝刘启名讳，启阳城更名开阳并设为开阳县。

汉武帝时设十三州部，临沂域内的郯县为徐州治所。

东汉时期

东汉承西汉制度，分属徐州之利城郡、东海郡、琅邪郡、琅邪国和兖州之泰山郡、东莞郡、东安郡和城阳国。

东汉明帝永平五年（公元62年），光武帝的儿子琅琊王刘京到琅琊国的都城莒去“就国”，不久，他上书说王宫中多不便利，请求移到开阳，明帝于是以琅琊国的华、盖、南武阳、厚邱、赣榆五县与东海郡的开阳、临沂交换。从此开阳隶属琅琊，琅琊郡改为琅琊国，开阳县成为琅琊国的都城，“琅琊”也成为临沂之代称。

三国时期

三国时期，属魏国。至魏末，分属东海国、琅邪国、东莞郡、泰山郡。

开阳一直作为琅琊国国都，封有琅琊王。 

琅琊阳都的琅琊诸葛氏族人分辅三国，其家族文化成为中国优秀传统文化的重要组成部分。

西晋时期

西晋时期，分属徐州之琅邪国、东海郡、兰陵郡、东莞郡、兖州之泰山郡。晋室南渡后，地域先后属于后赵、东晋、前燕、后燕、南燕、前秦和北魏。 [4]  其中琅琊国是晋元帝司马睿的潜邸。

东晋时期

北魏中期琅琊国改作琅琊郡，后魏置北徐州治所琅琊开阳，北周改置北徐州为沂州。

临沂的琅琊王氏家族拥护司马睿南渡建立了东晋王朝，形成了“王与马，共天下”的政治格局。

隋朝时期

隋朝分属沂州（琅邪郡）泗州（下邳郡）、密州（高州郡）、海州（东州郡）、徐州（彭城郡）。

唐朝时期

唐朝分属沂州（琅邪郡）、密州（高密郡）、徐州（彭城郡）。

宋朝时期

宋朝分属沂州（琅邪郡）、密州（高密郡）、淮阳军等。宋室南渡后，分属于金朝山东东路的沂州、莒州、邳州、泰安州。

元朝时期

元朝分属兖州府和青州府。

清朝时期

清初分属兖州府和青州府。清雍正十二年（1734年）升沂州为府，属沂州府。有兰山、郯城、费县、沂水、蒙阴、莒州5县１州。

民国时期

中华民国成立后，废府撤州，实行省、道、县三级制。

1913年撤销沂州府，改莒州为莒县。

1914年分山东省为４道，改兰山县为临沂县，临沂地域分属济宁道和胶东道。1918年撤销。

1936年划为山东省第三行政督察区。 

抗战时期

抗日战争全面爆发后，这里是中国共产党创建的抗日根据地。

1940年8月，在沂南县青驼寺成立山东省战时工作推行委员会。1943年9月改为山东省战时行政委员会。

1945年8月在莒南县大店镇成立山东省政府。在抗日战争时期，这里相继建立过30多个县级和县级以上政权机构。其中属于县级的政权组织，一般称抗日民主政府，也有一些称作行署或办事处。这些县级政权组织，都独立的发挥县级政府的作用，分属鲁中、鲁南、滨海3个行政区行署。解放战争时期，行政区划层次仍沿袭抗日战争时期，只是对区划作了某些调整。

1948年7月，鲁中、鲁南、滨海三个行政区合并为鲁中南行政区，设鲁中南行政公署（驻临沂城）。鲁中南行政区下辖7个专区，49个县。至1949年10月1日，临沂地域分属沂蒙、尼山、台枣、滨海4个专区。

中华人民共和国成立后

1950年5月，鲁中南行政区撤销。以沂蒙专区为基础，成立沂水专区，辖9县。以滨海专区为基础，成立临沂专区，辖9县。

1953年7月，沂水专区撤销，日照县划归胶州专区，所辖其余各县皆划归临沂专区。

1961年4月，临沂专区辖临沂、郯城、苍山、临沭、莒南、沂南、沂水、沂源、蒙阴、平邑、费县、日照、莒县13个县市。

1989年6月12日，国务院确定，日照市升格为地级市。12月2日，国务院确定，沂源县划归淄博市管辖。

1992年1月，莒县划归为日照市管辖。至此，临沂地区辖临沂、郯城、苍山、莒南、沂水、蒙阴、平邑、费县、沂南、临沭10个县市。

1994年12月，国务院批准撤销临沂地区和县级临沂市，设立地级临沂市。原市级临沂市分为兰山、河东、罗庄3个县级行政区。地级临沂市辖兰山、罗庄、河东3区和郯城、苍山、莒南、沂水、沂南、平邑、费县、蒙阴、临沭9县。

2013年12月27日，经国务院批准，苍山县更名为兰陵县。至2016年年底，临沂市共有156个乡、镇、街道，3990个行政村、社区。