地方各级人民政府是由新民主主义革命时期的各革命根据地的人民政府发展演变而来的。中华人民共和国建立后，地方各级人民政府在全国范围内建立起来。建国初期，国家面临着彻底完成民主改革、稳定经济、开展社会主义改造和社会主义建设的艰巨任务，对外又经历了“抗美援朝”，在外交上采取了“一边倒”的方针，与苏联等社会主义国家结盟，与美英等西方国家抗衡。在这种国内、国际形势的大背景下，虽然也曾在很小范围内议论过联邦制的问题，但最终决定实行单一制，建立中央集权的中央与地方关系体制。具体体现在1954年通过的第一部《五四宪法》中。该《宪法》中规定:“全国人民代表大会、地方各级人民代表大会和其他国家机关，一律实行民主集中制。”“地方各级人民委员会执行本级人民代表大会的决议和上级国家行政机关的决议和命令。”“全国地方各级人民委员会（人民政府）都是国务院统一领导下的国家行政机关，都服从国务院。”国务院有权“改变或者撤销地方各级国家行政机关的不适当的决议和命令” 。
1950年1月6日中华人民共和国中央人民政府政务院第十四次政务会议通过的《省人民政府组织通则》、《市人民政府组织通则》和《县人民政府组织通则》规定，省、市、县人民政府行使政权的机关为省、市、县人民代表大会和人民政府，省、市、县人民政府在本级人民代表大会闭会期间即为行使政权的机关 。
1954年宪法规定，地方各级人民委员会即地方各级人民政府，是地方各级人民代表大会的执行机关，是地方各级国家行政机关，在本级人民代表大会闭会期间代行其常设机关的部分职权 。
1956年毛泽东同志发表《论十大关系》、强调要“调动两个积极性”后，中央力图从划分中央与省、自治区、直辖市行政管理职权的角度，来扩大地方管理权限，调动地方积极性。为此，国务院召开了两次全国体制会议，形成了《国务院关于改进国家行政体制的决议（草案）》，并以中共中央、国务院的名义印发各省、自治区、直辖市和中央各部委征求意见（中发[56]146号），该决议（草案）从财政、计划、工业、基本建设、科教文卫、农林水、交通运输、政法、劳动、机构编制等十二个方面六十项内容，对中央与地方的职责权限进行了具体划分，其范围涵盖了政府工作的方方面面。可以说，这是建国以来最早和最全面的一个中央与地方职责划分方案。虽然这个文件带有浓厚的计划经济色彩，虽然在以后的历史实践中因各种原因没有全部落实到位，但它毕竟奠定了我国中央与地方关系的体系框架，并且在“文革十年动乱”以后得以基本恢复，一直延续到改革开放。这个文件中提出的一些原则和方法，比如：改变中央各部门条条直接下达计划、财政指标的作法，由国务院统一下达；在机构编制方面下达总额时给地方预留有一定机动指标，并每年进行一次综合平衡，由地方自行掌握，采取上下结合、相互协调的办法进行统筹调度等等，在五十年后的今天仍然闪烁着睿智的光彩，仍然具有指导和参考意义 。 1978年宪法改变了革命委员会的性质，规定地方各级革命委员会即地方各级人民政府，是地方各级人民代表大会的执行机关，是地方各级国家行政机关。1979年制定的《中华人民共和国地方各级人民代表大会和地方各级人民政府组织法》和1982年宪法，改革命委员会为人民政府，规定县以上地方各级人民代表大会设立常务委员会，由地方各级人民代表大会选举产生的各级人民政府是同级人民代表大会的执行机关，是地方各级国家行政机关，不再行使地方各级人民代表大会常设机关的职权。地方各级人民政府对本级人民代表大会和上一级国家行政机关负责并报告工作，县级以上的地方各级人民政府在本级人民代表大会闭会期间对本级人民代表大会常务委员会负责并报告工作。全国地方各级人民政府都是国务院统一领导下的国家行政机关，都要服从国务院 。
1982年通过的《宪法》规定：“中央和地方的国家机构职权的划分，遵循在中央的统一领导下，充分发挥地方的主动性、积极性的原则。”并明确规定，国务院“规定中央和省、自治区、直辖市的国家行政机关的职权的具体划分”。这就在宪法上明确提出了“中央与地方职权划分”的命题，规定了基本原则，并明确了具体划分主体是国务院。除了建国初期起临时宪法作用的《共同纲领》外，这是建国以来首次在宪法层面提出了中央与地方划分职权的问题 。
