公务员所从事的行政管理工作与法律有着不可分割的关系。由于行政权力客观上存在易腐性、扩张性以及与个人权利的不对等性，因而必须对其加以监督和制约。
在各类监督方式中，最有效、最直接的监督就是行政法监督。行政法通过规定行政权力的范围、行使方式及法律责任等内容，可以达到有效监督行政主体、防止行政权力违法或滥用的目的。
行政法保护公民、法人或其他组织的合法权益，主要包括两个方面的内容：一是通过赋予行政机关合法权限并监督其行使，来保障公民、法人或其他组织各项政治权利、经济权利和社会权利的实现；二是通过赋予公民、法人或其他组织对行政行为的监督权，行政权力行使过程中的参与权，特别是对行政行为侵犯其合法权益的提起复议权、诉讼权和要求赔偿权，来保护自己的合法权益。
公务员与法的关系有两种：一是公务员是法的执行者；二是法对公务员有着特定的要求与规范。
行政机关是执行法律的机关，公务员是执行法律者，公务员的这种执法者身份暗含着他本身更要严格地遵守法的规范。法律对公务员更加严格规范与要求，其目的就在于使公务员做到更公正有效地执行法律。公务员与法律的这两种关系是相辅相成，不可分割的。公务员职业的法律属性决定了公务员必须承担特定的法律责任。
对法律负责意味着公共行政组织和公务员行为都要在法律的管制范围内进行。当然，基本的法律责任是拥护宪法和遵守与宪法相一致的相关的部门法等。
在我国，规定公共行政法律责任主要有行政法和以国家公务员制度为核心的行政法规，这些法律法规都是我国公务员承担法律责任的依据。
行政合法，意味着政府和公务员的一切行政行为和行政程序都必须符合行政法的规定和要求，在法律法规规定的范围内行使权力，避免行政权力越位、错位和缺位等现象。