当事人如果对行政处罚决定不服，可以进行申请行政复议，或者是提起行政诉讼。一般来说认为行政机关作出的警告或者是处罚有违相关法律的，可以直接向法院提起行政诉讼，也可以向上级政府或者是主管部门提起行政复议。
当事人对行政处罚决定不服申请行政复议或者提起行政诉讼的，行政处罚不停止执行，法律另有规定的处罚。
1、公民、法人或者其他组织对行政机关所给予的行政处罚，享有陈述权、申辩权;对行政处罚不服的，有权依法申请行政复议或者提起行政诉讼。
2、 行政处罚决定依法作出后，当事人应当在行政处罚决定的期限内，予以履行。
3、当事人对行政处罚决定不服申请行政复议或者提起行政诉讼的，行政处罚不停止执行，法律另有规定的除外。
有下列情形之一的，公民、法人或者其他组织可以依照《中华人民共和国行政复议法》申请行政复议:
(一)对行政机关作出的警告、罚款、没收违法所得、没收非法财物、责令停产停业、暂扣或者吊销许可证、暂扣或者吊销执照、行政拘留等行政处罚决定不服的;
(二)对行政机关作出的限制人身自由或者查封、扣押、冻结财产等行政强制措施决定不服的;
(三)对行政机关作出的有关许可证、执照、资质证、资格证等证书变更、中止、撤销的决定不服的;
(四)对行政机关作出的关于确认土地、矿藏、水流、森林、山岭、草原、荒地、滩涂、海域等自然资源的所有权或者使用权的决定不服的;
(五)认为行政机关侵犯合法的经营自主权的;
(六)认为行政机关变更或者废止农业承包合同，侵犯其合法权益的;
(七)认为行政机关违法集资、征收财物、摊派费用或者违法要求履行其他义务的;
(八)认为符合法定条件，申请行政机关颁发许可证、执照、资质证、资格证等证书，或者申请行政机关审批、登记有关事项，行政机关没有依法办理的;
(九)申请行政机关履行保护人身权利、财产权利、受教育权利的法定职责，行政机关没有依法履行的;
(十)申请行政机关依法发放抚恤金、社会保险金或者最低生活保障费，行政机关没有依法发放的;
(十一)认为行政机关的其他具体行政行为侵犯其合法权益的。
一般来说，行政诉讼或者是行政复议都是对于行政机关所开除的处罚或者是通知有所不服，或者是因为行政机关没有履行好自己的法定职责。具体相关行为需要根据当事人所进行提起的复议或者是诉讼实际案例来进行最终确定。