根据《行政处罚法》第四十五条当事人对行政处罚决定不服申请行政复议或者提起行政诉讼的行政处罚不停止执行，法律另有规定的除外有：
被告认为需要停止执行的；
原告申请停止执行，人民法院认为该具体行政行为的执行会造成难以弥补的损失，并且停止执行不损害社会公共利益，裁定停止执行的；
法律、法规规定停止执行的。
所谓行政处罚追究时效，是指在违法行为发生后，对该违法行为有处罚权的行政机关在法律规定的期限内未发现这一违反行政管理秩序行为的事实，超过法律规定的期限才发现的，对当时的违法行为人不再给予处罚。
《行政处罚法》第二十九条第一款规定，违法行为在二年内未被发现的，不再给予行政处罚。第二款规定：前款规定的期限，从违法行为发生之日起计算；违法行为有连续或者继续状态的，从行为终了之日起计算。要正确理解该条的规定，应把握三点：
该条的“发现时间”是指行政机关的立案时间，不是行政机关作出行政处罚的时间；
行政处罚追究时效的期限是违法行为发生之日起计算。“违法行为之日”是指违法行为完成或者停止日。如运输违禁物品，在途中用了10天时间，应当从最后一天将违禁物品转交他人起开始计算。对于连续或者继续状态的，从违法行为终了之日起算。如某公民自从接通电源时就开始偷电，该案的行政处罚追究时效应当从该公民停止偷电之日起计算。又如某人违法占地建住宅，其行为的行政处罚追究时效应当从某人拆除住宅，退出土地之日起计算。
行政机关在行政处罚追究时效期限内发现违法行为，但最后作出行政处罚决定时超过行政处罚追究期限的，对这种情况法院不以超出行政处罚追究时效处理。