工厂噪音扰民，由县级以上地方人民政府环境保护行政主管部门责令改正，可以并处罚款。县级以上人民政府生态环境主管部门和其他环境噪声污染防治工作的监督管理部门、机构，有权依据各自的职责对管辖范围内排放环境噪声的单位进行现场检查。被检查的单位必须如实反映情况，并提供必要的资料。
《中华人民共和国环境噪声污染防治法》第四十八条 违反本法第十四条的规定，建设项目中需要配套建设的环境噪声污染防治设施没有建成或者没有达到国家规定的要求，擅自投入生产或者使用的，由县级以上生态环境主管部门责令限期改正，并对单位和个人处以罚款；造成重大环境污染或者生态破坏的，责令停止生产或者使用，或者报经有批准权的人民政府批准，责令关闭。