九一八事变后由大日本帝国扶植的傀儡政权满洲国于1932年3月1日建立[1]，日本在黑龙江省北部开始着手建设北黑铁路。规划北安至黑河的北黑铁路全长302.9公里，线路起点为当时海克铁路（海伦-克山）的北安站。向北跨越讷谟尔河，经过龙镇，穿越小兴安岭山区，由辰清到逊河南岸的孙吴，再延伸至黑河（瑷珲）与黑河码头支线相接以抵达黑龙江南岸为止。1933年8月，北黑铁路建设正式开工，首段仅建设自北安至辰清段，线路全长136.8公里，工程于1934年11月完工投入运营。
1934年5月开始，北黑铁路在原有基础上由辰清继续向黑河方向展筑，1935年2月展筑工程完工，北黑铁路实现全线贯通试运营。1935年12月1日，北黑铁路全线正式投入运营。全线当时共设有车站20座，桥梁29座，隧道1座。
1945年8月，进入中国境内作战的苏联红军对北黑铁路实行军事管制，并在同年冬季黑龙江江面结冰期间，在冰面上修筑了临时铁路，将北黑铁路与黑龙江对岸的苏联铁路连接，运送“战利品”。
1946年4月，苏联红军撤离中国前，再次在冰封的黑龙江冰上修筑临时铁路，并将北黑铁路全线拆除，将路轨、机车、车辆、钢制桥梁及车站和铁路沿线能拆卸、启运的一切设备全部运到苏联。
1949年春季，北黑铁路进行了简易修复，可勉强通车，在将黑河以东牡丹江木材厂的原木加工成枕木运出后，当年秋季又将铁路拆除。
1963年5月，北黑铁路全线重建工程正式开工。同年9月，北安至龙镇间63.5公里线路铺轨通车，10月开始由龙镇向聚盛方向展筑，展筑线路长度7.8公里。次年8月，北安至龙镇间开始办理临时运营业务。
1965年11月，北安至聚盛间全长71.3公里的线路实现全线通车，1966年1月正式投入运营。但是不久之后因中苏交恶等原因，龙镇至聚盛间7.8公里的路轨再次被拆除。
随着中国与苏联关系不断紧张恶化，北黑铁路龙镇以北直至黑河段的复建工程被长期搁置。
1986年7月15日，北黑铁路龙镇至黑河段复建工程正式开工。1989年9月19日全线竣工，同年12月14日开始投入运营。
