虽然八路军早在平型关战役就曾经和日军掷弹筒交过手，但是真正认识到它的厉害还是在百团大战的关家垴战役中。当时日军数万军队为了报复百团大战而发动了大扫荡，其中冈崎大队（600多人）与崛田大队（200多人）二个营孤军深入八路军腹地，在关家垴被八路军优势部队团团围住。
彭老总下令129师务必全歼这股日军，不然从师长起全体军法处置。结果这支没有重武器只有几挺重机枪和几个掷弹筒的冈崎大队，居然凭借关家垴的优势地形居然挡住了129师长达三天的强攻，并且造成八路军的严重损失，其中25团、38团负伤的有1570人，牺牲500多人，其他参战的还有第772团、第769团等都有相当的伤亡，伤亡总数超过3000人。日军伤亡也很重，冈崎大队长自己被击毙，日军能够作战剩下不到百人。 关家垴战役中，日军的掷弹筒虽然弹药不足，但是对密集冲锋的八路军战士造成的伤亡仍然非常严重。在日军掷弹筒的打击下，部分八路军连排最后剩下不到三分之一的战士。战后八路军高层人员开始重视掷弹筒的作用，经过详细分析以后，他们认为对付日军掷弹筒最好办法只能是仿制相同的装备（这点和国军方面的认识相同）。
同时掷弹筒重量轻且威力大，之前准备时间又短，非常适合八路军展开的游击战。当时八路军由于中期的扩编，兵员素质和装备水平比起抗战初期已经有很大的下降。大多数八路军士兵战前没有超过十发的实弹射击（部队子弹缺乏，战斗都不够，哪来练习），这样的士兵用世界其他国家的观点来说，连民兵都不能算。同时八路军的步兵装备主要是步枪，手榴弹和少量轻机枪，虽然也有少量迫击炮但是炮弹奇缺。这样的装备是无法和装备精良的日军在远距离作战的，所以八路军只能采用近距离突袭作战的方式，以削弱敌人火力的优势。
当时的日军士兵后来在回忆录中写到：八路军是不到150米不开枪，在这突发的枪声面前如果不迅速作出反应，那么几分钟以后，八路军就已经端着刺刀冲到你眼前。
这种方法一度非常有效，八路军甚至用一部分新兵手持长矛埋伏在路边后配合主力部队冲锋（步枪数量不足），消灭过日伪军一支百人的运输队。但是，日军在后期调整了战术，大量使用掷弹筒以克制八路军的密集冲锋。由于掷弹筒射速很快，优秀射手每分钟可以达到20多发，在八路军战士冲锋的几分钟内，掷弹筒已经可以射出大量的榴弹。一发榴弹杀伤半径就有八米左右，一发榴弹往往就可以造成冲锋的八路军士兵数人的伤亡。一段时间八路军伤亡较为严重，其中伤亡于掷弹筒下的高达35%。
八路军高层鉴于此，于1940年10月下令，要求八路军军工部门立即仿制。当时接到命令的八路军军工部长刘鼎很快依靠自己的丰富经验和缴获的日军掷弹筒的原物，于1941年4月仿制出第一款自己的掷弹筒，一共有40门，八路军方面称为五零小炮。在五零小炮的研制期间，八路军的军工人员克服了许多旁人看来无法逾越的技术障碍，让各方都大为震惊。吃到苦头的日军甚至惊呼，八路军在太行山上兴建了现代化兵工厂，拥有先进设备与外国专家。
其实整个研制过程极为艰难，主要的问题在于原料和加工方法。 当时八路军的根据地在落后的中国也是属于贫穷的地区，掷弹筒体所需要的钢管根据地根本无法得到。而自行制造就需要大量的钢材和较为复杂的工艺。当时根据地无法炼钢，唯一的钢材来源是通过拆卸日军控制的铁路的钢轨。
拆卸工作一般由当地的民兵和老百姓完成，之后将钢轨和八路军军工部门换取步枪和手榴弹。日军由于钢轨的丢失曾经多次沿着铁路发起扫荡和屠杀，这个原料来源也是不容易的。
解决了弹筒材料的问题，弹药材料问题又出现了。由于弹药对于原料的需要量更大，我们得到钢轨数量又非常有限，不可能使用钢轨作为弹药的材料。设计人员再三考虑，决定用太行盛产的白口生铁为原料。但是传统工艺生产白口生铁是当地农民用土法冶炼出来的，含碳量高，铁质非常脆，一经机器加工弹体就会发生碎裂，无法使用。刘鼎部长在留学德国的冶金工程师陆达和技术工人孙兆熙的反复试验的基础上，使用国外黑心韧化处理工艺与传统焖火技术相结，解决了弹体脆弱的问题，1941年就生产了4万枚掷弹筒榴弹，尽可能的满足前线的需求。 解决了原材料的问题，加工技术的问题又凸现了出来。制造掷弹筒体也遇到很多难题，比如没有点焊焊接技术，锻接粘合造出的弹筒又无法经受高温等，设计人员都用惊人惊讶的想象力将其解决，并且通过多次改进加快了生产速度。另外，日军八九式掷弹筒是为了增加精度是有膛线的，榴弹上也有相应地有紫铜制的弹带。根据地的技术力量无法制造膛线，也没有紫铜资源（平时战士作战连子弹铜壳都要尽量捡回来）。设计人员经过研究，决定效仿国军的民国二十七年式，放弃线膛结构，采用滑膛结构。但是又借鉴国军掷弹筒射程近的缺点，将五零小炮的发射筒长度由日制的280毫米增加到400毫米，筒壁也相应加厚，保持了500米的射程。后来八路军又对五零小炮进行了多种改进，生产出精度更高的按式发火掷弹筒，60毫米口径掷弹筒，甚至还有可以用来平射打碉堡的掷弹筒，总之成为了自己的一个系列产品。
从1941年处到抗战结束的1945年，仅八路军总部军工部各厂就生产掷弹简2500具、炮弹20万发，装备近30个团。其中129师等八路军主力部队基本做到每个战斗班配备一个，很大程度上缩短了和日军之间的火力差距。 国共双方互相争夺华北和东北的日军控制的据点，国军在山海关以内占到了很大便宜。由于侵华日军总司令冈村宁次是一个极端反共人士，他并没有遵守日本参谋本部秘密下达的日军华北方面军向八路军投降，从而充实八路军实力，让国共内战更为激烈，日本坐享其成的命令。而是命令侵华日军一律向国军投降，如果遇到八路军强制命令投降，日军就必须立即抵抗。美国也使用飞机帮助国军抢占大城市，结果全国除了张家口以外的大城市全被国军占领，不过八路军也占领了大多数华北的中小城市，得到了相当的日军装备。
至于在山海关外，十多万八路军抢占东北以后，实力大增。其中苏联转交给日本关东军最大的苏家屯仓库，八路军就得到步枪2万支，机枪1000挺，150门火炮和数百万发各种弹药。还有在苏军协助下，八路军解除锦州伪满一个守备旅的武装，就得到了步枪3000多支，机枪200多挺，火炮数十门，还有100多箱炮弹和500万发子弹。整个东北八路军在入关几个月内就得到步枪超过12万支，得轻重机枪3500余挺，得掷弹筒近千支，并得各种炮492门。
1947年国军装备4万具掷弹筒，于重轻机枪之比是1：2，而解放军只有5000具，约是国军的1/8，这一年解放军生产掷弹筒榴弹16万发，主力部队每个班都配备一个掷弹筒。
到了1948年随着前一年解放军转入战略反攻，在1946年7月到1948年7月的两年时间中，解放军总共缴获国军步枪九十万余支，机枪六万四千余挺，迫击炮八千余门，步兵炮五千余门，山炮、榴弹炮、加农炮一千一百余门，掷弹筒近二万支。通过歼灭国军后缴获和自己控制的东北大型军工厂的大量生产，掷弹筒的数量和国军基本相当，全年生产榴弹十几万发。到了1949年，解放军在三大战役歼灭国军近二百万主力，在掷弹筒的数量上也大大占了优势。
虽国军方面然战败，但是整个内战期间，国军方面共生产掷弹筒8万多具，榴弹60多万发。但是随着内战的结束，到了1950年底，掷弹筒及其弹药开始退出解放军装备序列。
到了朝鲜战争时期，入朝的大多数部队都撤销了掷弹筒班。比如38军每个步兵连撤消掷弹筒班，增设1个60迫击炮排（3门制）。但是由于60迫击炮数量不足，对掷弹筒实战性能的肯定。38军步兵连取消掷弹筒编制后，仍然有少量的掷弹筒被基层干部以“战损”名义，悄悄留了下来。据史料记载，三次战役后，38军113师仍有少量的此种装备。 主要还是其自身的缺陷所致。
掷弹筒的主要缺陷在于其瞄准和精度上。掷弹筒没有类似于迫击炮一样的精确瞄准器，它只能进行概略的瞄准。简单的来说，就是射中不射中，主要靠的是射手的感觉和经验。虽然在有经验的老兵手中可以做到每发必中，但是如果由没有经验的新兵来发射，很容易造成每发都不中的情况。
日军到了太平洋战争和东南亚战争的后期，由于老兵大多在之前的战斗中阵亡，新兵无法又有效操作掷弹筒，大大减弱了步兵的火力。当时就有日军高层建议取消掷弹筒的观点。
另外，掷弹筒的虽然有膛线，但是炮管很短，会造成精度不够。而发射掷弹筒时必须一手扶住筒身，射击的后坐力难免会导致手的震动，造成筒身在发射一瞬间的抖动，使得精度的严重下降。
还有，随着迫击炮技术的飞速发展，迫击炮的价格重量逐步和掷弹筒接近（苏联在二战期间生产了多达82.5万门迫击炮），加上迫击炮有射程和精度上的优势，掷弹筒的淘汰看来是在所难免的。
