柴油机型式很多，具体结构也不完全相同，但基本上由机体缸盖机构、曲柄连杆机构、配气机构与换气系统、燃油供给系统、润滑系统、冷却系统和启动系统组成。
（1）曲柄连杆机构与机体零件
曲柄连杆机构主要由活塞、连杆、曲轴及飞轮等组成。主要功用是把活塞在汽缸中的往复运动变成曲轴的旋转运动，又将曲轴的旋转运动变为活塞的往复运动，以实现工作循环并输出动力。
机体零件主要包括机体、汽缸套、汽缸盖和油底壳等。这些零件构成了柴油机的骨架，所有运动零件和辅助系统都由它来支承。
（2）配气机构与换气系统
它包括空气滤清器，进、排气管道与消声灭火器以及配气机构等。主要功用是定时地排除废气和吸进新鲜空气，同时还具有滤清空气和消声、灭火等作用。
（3）燃油供给系统
主要包括喷油器、喷油泵、调速器、输油泵、燃油滤清器及油箱等。它的功用是根据柴油机工作的要求，将具有一定压力的、干净的适量柴油，在适当的时间，以良好的雾化质量喷入燃烧室，并使它与空气迅速而良好地混合和燃烧。
（4）润滑系统
它主要由机油泵、机油滤清器、油压表及有关油道组成。它的功用是将机油送到各运动件的摩擦表面，以减少运动件的磨损，减小摩擦阻力，并有冷却、密封、防锈等作用。
（5）冷却系统
它包括水泵、风扇、水散热器、机油散热器等。其功用是将受热零件的热量散发到大气中去，以保持柴油机适宜的工作温度。
（6）启动系统
它的功用是借助于外力（人力或其他动力）将静止的柴油机正常地运转起来。由于启动方式不同，所组成部件也不同。利用电启动机启动时，它包括电启动机、蓄电池、传动装置及启动开关等；利用辅助发动机启动时，包括启动发动机、传动机构、操纵机构等。为了便于启动，多数柴油机上还设有减压机构，有的还设有预热设备。