ARMA模型的全称是自回归移动平均(auto regression moving average)模型，它是目前最常用的拟合平稳序列的模型，它又可细分为AR模型(auto regression model)、MA模型(moving average model)和ARMA模型(auto regression moving average model)三大类。
具有如下结构的模型称为 阶自回归模型，简记为：
如果一个系统在某时刻的响应与其以前的响应无关，而与其以前进入系统的扰动存在一定的相关关系，这一类系统则称之为移动平均MA系统。
这是因为是由一系列的及其滞后项的加权和构造而成。这里的“移动”指的变化，而“平均”指加权和。
一般移动平均模型由部分构成，形成如下：
为了分析的方便将其表述为与系统因素的延迟项一致，即将模型中各加号改为减号有：
用滞后因子表示为：
把具有如下结构的模型称为自回归移动平均模型，简记为：
引进延迟算子，模型简记为：
式中：
，为阶自回归系数多项式。
，为阶移动平均系数多项式。
限制条件
条件一：
这个限制条件保证了模型的最高阶数。
条件二：
这个限制条件实际上是要求随机干扰序列 为零均值白噪声序列。
条件三：
这个限制条件说明当期的随机干扰与过去的序列值无关。 ARIMA模型又称自回归求和移动平均模型，当时间序列本身不是平稳的时候，如果它的增量，即的一次差分，稳定在零点附近，可以将看成是平稳序列。在实际的问题中，所遇到的多数非平稳序列可以通过一次或多次差分后成为平稳时间序列，则可以建立模型：
这说明任何非平稳序列只要通过适当阶数的差分运算实现差分后平稳，就可以对差分后序列进行ARIMA模型拟合了。
模型是指阶差分后自相关最高阶数为，移动平均最高阶数为的模型，通常它包含个独立的未知系数：。它可以用最小均方误差原则实现预测：
用历史观察值的线性函数表示为：
式中，的值由下列等式确定：
如果把记为广义自相关函数，有
容易验证的值满足如下递推公式：
那么，的真实值为：
由于的不可获取性，所以的估计值只能为：
真实值与预测值之间的均方误差为：
要使均方误差最小，当且仅当，所以在均方误差最小原则下，期预报值为：
预测误差为：
真实值等于预测值加上预测误差：
其中，预测误差的均值和方差分别为：
