初等矩阵都是可逆矩阵。是否可逆看它的行列式是否为零，因为初等矩阵行列式都为1，所以都可逆。初等矩阵是一个n阶单位矩阵E经过一次初等行变换。从正交矩阵的构成定理来看，要求矩阵里的每个元素的绝对值都不能够大于1，三类二阶及以上初等矩阵除掉单位矩阵显然均不会满足这一点。
初等矩阵都可逆，初等矩阵的逆矩阵其实是一个同类型的初等矩阵（可看作逆变换）。例如，交换矩阵中某两行（列）的位置；用一个非零常数k乘以矩阵的某一行（列）；将矩阵的某一行（列）乘以常数k后加到另一行（列）上去。若某初等矩阵左乘矩阵A，则初等矩阵会将原先施加到单位矩阵E上的变换，按照同种形式施加到矩阵A之上。或者说，想对矩阵A做变换，但是不是直接对矩阵A去做处理，而是通过一种间接方式去实现。
初等行变换不影响线性方程组的解，也可用于高斯消元法，用于逐渐将系数矩阵化为标准形。初等行变换不改变矩阵的核（故不改变解集），但改变了矩阵的像。反过来，初等列变换没有改变像却改变了核。
