因素分析

原因分析是一种统计方法，用于描述观察到的相关变量之间的可变性，即潜在的较少数量的未观察到的变量（称为因子）。 例如，六个观察变量的变化可能主要反映了两个未观察（基础）变量的变化。 因素分析搜索此类联合变化以响应未观察到的潜在变量。 观察到的变量被建模为潜在因素加上误差项的线性组合，因此因素分析可以被认为是变量误差模型的一个特例。

简单地说，变量的因子载荷量化变量与给定因子的相关程度。

因子分析方法背后的一个共同原理是，获得的有关观察到的变量之间相互依赖性的信息可以在以后用于减少数据集中的变量集。 原因分析常用于心理测量学、人格心理学、生物学、市场营销、产品管理、运筹学、金融和机器学习。 它可能有助于处理数据集，其中有大量观察到的变量被认为反映了较少数量的潜在/潜在变量。 它是最常用的相互依赖性技术之一，当相关变量集显示出系统的相互依赖性并且目的是找出产生共性的潜在因素时使用。

该模型试图用一组 k {\displaystyle k} 公因子（ f i , j {\displaystyle f_{ i,j}} ），其中每单位的因子少于每单位的观测值（ k < p {\displaystyle k<p} ）。 每个人都有 k {\displaystyle k} 个自己的公因数，这些公因数通过因子加载矩阵 ( L ∈ R p × k {\displaystyle L\in \mathbb {R} {p \times k}} ), 对于单次观察

由此

• x i , m {\displaystyle x_{i,m}} 是第 i {\displaystyle i} 对第 m {\displaystyle m} 个体的观察值，
• μ i {\displaystyle \mu _{i}} 是第 i {\displaystyle i} 个观测值的观测平均值，
• l i , j {\displaystyle l_{i,j}} 是第 j {\displaystyle j} 个因子的第 i {\displaystyle i} 个观测值的载荷，
• f j , m {\displaystyle f_{j,m}} 是第 m {\displaystyle m} 个体的第 j {\displaystyle j} 个因子的值，而
• ε i , m {\displaystyle \varepsilon _{i,m}} 是 ( i , m ) {\displaystyle (i,m)} 均值为零且方差有限的未观测随机误差项。

我们还将对 F {\displaystyle F} 强加以下假设：

• F {\displaystyle F} 和 ε {\displaystyle \varepsilon } 是独立的。
• E ( F ) = 0 {\displaystyle \mathrm {E} (F)=0} ; 其中 E {\displaystyle \mathrm {E} } 是期望
• C o v ( F ) = I {\displaystyle \mathrm {Cov} (F)=I} 其中 C o v {\displaystyle \mathrm {Cov} } 是协方差矩阵，以确保 因子不相关，I {\displaystyle I} 是单位矩阵。

因此，根据上面施加在 F {\displaystyle F} 上的条件，

请注意，对于任何正交矩阵 Q {\displaystyle Q} ，如果我们设置 L ′ = L Q {\displaystyle L{\prime }=\ LQ} 和 F ′ = Q T F {\displaystyle F{\prime }=Q{T}F} ，作为因子和因子载荷的标准仍然成立。