回归分析

回归分析是一组统计分析方法，旨在对因变量（通常也称为解释变量或回归变量）和一个或多个自变量（通常也称为解释变量或回归变量）之间的关系建模。 执行回归用于定量描述关系或预测因变量的值。 回归分析最常见的形式是线性回归，其中用户根据一些数学标准找到最适合数据的直线（或更复杂的线性函数）。 例如，普通最小二乘法计算一条xxx的线（或超平面），它是真实数据与该线（或超平面）之间偏差的平方和， 最小化残差平方和。 由于某些数学原因，当自变量取一组特定值时，用户可以估计因变量的条件期望值。 不太常见的回归形式使用略有不同的技术来估计替代位置参数（例如分位数回归）或估计更广泛类别的非线性模型的条件期望值（例如非参数回归）。

回归分析主要用于两个概念上不同的目的。 首先，回归分析通常用于估计和预测，其用法与机器学习领域有很大重叠，另请参见符号回归。 其次，在某些情况下，回归分析可以用来推断自变量和因变量之间的因果关系。 重要的是，回归本身仅揭示给定数据集中一个因变量与一个或多个自变量之间的关系。 为了使用回归进行预测或推断因果关系，从业者必须仔细证明为什么现有关系在新环境中具有预测能力，或者为什么两个变量之间的关系具有因果关系解释（相关性和因果关系）。 如果用户想使用观察数据估计因果关系，后者尤为重要。

通过添加决策规则，回归成为分类过程。

回归方法有许多实际应用。 大多数应用程序属于以下类别：

• 预测：各个回归参数 β 0 , β 1 , … , β k  的估计值较小对于预测很重要，因为 x 变量对响应 y 的总影响。 尽管如此，好的估算器应该具有很高的预测能力。
• 数据描述练习与解释：统计学家使用估计模型来总结和描述观察到的数据。
• 参数估计：估计参数的值 β ^ 0 , β ^ 1 , … , β ^ k 可能对假定模型具有理论意义。
• 变量选择：目的是找出每个单独的预测变量 x j 在响应变量 y 的建模中的重要性。 被认为在解释 y 的变化中起重要作用的预测变量被保留，而那些对解释 y 的变化贡献不大的预测变量被省略。
• 控制输出变量：假设目标变量和预测变量之间存在因果关系（即因果关系）。 然后可以使用估计模型通过改变输入变量来控制过程的输出变量。 通过系统的实验，有可能实现最佳输出。

在每个统计程序的开始都有数据的准备，特别是

• 合理性检查。 这里检查数据是否可追溯。 这可以根据验证规则手动或自动完成。
• 如何处理缺失数据。 不完整的数据记录往往被遗漏，有时缺失的数据会按照一定的程序补上。
• 数据的转换。 发生这种情况的原因有多种。 例如，它可以提高数据的可解释性或可视化。 它还可用于将数据转化为满足回归过程假设的形式。 在线性回归的情况下，假设自变量和因变量之间存在线性关系以及同方差性。 有一些数学工具可以找到合适的变换，例如 Box-Cox 变换关系的线性化。
• 考虑相互作用（使用线性回归）。 除了自变量的影响外，还同时考虑了多个变量的影响。

在实践中，用户首先选择一个模型进行估计，然后使用所选的估计方法（例如，普通最小二乘法估计）来估计该模型的参数。

在统计的不同应用领域中，使用不同的术语来代替因变量和自变量（参见预测变量和响应变量）。