多维空间的推广中，第一主成分$y_1$的方差最大，反映了最丰富的信息量。如果第一主成分仍不足以反映所有原始变量的信息，接着考虑选择第二主成分$y_2$，它在剩余线性组合中具有最大的方差，并且与$y_1$不相关。若第一、第二主成分仍不足以反映所有变量信息，再考虑选择第三主成分$y_3$，$y_3$在剩余组合中方差最大，并且与$y_1$、$y_2$不相关。依此类推，可以得到全部$p$个主成分，它们的方差逐次减少。在实际应用中，通常选取前几个主成分进行分析，以简化数据结构。