Pipeline

该存储库包含用于运行切线副本编号推断管道的代码。我们还提供了伪切线选项，适用于仅有少量正常样本的情况，通过比较肿瘤图谱进行去噪。 系统要求：- Docker桌面（社区版或企业版均可） 安装步骤：1. 将此存储库克隆或下载到本地驱动器。2. 注意，如果选择下载而非克隆，文件 ./matlab_2010b/MCRInstaller.bin 可能无法完全下载。该文件由于大小问题，托管在Git LFS上。3. 确保 ./matlab_2010b/MCRInstaller.bin 文件大小为221MB，而不是134字节。

Spark ML Pipeline（管道）是一个强大的工具，允许开发者将多个机器学习步骤组织成可执行流程，简化模型构建和调优。在这个案例中，我们专注于线性回归模型的训练，特别是通过交叉验证来优化模型参数。交叉验证通过将训练集分成多个部分进行重复训练和测试，以评估模型性能并减少过拟合风险。在Spark MLlib中，CrossValidator类提供了这一功能。例如，我们设置numFolds=5，每次训练时使用4/5数据进行训练，1/5用于测试，重复5次。我们定义了一系列参数组合，如maxIters（最大迭代次数）、regParams（正则化参数）、elasticNetParams（弹性网络参数），通过ParamGridBuilder创建参数网格进行训练。评估器使用RegressionEvaluator评估线性回归模型的性能。最终，CrossValidator选择最佳模型。