新华社武汉2月4日电题:关键时期的关键之举——中国工程院副院长、呼吸与危重症医学专家王辰回应武汉疫情防控焦点问题

新华社记者张旭东、赵文君、方亚东

研究者们入门数据科学世界时,意识到的第一件事便是,拥有训练和验证机器学习模型的独立数据集,至关重要。但是要实现这一点,很不容易。尽管我们对于为何要对数据集进行划分的背后有一个简单的直觉,然而深入理解这一困扰这个行业的问题,仍存在许多阻碍。

在展示最终结果之前,需要提前说明一件重要的事:这个实验可能偏向于支持我的论点:

对于理想的损失曲面,超参数当然是“独立的”,意思是超参数与损失的之间没有相互作用项。这类函数的等高线不会对角突出,如下图所示:

我和一些专家在2月1日到达武汉,经过调研后发现当前最紧迫的任务,是解决病毒的社会传播和扩散问题,目前家族式聚集发病形势很严峻。如果大量轻症患者居家或疑似病人在社区游动,会成为疫情扩散的主要源头,而且在医院床位紧缺的情况下,这些患者若得不到有效收治会陷入困境甚至生命危险。这是传染源控制不力,是社会和专业干预不够的表现,要采取强有力乃至较为极端的专业措施。如果不介入,后果会更严重。

根据我们对验证集泄漏的理解,我们期望的结果是:随着调整的增加,验证集和测试集之间的性能差距将不断扩大。在实验中,“更多的”调整定义为通过5个不同的超参数进行更多次的随机搜索迭代。迭代次数越多,就越有可能在验证集上找到更理想的结果。如果心理模型的部分最优值真的来自非泛化的验证数据异常,那么我们期望在测试数据上不要出现这种性能提升。

新华社记者:医护工作者如何工作?效率如何?

为了回答这个问题,考虑单个超参数的验证性能。现在,将目标函数的每个值都视为获得了来自泛化特征和验证集数据异常的贡献。

王辰:我来武汉后,没舍得轻易扔过口罩,保护好、可再利用。不是病房、医院等要害地方,一般的室外环境使用普通医用口罩就可以了。这些紧缺物资应该优先保障一线医护工作者。经过各地驰援,现在物资有所缓解,但捐赠能达到专业级的、生物安全防护等级的口罩、防护服还是当前急需。

“把核酸检测的量提上去,提高检测率、确诊率;把所有的确诊轻症患者统一集中收治隔离,以免造成更大范围的扩散,这是当前打赢疫情防控阻击战的两大关键问题。”

王辰:如果说“核酸检测对患者进行确诊”和“启用方舱医院”是当前排名前两位的关键举措的话,第三个举措就应该是加强防护服和医用口罩的供应保障,现在依然紧张。

需要注意的是:虽然损失可以根据数据和模型参数显式计算,但损失与模型超参数之间联系更不直接。如果你对此感到困惑,不妨回顾下生物学家使用适应度曲面( Fitness Landscapes)将繁殖成功作为遗传因素的函数。必要时你可将超参数函数(和数据)的损失和“模型适应度曲面”的损失,视作相同的。

换句话说,就是将每个超参数视为一个旋钮。我们要做的就是不断调整每个特定旋钮,直到找到最佳位置。

新华社记者:大量患者收治在方舱医院会否造成交叉传染?

王辰:方舱医院有几方面突出优势:能在很短时间内,以最小的成本,解决大量轻症患者的收治问题。场所在极短时间,甚至24小时内就可以改建,疫情结束后也可以低成本恢复。有望以高速度低成本高效益的做法,取得控制传染源、救治患者的两大目标。

如果我们已经调优了一个超参数子集,然后再调优另一个超参数集,或者尝试切换使用的模型族,验证集和测试集间的性能差距会更加显著。根据数据样本(验证集)做出的每个决策,都会将该样本的随机波动缓慢地编码到结果中。

尽管我们通常将损失曲面视为模型参数函数,但也可将它们视为超参数函数。

最重要的是,所有现有数据的损失曲面与真实环境中的潜在“总体”数据的损失曲面不同。我们之所以同时需要验证集和测试集,是因为如果随着时间的推移验证集确实泄漏了信息,那么我们仍需要一些数据来无偏估计模型在真实环境中的性能。

二、面向心理模型:假设独立的超参数

损失曲面是可以通过梯度下降或其他方法(例如模拟退火、演化方法)进行遍历的函数。即使你要处理的函数通常位于高维空间中, 这样命名让我们不由得根据物理直觉来思考它。

方舱医院是医疗场所,起到集中收治、隔离的效果,患者能得到基本医疗照顾。若出现病情加重,就有医护人员进行识别,及时转诊到正规医院接受强化医疗。

对于该问题的回答当然是肯定的。这会导致验证集过拟合,并且这已经不是新鲜事了。这里本文我尝试探索一些方法来思考为什么会发生这种情况,并希望通过这样做,还能开辟出一条更深入地理解过拟合和数据划分的道路,而不仅仅是讨论上面这两个人们为准备面试而需要了解的命题陈述。

王辰:相比隔离密闭的小病房空间,除收治患者量大以外,方舱医院的病房是开放式的,看护效率可以大大提高,医生和护士可以照顾更多的患者。由于是轻症患者,一般情况下病人可以自理,并给予口服药、肌肉注射等必要的医疗护理,如果病友间互助性强一些,还可以参照社区互助模式。当然,达到这一目标还有很多具体工作要做。目前,这些方舱医院正与当地以及北京等外地的一些医疗队加紧结对,协同完成任务。

新华社记者:面对武汉医护资源紧缺,还有什么应急举措?

新华社记者:启用方舱医院将如何收治病人?医疗流程是怎样的?

专业防护服和医用口罩仍是当前医护急需物资

数据科学家 Ray Heberer 专门撰写了一篇文章来介绍验证集目前存在的一些问题,并表达了自己的看法:验证集如今变得不再有新意。

雷锋网原创文章,。详情见转载须知。

新华社记者:现在最需要做的是什么?

现在要意识到的关键是,每个数据集分区都会有独立的损失曲面,而训练集、验证集和测试集的损失曲面完全不同。如果数据已经被很好地分割,那么每一组数据就都是一个有代表性但不相同的样本。

作为反馈,在这里向大家提出以下问题:如果你要优化的一个超参数实际上不能从数据(例如 random_state)中学习泛化特征,针对这种情况优化验证损失会产生什么影响?

王辰:对于社区传播疫情,目前严重且情况并不甚清楚,绝对不能轻视。现在还没有判断疫情传播高峰、拐点的依据。大疫时期最有效的办法,一是控制传染源、二是救治患者。当前,国家已经采取了普遍延长放假等举措,这是果断之举、英明之举。随着各项有效措施的扎实推进,效果会得到体现。我们要团结一心向前看,共克时艰。

如果你熟悉机器学习,尤其是研究过神经网络和梯度下降算法,以及阅读过下面这篇关于梯度优化算法的(文中有丰富的可视化图片和动画)文章,那么你对损失曲面概念一定不陌生。

当我们根据验证集数据每次都将旋钮调至最佳值后,会发生什么呢?

我认为部分原因是,“提问-回答”的思维定式仍然主导了我们的集体认知,例如“过度拟合验证数据”和“验证集泄漏信息”没有视觉或经验直觉的支持。

接下来进行一个关于梯度提升回归模型(Gradient Boosting Regression Model)上执行的调整量以及验证集和测试集性能之间的差距的快速实验。其中选择使用梯度提升算法的原因,是它是具有大量超参数的主流模型。

在中央赴湖北指导组的推动下,武汉市从2月3日起迅速协调集中收治确诊轻症病人的大型医疗场所,将会展中心、体育场馆等改造成方舱医院。目前已经改造成的3家方舱医院(洪山、江汉、东西湖方舱医院)新增4300张床位,用于集中收治确诊轻症患者。根据需要,一些大型仓库等公共场所还可以继续启用。

这就是变得有趣的地方:回想一下,每个数据集都有自己的损失曲面。现在想象在调节的每个旋钮之后叠加这些函数的投影。然后让我们选择用于确定最佳超参数值的验证数据的损失曲面,和全部总体数据的假设损失曲面,它是我们期望的模型最优结果,也是测试集的估计(如果采样正确)。

归根结底,我们在此讨论的是一个心理模型,正如 George Box 的著名格言所说的:

迅速地把确诊的轻症病人都收治起来,给予医疗照顾,与家庭与社会隔离,避免造成新的传染源,至关重要。据此,我们提出这方面的建议举措。方舱医院的做法对当前疫情防控具有重要意义。

这实际上是我第二次尝试解释超参数调整与验证集过拟合现象之间的关系。而难以置信的是,我们很难清楚地解释相对简单的潜在直觉想法。

本文首先将探讨损失曲面(Loss Landscapes)的概念,以及如何利用样本曲面与总体曲面之间的关系理解验证集泄漏。在此过程中,将基于一些简化的假设来开发有用的心理模型(Mental Model )。最后,将通过一个快速的实验来验证我们的理解。

2月4日,武汉。中国工程院副院长、中国医学科学院院长王辰,这位非典时期曾担任北京医疗专家组组长的呼吸与危重症医学专家就当前疫情防控的焦点问题接受了新华社记者的专访。

很高兴看到数据社区提出一些其它想法!   雷锋网(公众号:雷锋网)雷锋网雷锋网

团结一心向前看,共克时艰

你可以怀疑这些结论是否适用于除我选择的特定数据集以外的其它数据集!我鼓励你提出自己的实验并分享你的结果。

“此趟冬季跨年旅游专列的开行,是乌铁国旅与富蕴县共同开发旅游资源的初次合作。明年,我们将继续利用乌鲁木齐至富蕴县开通火车的契机,依托富蕴县和阿勒泰地区丰富、独特的旅游资源,加强与富蕴县的合作。”新疆铁路旅游发展有限公司旅游事业部副总经理林闻介绍道,乌鲁木齐铁道国际旅行社将结合当地节日、庆典、假日等时机,串联阿勒泰、富蕴两地旅游景区,研发和设计各类主题游专列产品,持续发挥铁路旅游“引流入富”的推动作用,促进当地经济发展,不断深化“坐着火车游新疆”品牌。(完)

当然,通过使用大型验证集可以减少验证集泄漏的风险,但我使用了小数据来进行训练和验证,即“波士顿的房价”数据集,为的是能够轻松地演示过度调整小的验证集的情况。

作为数据科学家,我们不能不通过实验就阐述一个观点。要求超参数之间没有任何交互作用,是过于严格的。尽管这对于开发心理模型很有用,但最好有一些经验结果表明这种想法能扩展到没那么理想的场景。

启用方舱医院切断传染源

在这里,特别细心的读者可能会问:“如果验证和总体损失曲面没有全部重合,那为什么峰值的重合要少于其他点的重合呢?”这是一个很好的问题,并且开始测试我们开发的心理模型的局限性。

如图所示,当我们投入越多的精力用于优化超参数和根据验证集性能选择模型时,验证集和测试集之间的性能差距就越大。

尽管本文是为了更深入、更初级的解释超参数调整和过拟合验证集之间的关系,但我们仍有更多角度空间和思考方式。 Cassie Kozyrkov 最近发布了一篇文章,将教学和《憨豆先生》进行类比,对数据集分割进行了有趣的论述:

所有模型都是错的,但有些是有用的。

我希望这是思考验证集过度拟合背后机制的一种有用方法。

然而在对样本数据的划分上,往往受限于一些过时的规则以及思维定式的限制,在划分验证集以及解决验证集目前存在的一些问题上,面临着比较大的阻碍。

新华社记者:身处武汉您佩戴的还是普通医用口罩,为何不是N95之类的专业口罩?

可能的结果是验证集和“总体”损失曲面不太一致。当每次我们调整一个超参数值使验证集的损失曲面达到峰值时,我们可能已经越过“总体”损失曲面的峰值。调整得越多,越过的峰值就越多。这将导致验证集和实际性能(由测试集估计)之间的差距越来越大。

进入冬季,富蕴县的旅游热潮持续升温,越来越多的游客涌向这里挑战寒极,感受泼水成冰的震撼体验。这得益于阿富准铁路富蕴至准东段建成开通,铁路交通将成为富蕴县旅游业快速发展的新引擎。在12月30日富蕴至准东铁路开通当日,新疆铁路旅游发展集团有限公司与富蕴县共同开展第九届冰雪节之系列活动——“乐享冰雪”专列跨年活动盛大开幕,开行“乌铁国旅·可可托海号”冬季跨年旅游专列,有力助推当地冰雪旅游经济发展。

王辰:无论是武汉当地,还是全国的、甚至全世界的医护支援,都是当前需要的。目前武汉防疫物资依然缺乏、不少医护人员人困马乏,必须全国支援。方舱医院启用后,还要充分利用、合理分配好湖北、武汉本地的医疗资源。对于发热病人、轻症病人的救治,应该充分利用好社区医务人员,合理减轻大医院的压力。

王辰:由于是确诊患者,病原相同,交叉感染这个问题不是突出问题。入院前除新型冠状病毒核酸检测阳性外,还会经过流感抗原筛查,尽最大可能避免可能的生物安全风险。由于是大规模集中收治,相关配套管理、保障工作要抓细抓好。

新华社记者:当前湖北和武汉依然是疫情防控的重中之重,如何看待目前的疫情形势?有拐点吗?

具体而言,损失曲面就是将机器学习模型的损失或误差作为其参数的函数。

对此,他提出用心理模型来改善验证集当前的困局。

就像这样!这就是验证集会变得过时和泄漏信息的原因,或者至少是一种有用的思考方式。

如果你觉得这个概念过于简单而不必特别关注,我十分能理解。尽管你已经理解了相关基本概念,但“损失曲面”实际上是这类函数的名称,知道它后你可以轻松查阅各种有趣的内容和相关研究。

“启用大空间、多床位的‘方舱医院’,这是中国采取的重大公共卫生举措。”

一种考虑超参数调整的方法是,将遍历验证集数据的损失曲面作为超参数函数。让我们从假设一个“理想”曲面来开始建立直觉。

这类的损失曲面之所以理想,是因为在处理它们时,可以将调整许多超参数的问题分解为一次单独调整一个超参数。由于任意一个超参数的最佳值与其他超参数无关,因此我们可以按顺序而不是并行地进行超参数调整。

其中一个阻碍便是坚持使用已过时的“拇指规则”(也叫经验法则),例如“ 按 70:30 的比例分割训练集和测试集”(70–30 train-test split)或大数据出现之前的黑暗时代遗留下来的方法。

另一个阻碍是:我们许多人在学习“除了测试集之外,我们还应该有一个独立验证集用于调整超参数”的过程中都会遇到一个问题:如果我们仅通过调整超参数就会导致测试集过拟合,那么就不会导致验证集过拟合吗?然而针对这一问题,研究者们还没有找到一个好的答案。

然后关联每个旋钮,就可以得到损失曲面的投影。我们的这部分函数将只有一个自变量:正在不断调整的超参数。

王辰:这是国家在当前关键时期的关键之举。这种大规模的“方舱医院”不同于战时或抗震救灾时启用的野战移动类医院。以往没有采用过,是我国公共卫生防控与医疗的一个重大举措。

随着获得更多的最优值,每一个部分做出贡献的机会就会增加。为了在不降低测试集和真实环境性能的情况下提升验证性能,要求提高验证性能的贡献只来自泛化特征部分。

近年来,富蕴以“绿水青山就是金山银山,冰天雪地也是金山银山”为发展理念,重点打造可可托海景区、稀有金属国家矿山公园、滨河景区、金山书院、额河第一村–塔拉特民俗村等景区景点,深入挖掘冰雪文化元素,开发可可托海国际滑雪场、直升机滑雪、雪地摩托等项目,成为独具魅力的冰雪旅游景区,吸引着全国各地的游客到来。

新华社记者:这种大规模的“方舱医院”有无先例?

新华社记者:对当前疫情防控还有什么建议?有哪些举措需要立即展开?

三、“弄脏”我们的手:模拟验证集泄漏