以小视点传递时代足音——2019年中国散文的亮色

【雕刻民族奋进灵魂 铭记时代前行步伐——二○一九我们的文艺·文学篇】

来自HellaSWAG数据集的多项选择句补全示例即使对于最新的模型也很难回答。大多数困难的例子都位于一个复杂的“戈尔德洛克区”,大致由三个上下文句子和两个生成的句子组成(Zellers等人,2019)。

另外,长三角铁路电子客票应用已经推广到所有高铁和动车组停靠车站,如果旅客购买的车票为电子客票,无需换取纸质车票,持购票身份证件即可检票乘车。(完)

现今神经网络变得越来越大,用于训练和预测的成本也越来越高。若能识别出具有可比性能的小型子网,便可以用更少的资源进行训练和推理,从而可以加快模型的迭代速度,并为设备上计算和边缘计算提供新的应用场景。

用心去倾听天地的秘语,与天地万物化为一体,获得一种超然和悠然,这在2019年散文中随处可见。“大中见大”或“大中见小”的散文往往不易成功,“小中见大”则需要发现、深化和创造。2019年散文能做到平中见奇、淡中有味、深入浅出,特别是“小中见大”,这非常难得,也是散文健康发展的必由之路。

即用型跨语言表示使训练模型所需的非英语语言样本更少。此外,若可以使用英语标记的数据,则这些方法可实现几乎免费的零样本转移。最终,这些方法可以帮助我们更好地理解不同语言之间的关系。

与标准方法的差距,似乎主要由于此类方法的有限宽度所导致,这些可能会在将来的工作中体现出来。这还将有望帮助将无限宽度限制下的一些理论上的见解转换得更符合实际设置。

研究表明,在无限宽的情况下,神经网络可以近似为带有神经正切核 (Neural Tangent Kernel ,NTK; Jacot等人, 2018)的线性模型。下图是其训练过程的动态图示。

无监督预训练也开始“入侵”以前由监督方法占主导地位的领域。比如:

七、修复 NLG 中的解码错误

虽然这些模型没有使用任何明确的跨语言信号,但它们即便在没有共享词汇或联合训练情况下实现的跨语言的泛化效果,依旧令人惊讶(Artetxe 等人,2019; Karthikeyan等人,2019; Wu等人,2019 )。

宁波站为方便忘记携带居民身份证旅客的出行,在3个售票处安装自助公安制证设备,可实现旅客自助打印临时身份证明。余杭站联合余杭区交通运输局以铁路客运知识及道路交通安全为主要内容开展主题活动,让旅客在候车期间,学习铁路客运常识及道路交通安全等知识。六安站开展“最暖春运行,温馨回家路”古风快闪活动,为春运首日回家的旅客送上最暖的春运祝福。苏州北站通过昆曲、评弹、锡剧等苏州地方文化和爱国歌曲快闪的形式呈现不一样的春运启动仪式。

一、通用无监督预训练

科学可以说是ML最有影响力的应用领域之一。解决方案可对许多其他领域产生重大影响,并且有助于解决实际问题。

随着模型变得更好,大多数数据集将需要不断改进,否则就会很快过时。专用的基础设施和工具对于促进此过程很有必要。

无为的《我和父亲未解的心结》(《美文》第11期)是写父亲的,但理念和写法与众不同。与那些高扬伟大的父爱不同,作品写父亲醉心种地、对尊严近于变态的迷恋,都有新见。关于痴迷于“种地”,父亲竟不计成本,即使赔钱也坚持种地。开始,“我”不懂父亲,后有所悟:自己写作不计成本,那为何要父亲种地一定要算成本?可以说,像土地般卑微的父亲,一生得不到儿子理解,只有死去,夜深人静,“我闭上眼睛总能看到他老人家失望和哀怨的眼神”,此时,儿子才有所动。这是一篇将父子之情开掘得很深的散文,其间也有共和国成长的步履与足音。

刘亮程的《月亮在叫》(《天涯》第5期),是将月亮、风和一只叫“月亮”的狗,以及“我”置于一处,于是产生一种宏大、喧嚣、静谧的声音的交响。这让我想起欧阳修的《秋声赋》和鲁迅的《野草》,只是显得更混杂、尖利、现代、神秘,仿佛从天外发出的隐语或密码。当然,从中可见“人”的无奈与恍惚。作者写道:“满山坡的白草,被月亮照亮。树睡在自己的影子里,朝向月亮的叶子发着忘记生长的光。我扬起的额头一定也被月光照亮,连最深的皱纹里都是盈盈月光。”作品还说,名叫“月亮”的狗“可能不知道天上悬着那个也叫月亮。但它肯定比我更熟知月亮。它守在有月亮的夜里,彻夜不眠。在无数的月光之夜,它站在坡底的草垛上,对着月亮汪汪吠叫,仿佛跟月亮诉说。那时候,我能感觉到狗吠和月亮是彼此听懂的语言,它们彻夜诉说。我能听懂月光的一只耳朵,在遥远的梦里,朝我睡着的山脚屋檐下,孤独地倾听。我的另一只耳朵,清醒地听见外面所有的动静里,没有一丝月光的声音”。人、物、天、地、心都达到了高度契合,并形成水乳交融和难以分解的“倾听”与“理解”。这与许多散文中“人”的喧嚣,天地万物不在场,形成鲜明对照。

在生物学中,有研究者在蛋白质序列上预训练Transformer语言模型(Rives等人,2019);

这篇文章汇总了我认为 2019 年在ML 和 NLP 领域出现的十个最振奋人心和具有影响力的研究方向。针对每个热点,我会总结在过去一年所取得的主要进展,简述为何我认为其重要,并对未来做一个小小的展望。

无监督预训练仍有很大的进步空间,尽管迄今为止它在单个领域都取得了很大进步,未来将重点放在如何更紧密地集成多模态数据,将是一个有趣的问题。

此外,应在数据集上先运行合适的基准方法,例如,包括使用不同数据变体(例如输入不完整)的简单方法和模型,以使数据集的初始版本尽可能鲁棒。

研究使“中奖彩票”特别的原因,或许还能帮助我们更好地理解神经网络的初始化以及其学习动力学。 

当下的发展,定有些乌七八糟的事情。

在生物学中,许多数据(例如基因和蛋白质)本质上是序列数据。因此,自然可将LSTM和Transformers等NLP方法用于蛋白质分类(Strodthoff等人,2019; Rives等人,2019)。

韩小蕙的《协和大院》是以大院中人的视野和眼光写协和医院的人与事,特别是对“协和人”的精神图式进行勾画和彰显。这里有无私奉献的奠基者、各个专科的知名人士、美丽优雅的女性,甚至包括院内少女——三十朵金花。最重要的是,作者主要不写协和的名人如何高贵,而着力写他们的真、善、美,那种将伟大寓于平淡的细节,特别是生活细节。这使作品具有了丰富内涵、生活情调、平淡之美以及高尚的境界。在“名医篇”(《美文》第7期)中,作者这样给院长“画像”:“我看李宗恩院长的照片,典型的天庭饱满,地阔方圆,大奔头,厚下颚,满脸忠厚气,夹着热情和善良,似乎还有点儿萌,一点儿不像威严的院长大人……”通过侧锋行笔结实地勾勒出一位大善人。

通用无监督预训练 “中奖彩票”子网络 神经正切核 无监督多语言学习 更鲁棒的基准数据集 用于科学研究的ML和NLP 修复NLG中的解码错误 增强预训练模型 高效、长程的Transformer 更可靠的分析方法

2020年长三角铁路节前春运客流在长途主要集中在云贵、川渝、西北及陕甘宁方向、东北方向:1月10日—22日除小部分列车外,均只有少量无座车票。中长途方面客流主要集中在河南、广州方向,短期内尚有部分车票。上海局管内阜阳等方向车票较为充足,旅客出行不必担心。

另一个令人振奋的进展则是,从现成的预训练英语表示中引伸出深层多语言模型(Artetxe等人,2019; Tran,2020),如下图所示。 

五、更鲁棒的基准数据集

尽管功能越来越强大,但自然语言生成(NLG)模型仍然经常产生重复或胡言乱语,如下图所示。

二、 “中奖彩票”子网络

“这次来到黑龙江省,看到这么多萌态可掬的鼠,实在是太有趣了。”来自天津的游客张航告诉记者,以前他对鼠的印象就是下水道里令人厌恶的动物,如今看到萌化众人的土拨鼠等,感觉很是新奇。(完)

研究者需要人工过滤样本,仅明了地保留那些当前最先进模型处理失败的样本(请参阅下面的示例)。可以重复多次“人在回环”的对抗管理过程,来创建对当前方法更具挑战性的数据集,例如在最近提出的的 Adversarial NLI(Nie等人,2019)基准测试中,就可以实现这一点。

2019年是新中国成立70周年,因此贴近此方面的散文较多,并形成强烈势头。代表作有胡世宗的《在长征路上寻找我的祖国》(《文艺报》6月10日)、陈启文的《大湾区的澳门》(《人民日报·海外版》4月25日)、李光羲的《歌唱祖国前进的步伐》(《人民日报》7月8日)、梁衡的《将军几死却永生》(《北京文学》第9期)等。除了直抒胸臆外,以普通小事彰显共和国情怀的宏大叙事同样值得关注,它们真实、内在、细致、有力。甘一雯的《温润的光泽》(《中国社会科学报》10月25日)也写澳门,但更重生活细节,更加委婉内在,是用“小叙事”写大情怀。丁帆的《食糖小史》(《雨花》第9期)将自己的嗜好与国家历史发展进程相连,写得款款动人、情深意长。

目前尚不清楚为什么这些方法在没有任何跨语言监督的情况下如此有效。更好地了解这些方法的工作方式,将使我们能够设计出功能更强大的方法,还有可能揭示出关于不同语言结构的一些见解。

多年来,跨语言表示主要集中在单词级别上的表示。在无监督预训练的基础上,过去的一年见证了诸如多语言BERT,XLM(Conneau&Lample,2019)和 XLM-R(Conneau等人,2019)等跨语言模型的深入发展。

活泼可爱的萌鼠。宋天宁 摄

本次展览从“鼠从何来、鼠的种类、对人类的贡献”等多个方面讲述鼠的相关知识,共展出“美洲河狸、北美豪猪、麝鼠、竹鼠”等10种鼠标本,以及70余只活体鼠。

机器学习已在基础科学问题上取得了一些重大进展。例如,有研究(Pfau等人,2019)将深层神经网络应用于蛋白质折叠和多电子Schrödinger方程。

此次共展出70余只活体鼠。宋天宁 摄

如果说韩小蕙用的是内透法,彭程主要用外观法,他在《家住百万庄》(《人民文学》第7期)中写到“百万庄小区”,这是苏式风格的小红楼,是当时一机部、二机部、三机部的宿舍,在周边建筑中显得超凡脱俗。然而,作者没去写里面住的非凡人物,而是以“我”的眼光观察小区的人、事、物之沧桑变化,尤其是小区曾经的辉煌至今被周边的巨大发展映照得相形见绌。更重要的是,作者带着被时光淘洗的情思,以心灵棱镜折射生命时光的移步与起落,在缠绵中透出对美好生活的激赏与祝愿。

另外,我们不仅应该专注于零样本转移,还应该在目标语言中考虑小样本学习问题。

从对物理问题中的能量建模(Greydanus等人,2019)到求解微分方程(Lample&Charton,2020),ML方法一直在科学的新应用中不断扩大。看看2020年在哪种问题上的应用将会产生最大的影响也是挺有趣的。

虽然到目前为止该研究方向理论上的见解还没有转化为经验上的收获,但这可能有助于我们打开深度学习的黑匣子。

Artetxe等人(2019)的单语种迁移方法的四步骤。

这些深度模型还带来了无监督 MT 的改进(Song 等人,2019; Conneau&Lample,2019),在前年(2018年)取得了长足的进步基础上,在去年又从统计和神经方法的更原则性结合中,获得了改进( Artetxe 等人,2019)。

在语音方面,使用多层CNN(Schneider等人,2019)或双向CPC(Kawakami等人,2019)所学得的表示,在更少训练数据下的表现优于当前最好模型。

孙郁的《劳我一生》(《随笔》第4期)也写父亲,一个富有才华但命运多舛的知识分子。但由于各种原因,作为儿子的“我”一直与父亲离多见少,之间总隔一堵墙。然而,像从树叶缝隙透下光,父爱时不时照在儿子身上,如教诗、洗澡搓背、买零食等。孙郁的笔调非常冷静,但心底却充满情感的涡流,那里有与父亲不近也不远,但总隔着一层薄雾的忧虑。另外,在父子之爱中,也包含对于过去岁月与国家建设的反思。

现在的抒情散文常常是作者着急,但感动不了读者;还有的在表情达意时,说得太多,隐在后面的很少。更有的是情感缺乏思想含量,没有力量。无为和孙郁的散文将父爱深埋于心,表面是父子隔膜甚至冲突敌对,但实际上是父子密不可分,有着难以言说的眷恋,也有试图打通的密道,还有谜一样的爱的潮汐,所有这些都返照出奇异的光影。

最终,NTK 或可为我们阐明神经网络的训练动力学和泛化行为。

然而在实践中,这些模型的表现不如有限深度模型(Novak等人,2019; Allen-Zhu等人,2019; Bietti&Mairal,2019),这限制了将新发现应用于标准方法。

(作者:王兆胜,系中国社会科学杂志社副总编辑、《中国文学批评》杂志副主编)

四、无监督多语言学习

使用在不同时间段的摘要上训练得到的词嵌入预测将在未来的摘要中研究哪些材料作为铁电材料(a),光伏材料(b)和拓扑绝缘体(c ),与所有候选材料相比,更有可能对前50个预测材料进行研究(Tshitoyan等人,2019)。

许多研究人员已经观察到,当前的NLP模型并没有学到预期学到的内容,而是采用浅层启发并结合数据中的表层线索的方法(又称为“聪明汉斯时刻”)。随着数据集变得更加鲁棒难学,我们希望(能迫使)模型最终去学习数据中真正的潜在关系。

2019年散文还有个特点:作家不只停留在写“人”,也不孤立写“物”,而是在天、地、人、心四个维度展开,于是有了基于现实、又有超越性的意向,特别是在“心灵”的化合中颇有力量,也达到较高的艺术水平。这包括穆涛的《中国时令的内部结构》(《文艺报》4月28日)、朱夏楠的《倏忽锋芒》(《美文》第7期)、王剑冰的《塬上》(《人民文学》第5期)、穆蕾蕾的《清扫归来忆初心》(《中国社会科学报》8月9日)、蒋新的《像煤一样燃烧》(《中国社会科学报》8月16日)、熊亮的《万物如果开口说话》(《散文》第6期)、吴佳骏的《此岸和彼岸》(《天涯》第5期)、高维生的《植物的低语》(《安徽文学》第7期)、刘丽华的《独立的生活元素》(《山东文学》第4期)等。

王兆胜在《知识的滋养与生命的丰盈——我的学术人生之路》(《名作欣赏》第3期)一文中,也表达了自己与改革开放一同成长的心路历程。经过艰难的追梦之旅,也喜获生命的花开,还得到心灵的蝶变,这期间有师德之薪火相传,更有国家的培养。因此,从“自我”开始,探寻国家发展变化的印痕,希望为共和国鼓与呼,成为2019年散文的一大特色。

在不同的剪枝率下测试中奖彩票子网络(实线)与随机采样子网(虚线)的准确性(Frankle&Carbin,2019)。

无监督预训练可以在带有更少标记样本的数据上训练模型,这为以前无法满足数据需求的许多不同领域中的应用提供了新的可能性。

以下是这十个研究热点:

萌鼠正在玩耍。宋天宁 摄

黄咏梅的《小旗》(《文汇报》10月13日)写一只叫“小旗”的流浪猫。作者没有以施恩的态度待猫,更无作为“人”的主体性将猫只看成客体,而是从平等、交流、对话、感知的方式进行融通。于是,“流浪猫”就不因“流浪”失了身份,倒成为自由的象征。同理,作为人的“我”,也像万物一样自然,并无自大狂。人与猫及天地万物间,完全可通过心灵对语达到共鸣。

六、用于科学研究的 ML 和 NLP

樊锦诗的《厮守,一眼千年》(《人民日报》4月10日)写的是自己与丈夫放弃大城市生活,于二十世纪六七十年代主动到敦煌工作。在多年的岁月中,他们一直甘于寂寞,与伟大的艺术同在,将自己的美好年华奉献出来。文章无高调大词,完全是从日常生活展示价值观,在平淡、从容、宁静、柔美中吐露心声,读来回肠荡气而又温情似水。

VideoBERT(Sun等人,2019年),一种最新的BERT多模态变体,根据配方(上面)生成视频“令牌”,并根据视频令牌(下面)预测不同时间尺度的未来令牌。

虽然最初的剪枝程序仅适用于小型视觉任务,但后来的工作(Frankle等人,2019)在训练的早期而非初始化时应用修剪,这使得剪枝程序可以找到更深层模型的小型子网。Yu等人,(2019)也在NLP和RL模型中发现了LSTM和Transformer的“中奖彩票”初始化。

NLP 领域知名博主 Sebastian Ruder 博士就基于他的研究工作撰写了一份《2019年ML & NLP 领域十大研究热点》的总结报道。

情感书写是散文的母题,从韩愈的《祭十二郎文》到朱自清的《背影》,再到巴金的《怀念萧珊》都是如此。但真情实感是写不完的,特别是深情具有永恒魅力。2019年散文的个人情感在深度上有所推进,这在海南的《论母亲》(《散文》第3期)、杨闻宇的《李清照的隐衷》(《中国社会科学报》11月1日)、王月鹏的《怀念烨园老师》(《百家评论》第6期)、孟繁华的《他是鸿雁,他是苍鹰》(《散文海外版》第7期)、李登建的《大门过道》(《时代文学》第5期)、周齐林的《鞋工母亲》(《草原》第7期)等作品中都有突出表现。

与20世纪90年代的“散文热”相比,21世纪近20年的散文显得比较冷静和平淡,但在找回本性的同时,也在慢慢积蓄力量,质量水平、境界品位都得到不断提升。2019年的散文表面看并不耀眼,但在不少方面都有变化和突破,通过“小视点”显示“大情怀”是一个显著特色。

尽管“中奖彩票”仍然很难找,但好消息是这些“中奖彩票”似乎在不同数据集和优化器之间具有可转移性(Morcos等人,2019)。

受到BERT (Devlin等人, 2019)及其变体大热的影响,过去一年中,无监督预训练是NLP 领域中的一个流行的研究方向。各种 BERT 变体用在了多模态的环境下,主要在涉及图像,视频以及文本环境(如下图所示)。

目前找到“中奖彩票”的代价仍然太高,无法在计算资源匮乏环境下提供实际的好处。修剪过程中不易受噪声影响且更鲁棒的一次性修剪方法或可缓解这种情况。

在自然语言处理方面,即便是一些标准方法,在结合领域专业知识后所产生的影响也能令人兴奋。其中有一项研究使用词嵌入技术来分析材料科学文献中的潜在知识(Tshitoyan等人,2019),以将其用于预测材料是否具有某些特性(请参见下图)。

这个研究方向可能有点反直觉,具体来说就是无限宽的神经网络比窄的神经网络更容易从理论上进行研究。

Frankle 和 Carbin 在2019 年的研究中发现了“中奖彩票”现象,即一个随机初始化、密集前馈网络中的一些子网经过极好的初始化,以至于单独训练这些子网就可达到与训练整个网络类似的准确率,如下图所示。 

黑龙江省博物馆始终以寒暑假系列特展为宣传平台,面向广大中小学生为代表的青少年群体,普及科普。据该馆工作人员介绍,目前有记录的啮齿目动物有2277种,占哺乳动物种类总数的42%,个体数目远超过其他哺乳动物的总和。“我们人类要做的,便是把握好其中的微妙平衡,寻求与自然的和谐共存之道。”该工作人员说。

NTK也许是我们分析神经网络理论行为的最强大的工具,尽管它有其局限性,即实际的神经网络仍然比 NTK 对应的方法的表现更好。