7 Papers & Radios | 中国科学家二氧化碳合成淀粉；MIT研究算法对性能改进影响

机器之心 & ArXiv Weekly Radiostation

参与：杜伟、楚航、罗若天

本周论文主要包括 MIT 的研究者撰写了有史以来第一次对算法进展研究的综合分析论文；俄亥俄州立大学的研究者找到了一种将储备池计算速度最高提升 100 万倍的方法，使用的神经元比原来要少得多。

目录：

1. Cell-free chemoenzymatic starch synthesis from carbon dioxide
2.  Next generation reservoir computing
3. How Fast Do Algorithms Improve? 
4.  Scaling TensorFlow to 300 million predictions per second 
5. PLATO-XL: Exploring the Large-scale Pre-training of Dialogue Generation
6. Room-scale magnetoquasistatic wireless power transfer using a cavity-based multimode resonator
7. DECOUPLING MAGNITUDE AND PHASE ESTIMATION WITH DEEP ResUNet FOR MUSIC SOURCE SEPARATION 
8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文 1：Cell-free chemoenzymatic starch synthesis from carbon dioxide

• 作者：TAO CAI、HONGBING SUN、JING QIAO 等
• 论文链接：https://www.science.org/doi/10.1126/science.abh4049

摘要：近期，中国科学院天津工业生物技术研究所在淀粉人工合成方面取得重大突破性进展，在国际上首次在实验室实现了二氧化碳到淀粉的从头合成。相关成果刚刚在国际顶级期刊《科学》杂志上发表。

天津工业生物所联合中科院大连化学物理研究所的研究者设计了一条利用二氧化碳和电解产生的氢气合成淀粉的人工路线。这条路线仅涉及 11 步核心生化反应，淀粉合成速率是玉米淀粉合成速率的 8.5 倍。

研究者创建的新路线是通过「搭积木」的方式建立的，他们整合了化学和生物的催化模块，以生物技术创新的方式利用了高密度能量和高浓度二氧化碳。研究人员解决了底物竞争、产物抑制和热力学适应等问题，使用空间和时间分隔系统地优化了这种混合系统。

人工合成淀粉的路线图

简单说来，这个方法的流程是：首先把二氧化碳用无机催化剂还原为甲醇，再将甲醇转换为三碳，使用三碳合成为六碳，最后聚合成为淀粉。

从吸收光谱分析、核磁共振信号上来看，人工合成的淀粉和天然淀粉非常接近

推荐：二氧化碳直接合成淀粉。

论文 2：Next generation reservoir computing

• 作者：Daniel Gauthier、Erik Bollt 等
• 论文链接：https://www.nature.com/articles/s41467-021-25801-2

摘要：在最新一期的《自然 · 通讯》杂志上，来自美国俄亥俄州立大学的研究者公布了他们在储备池计算研究上的新进展。这些研究者表示，他们找到了一种新方法，将储备池计算的速度提高了 33 到 100 万倍，而所需的计算资源和数据输入却大大减少。他们将这种方法称为「下一代储备池计算」。

在针对新方法的一次测试中，研究者在台式电脑上只用不到一秒的时间就解决了一个复杂的计算问题。如果使用当前的 SOTA 技术来解决该问题，研究者要用到超级计算机，而且需要更长的时间。

储备池计算使用人工神经网络来预测动力系统的演化。研究者将动力系统上的数据输入神经网络中一个由随机连接的人工神经元组成的「储备池」中。该网络产生有用的输出，研究者可以解释该输出并给出反馈，从而建立一个越来越准确的演化预测系统。

推荐：储备池计算新突破。

论文 3：How Fast Do Algorithms Improve?

• 作者：Yash Sherry、Neil Thompson
• 论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9540991

摘要：算法决定了计算机使用哪种计算方法来解决问题，是计算机科学的核心支柱之一。随着算法的改进，研究人员可以探索更难的问题并开创新的领域和技术。

来自 MIT 的研究者的这项研究使我们能够系统地查看算法是何时被发现的，它们是如何被改进的，以及算法改进的规模与其他创新研究相比结果如何。

本文分析了来自 57 部教科书和超过 1137 篇研究论文，以追溯算法何时变得更优。其中一些研究论文直接报告了新算法带来的好处，而其他研究论文需要使用伪代码（描述基本细节算法的速记版本）进行重构。该团队总共研究了 113 个算法族， 对于每个算法，该团队都重建了它的历史，跟踪每次针对该问题所提出的新算法，并特别强调那些更有效的算法。从 1940 年代到现在，从性能上看，该团队发现每个算法族平均有 8 个算法，其中有几个提高了效率。为了共享这个知识数据库，该团队还创建了 Algorithm-Wiki.org。

此外，该研究还绘制了这些算法族改进的速度，他们重点关注那些算法中经常被用来分析的特征，这些特征能保证以最快的速度解决问题。对于大型计算问题，43% 的算法改进等于或大于摩尔定律带来的益处。在 14% 的问题中，算法对性能的改进大大超过了硬件改进带来的益处。对于大数据问题，算法改进带来的益处也非常大，因此算法改进的重要性在近几十年来不断增加。

上图展示了算法改进对四个算法族的影响

将这种分析扩展至了 110 个算法族

推荐：MIT 算法改进研究。

论文 4：  Scaling TensorFlow to 300 million predictions per second

• 作者：Davorin Kopič、Jan Hartman 等
• 论文链接：https://arxiv.org/abs/2109.09541

摘要：TensorFlow 是目前使用最广泛的机器学习框架之一，它加快了研究速度，并减少了新模型的生产时间。在一篇论文中，来自原生程序化 DSP 公司 Zemanta 的数据科学总监 Davorin Kopič和工程师 Jan Hartman 展示了将在线广告生态系统中的大规模机器学习模型转换为 TensorFlow 框架的过程，并将在 TensorFlow 框架中实现的机器学习模型扩展到每秒超过 3 亿次预测。因此，该研究的主要内容是在 TF 中实现模型并使用各种优化技术以低延迟有效地为其提供服务。

该研究使用的案例是线上广告的点击预测。在 RTB （实时竞价）中，多个 DSP（竞标者）通过在网页的加载过程中实时竞标来竞争在线广告空间。广告空间是按广告印象出售的，这使得以市场价值出售虚拟广告空间成为可能。通过使用机器学习，RTB 还使广告商能够最大化其 KPI，例如点击率 (CTR)。估算广告的点击率是 RTB 的核心问题之一，拥有一个好的点击预测模型非常重要。

在 Golang 中实现的基于自定义逻辑回归和分解机 (FM) 的模型，其表达能力受限，并且需要手动实现所有学习程序，这些都会减慢实验速度并限制模型的预测性能。因此，研究者决定采用 TensorFlow 框架，并用表达能力更强的模型替换现有模型。

推荐：用 TensorFlow 实现 ML 模型并进行调优，每秒可进行 3 亿次预测

论文 5：  PLATO-XL: Exploring the Large-scale Pre-training of Dialogue Generation

• 作者：Siqi Bao、Huang He、Fan Wang、Hua Wu 等
• 论文链接：https://arxiv.org/pdf/2109.09519.pdf

摘要：百度发布了 PLATO-XL，参数达到了 110 亿，超过之前最大的对话模型 Blender（最高 94 亿参数），是当前最大规模的中英文对话生成模型，并再次刷新了开放域对话效果。

百度 PLATO 一直有其独特的从数据到模型结构到训练方式上的创新。PLATO-1， PLATO-2 不仅刷新了开放域对话效果，也具有非常好的参数性价比，即在同等参数规模下效果超越其他模型。PLATO-XL 在参数规模达到新高的同时，其对话效果也不出意外地再次达到新高。

PLATO-XL 网络架构上承袭了 PLATO unified transformer 结构，可同时进行对话理解和回复生成的联合建模，参数性价比很高。通过灵活的注意力机制，模型对上文进行了双向编码，充分利用和理解上文信息；对回复进行了单向解码，适应回复生成的 auto-regressive 特性。此外，unified transformer 结构在对话上训练效率很高，这是由于对话样本长短不一，训练过程中 padding 补齐会带来大量的无效计算，unified transformer 可以对输入样本进行有效的排序，大幅提升训练效率。

推荐：百度发布全球首个百亿参数对话预训练生成模型 PLATO-XL。

论文 6：Room-scale magnetoquasistatic wireless power transfer using a cavity-based multimode resonator

• 作者：Takuya Sasatani、Alanson P. Sample、Yoshihiro Kawahara 等
• 论文链接：https://www.nature.com/articles/s41928-021-00636-3

摘要：东京大学工程研究生院特任助教 Takuya Sasatani 和教授 Yoshihiro Kawahara、密歇根大学电子工程与计算机科学系副教授 Alanson P. Sample 等研究者研发出了一种安全地将房间变成无线充电站的方法。他们表示，这种方法既可以缩小规模来创建小型充电柜，也能够扩大规模将整个工厂车间或建筑群转变成无线充电区域。

研究者将这项新技术称为「多模态准静态空腔谐振」（multimode quasistatic cavity resonance, M-QSCR），它利用嵌入整个房间墙壁的导电层和房间中央的导电柱子来生成 3D 磁场，后者能够与附着于电子设备的小型线圈接收器进行高效交互。

下图 1 为 M-QSCR 技术的概览图，其中 a 为线路电流，包括发送器和接收器；b 为表面电流；c 为多模态；d 为基于 M-QSCR 的无线电力传输系统。

下图 2a 为赋能以上电流的房间级（room-scale）共振器，图 2b 为构建的无线电力传输系统实景。

推荐：房间各处皆可无线充电。

论文 7：  DECOUPLING MAGNITUDE AND PHASE ESTIMATION WITH DEEP ResUNet FOR MUSIC SOURCE SEPARATION

• 作者：孔秋强、Yin Cao、 Haohe Liu、Keunwoo Choi、Yuxuan Wang
• 论文链接：https://arxiv.org/pdf/2109.05418.pdf

摘要：基于深度神经网络的方法已成功应用于音乐源分离。这些方法通常用于学习从混合声谱（spectrogram）到一组源声谱的映射，所有声谱图都只有幅度。但是，这种方法会受到一定的限制：1）不正确的相位重构降低了性能；2）将掩码的幅度限制在 0 和 1 之间，而我们平时观察到有 22% 的时频 bin 的理想比率掩码值超过 1；3) 在深架构上的潜力尚未得到充分探索。

首先，该研究通过估计复数理想比率掩码 (cIRM，complex ideal ratio masks) 来估计相位，其中他们将 cIRM 的估计解耦为幅度和相位估计；其次，该研究扩展了分离方法，以有效地允许掩码的幅度大于 1；最后，该研究提出了一个高达 143 层的残差 UNet 架构 。他们提出的系统在 MUDB18 数据集上实现了 SOTA MSS 结果，尤其是人声（vocals）的 SDR（signal-to-distortion ratio，信号失真率） 为 8.98 dB，优于之前 7.24 dB 的最佳性能。

带有残差块的 MSS 系统

(a) 残差编码器块 (REB)，(b) 残差解码器块 (RDB)，(3) 残差卷积块 (RCB)

推荐：字节跳动的这项研究，可以完美的将混合音频分离成单个源任务。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

本周 10 篇 NLP 精选论文是：

1. Conditional probing: measuring usable information beyond a baseline.  (from Christopher D. Manning)

2. To be Closer: Learning to Link up Aspects with Opinions.  (from Yang Gao)

3. The JHU-Microsoft Submission for WMT21 Quality Estimation Shared Task.  (from Philipp Koehn)

4. NOAHQA: Numerical Reasoning with Interpretable Graph Question Answering Dataset.  (from Yang Wang, Jing Jiang, Ee-Peng Lim)

5. A Bag of Tricks for Dialogue Summarization.  (from Kathleen McKeown)

6. Cross-linguistically Consistent Semantic and Syntactic Annotation of Child-directed Speech.  (from Mark Steedman)

7. Blindness to Modality Helps Entailment Graph Mining.  (from Mark Johnson, Mark Steedman)

8. Towards Zero and Few-shot Knowledge-seeking Turn Detection in Task-orientated Dialogue Systems.  (from Yang Liu, Dilek Hakkani-Tur)

9. Investigating Crowdsourcing Protocols for Evaluatingthe Factual Consistency of Summaries.  (from Dragomir Radev)

10. BERT-Beta: A Proactive Probabilistic Approach to Text Moderation.  (from Yifan Hu)

本周 10 篇 CV 精选论文是：

1. LGD: Label-guided Self-distillation for Object Detection.  (from Xiangyu Zhang, Nanning Zheng, Jian Sun)

2. Finding Facial Forgery Artifacts with Parts-Based Detectors.  (from Rama Chellappa)

3. Learning Contrastive Representation for Semantic Correspondence.  (from Jan Kautz, Ming-Hsuan Yang)

4. Homography augumented momentum constrastive learning for SAR image retrieval.  (from Panos M. Pardalos)

5. HybridSDF: Combining Free Form Shapes and Geometric Primitives for effective Shape Manipulation.  (from Pascal Fua)

6. Estimating and Exploiting the Aleatoric Uncertainty in Surface Normal Estimation.  (from Roberto Cipolla)

7. Hierarchical Multimodal Transformer to Summarize Videos.  (from Xuelong Li)

8. Unsupervised 3D Pose Estimation for Hierarchical Dance Video Recognition.  (from Narendra Ahuja)

9. Scene Graph Generation for Better Image Captioning?.  (from Daniel Cremers)

10. Caption Enriched Samples for Improving Hateful Memes Detection.  (from Lior Wolf)

本周 10 篇 ML 精选论文是：

1. Chemical-Reaction-Aware Molecule Representation Learning.  (from Kyunghyun Cho, Jiawei Han)

2. Long-Range Modeling of Source Code Files with eWASH: Extended Window Access by Syntax Hierarchy.  (from Alexey Svyatkovskiy)

3. Achieving Model Fairness in Vertical Federated Learning.  (from Jian Pei)

4. Improving Fairness for Data Valuation in Federated Learning.  (from Jian Pei)

5. Learning PAC-Bayes Priors for Probabilistic Neural Networks.  (from John Shawe-Taylor)

6. Automatic prior selection for meta Bayesian optimization with a case study on tuning deep neural network optimizers.  (from Zoubin Ghahramani)

7. On Bonus-Based Exploration Methods in the Arcade Learning Environment.  (from Aaron Courville, Marc G. Bellemare)

8. Primer: Searching for Efficient Transformers for Language Modeling.  (from Quoc V. Le)

9. Inductive Conformal Recommender System.  (from Vikas Kumar)

10. Feature Correlation Aggregation: on the Path to Better Graph Neural Networks.  (from Tong Zhang)

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com