笔记：Wide & Deep Learning for Recommender Systems

就一直想读一下相关论文，这两天终于有时间把论文看了一下，就是这篇Wide Deep Learning for Recommender Systems 首先简介，主要.

就一直想读一下相关论文，这两天终于有时间把论文看了一下，就是这篇Wide Deep Learning for Recommender Systems 首先简介，主要说了什么是Wide和Deep： Wide就是：wide是指高维特征+特征组合的LR， 原文Generalized linear models with nonlinear feature transformations are widely used for large-scale regression and classification problems with sparse inputs. Memorization of feature interactions through a wide set of cross-product feature transformations are effective and interpretable, while generalization requires more feature engineering effort.  Deep就是：深度神经网络，原文：With less feature engineering, deep neural networks can generalize better to unseen feature combinations through low-dimensional dense embeddings learned for the sparse features. However, deep neural networks with embeddings can over-generalize and recommend less relevant items when the user-item interactions are sparse and high-rank.  然后就是本文介绍如何整合Wide和Deep 主要内容： 两个有意思的概念Memorization和Generalization： Memorization can be loosely defined as learning the frequent co-occurrence of items or features and exploiting the correlation available in the historical data. Generalization, on the other hand, is based on transitivity of correlation and explores new feature combinations that have never or rarely occurred in the past. 回顾LR和深度学习的方法。 介绍他们的实践，一些细节 目标App Acquisitions 对比join training和ensemble。ensemble是disjoint的。join training可以一起优化整个模型。 训练时候LR部分是FTRL+L1正则，深度学习用的AdaGrad? 训练数据有500 个billion。这是怎么算的，这么NB? 连续值先用累计分布函数CDF归一化到[0,1]，再划档离散化。这个倒是不错的trick。 文章不长写的挺有意思的，大家可以下来细读一下。
Understanding Few-Shot Learning in Computer Vision: What You Need to Know Few-Shot Learning is a sub-area of machine learning. It’s about classifying new data when you have only a few training samples with supervised information. FSL is a rather young area that needs more research and refinement. As of today, you can use it in CV tasks. A computer vision model can work
【推荐系统论文精读系列】(十)--Wide&Deep Learning for Recommender Systems 具有非线性特征转化能力的广义线性模型被广泛用于大规模的分类和回归问题，对于那些输入数据是极度稀疏的情况下。通过使用交叉积获得的记忆交互特征是有效的而且具有可解释性，然后这种的泛化能力需要更多的特征工程努力。在进行少量的特征工程的情况下，深度神经网络可以泛化更多隐式的特征组合，通过从Sparse特征中学得低维的Embedding向量。可是，深度神经网络有个问题就是由于网络过深，会导致过度泛化数据。
SysRec2016 | Deep Neural Networks for YouTube Recommendations YouTube有很多用户原创内容，其商业模式和Netflix、国内的腾讯、爱奇艺等流媒体不同，后者是采购或自制的电影，并且YouTube的视频基数巨大，用户难以发现喜欢的内容。本文根据典型的两阶段信息检索二分法：首先描述一种深度候选生成模型，接着描述一种分离的深度排序模型。
论文笔记系列-Simple And Efficient Architecture Search For Neural Networks 本文提出了一种新方法，可以基于简单的爬山过程自动搜索性能良好的CNN架构，该算法运算符应用网络态射，然后通过余弦退火进行短期优化运行。 令人惊讶的是，这种简单的方法产生了有竞争力的结果，尽管只需要与训练单个网络相同数量级的资源。
论文笔记系列-Neural Architecture Search With Reinforcement Learning 神经网络在多个领域都取得了不错的成绩，但是神经网络的合理设计却是比较困难的。在本篇论文中，作者使用 递归网络去省城神经网络的模型描述，并且使用 增强学习训练RNN，以使得生成得到的模型在验证集上取得最大的准确率。
深度强化学习的问题在哪里？未来怎么走？哪些方面可以突破？ 这两天我阅读了两篇篇猛文A Brief Survey of Deep Reinforcement Learning 和 Deep Reinforcement Learning: An Overview ，作者排山倒海的引用了200多篇文献，阐述强化学习未来的方向。
北方的郎 一个IT老兵，在这行摸爬滚打快20年了，很多工作都做过，也熟悉不少技术。现在对云计算，大数据以及机器学习很感兴趣。