东芝宣布时域神经网络技术：要让低功率物联网设备也能深度学习

为了追求其在物联网和大数据分析领域的未来，东芝公司正在开发一种时域神经网络（TDNN/Time Domain Neural Network），采用了超低功耗的神经形态半导体电路，可用于执行深度学习的运算。TDNN 由大量使用了东芝自家的模拟技术的微型处理单元构成，这让它和传统的数字处理器不一样。TDNN 在 11 月 8 日的 A-SSCC 2016（2016 年亚洲固态电路会议）上报告了出来——这是由 IEEE 赞助的一个在日本举办的国际性半导体电路技术会议。

深度学习需要大量的计算，所以通常需要在高功率的高性能处理上运行。但是，如果要将深度学习和物联网边缘设备（IoT edge device）（如传感器和智能手机）结合起来，就需要非常高能效的 IC（集成电路）——它可以执行大量所需的运算，同时仅需消耗极少的能量。

在冯诺依曼型的计算机架构中，大部分能量都消耗在了将数据在片上或片外存储设备与处理单元之间的传递之中。减少数据移动的一种最有效的方式是使用大量处理单元，其中每一个都仅处理与其接近的一个数据。这些数据点在将输入信号（比如猫的照片）转换成输出信号（比如识别照片中有猫）的过程中会有一个权重。数据点离目标输出越近，其获得的权重就越高。该权重是自动化引导深度学习过程的一个参数。

生物大脑也有相似的架构。在生物大脑中，神经元之间的耦合强度（权重数据）内建于突触（处理单元）之中。在大脑里面，突触是神经元之间的连接，每一个都有不同的强度。这些强度（权重）决定了通过该连接的信号。突触可以通过这种方式执行某种形式的计算处理。这种架构被称作是完全空间展开架构（fully spatially unrolled architecture）；它很有吸引力，但也有一个明显的缺点——将其复制到芯片上需要大量的算术电路（arithmetic circuits），而且会很快变大到难以承受的程度。

东芝的 TDNN 从 2013 年开始开发，使用了时域的模拟和数字混合的信号处理（TDAMS/time-domain analog and digital mixed signal processing）技术，可以实现处理单元的小型化。在 TDAMS 中，比如加法这样的算术运算可以通过使用像模拟信号一样的数字信号通过逻辑门的延迟时间来有效地执行。使用这项技术，用于深度学习的处理单元可以仅有完全空间展开架构的 3 个逻辑门和 1 bit 内存即可。东芝已经制造出了一款用于概念验证的芯片，其使用了 SRAM（静态随机存取存储器）单元作为内存，并且已经证明能够用来识别手写数字。其每条指令的能量消耗是 20.6 fJ，仅有之前一场顶级会议上报道的成绩的 1/6.

东芝计划将 TDNN 开发成一种电阻式随机存取存储器（ReRAM/resistive random access memory），以进一步提升能量和数据的效率。其目标是得到一款能够在边缘设备上实现高性能深度学习技术的 IC。

本文转自d1net（转载）

构建基于深度学习神经网络协同过滤模型(NCF)的视频推荐系统(Python3.10/Tensorflow2.11) 毋庸讳言，和传统架构(BS开发/CS开发)相比，人工智能技术确实有一定的基础门槛，它注定不是大众化，普适化的东西。但也不能否认，人工智能技术也具备像传统架构一样“套路化”的流程，也就是说，我们大可不必自己手动构建基于神经网络的机器学习系统，直接使用深度学习框架反而更加简单，深度学习可以帮助我们自动地从原始数据中提取特征，不需要手动选择和提取特征。
PyTorch 深度学习实战 |用 TensorFlow 训练神经网络 为了更好地理解神经网络如何解决现实世界中的问题，同时也为了熟悉 TensorFlow 的 API，本篇我们将会做一个有关如何训练神经网络的练习，并以此为例，训练一个类似的神经网络。
PyTorch深度学习实战 | 神经网络的优化难题 即使我们可以利用反向传播来进行优化，但是训练过程中仍然会出现一系列的问题，比如鞍点、病态条件、梯度消失和梯度爆炸，对此我们首先提出了小批量随机梯度下降，并且基于批量随机梯度下降的不稳定的特点，继续对其做出方向和学习率上的优化。
# 【深度学习】：《PyTorch入门到项目实战》第三天：简洁代码实现线性神经网络（附代码） 在上一节我们学习了如何使用pytorch从零实现一个线性回归模型。包括生成数据集，构建损失函数，== corlor 梯度下降==优化求解参数等。和很多其他机器学习框架一样，pytorch中也包含了许多可以自动实现机器学习的包。本章介绍一些如何使用`nn`简便的实现一个线性回归模型