深度学习平台如何评价Tensorflow和其它深度学习系统

深度学习软件哪家好

关于高效学习软件，给你分享对我帮助很大的《精英特全脑速读记忆软件》。

速读记忆是一种高效的阅读学习方法，其训练原理就在于激活我们“脑、眼”潜能，培养我们直接把视觉器官感知的文字符号转换成意义，形成眼脑直映式的阅读、学习方式，提高阅读速度、整体感知、理解记忆、注意力等方面的能力。

用软件练习，每天一个多小时，一个月的时间，可以把我们的阅读速度提高5倍左右，记忆力、理解力等也会得到相应的提高，最终提高学习、复习效率，取得好成绩。

当然了，软件是作为辅助提升，学习的主体是自己。

在学习中要懂得梳理自身学习情况，找出问题所在、最需要提高或最薄弱的地方；其次整理出可利用的时间，做出时间安排表，以每一天为单位；合理分配学习、复习时间，有针对性地制定学习计划，逐一攻克。

没有数学功底能不能入门深度学习

其实深度学习网上的资料很多，但是大部分都不太适合初学者，如果你没有一定的数学基础，很容易过早地放弃，再者是英语水平，我推荐从李宏毅教授的PPT开始，当你有一定的基础以后，可以尝试用用Ainspir数据挖掘平台，一边学一边练习，这个平台也是最近在高校，研究院都用的比较多的，适合教学，也适合练习。

比较好的在线学习平台

时代光华啊！本以为 时代光华他跟不上时代节奏呢，当我们真到对比选择的时候，才发现too young啊。

1.它近20年来一直围绕在线培训开展业务 2.它是拥有自主版权课程最多的在线培训机构， 3.虽然在线平台功能大同小异，但平台应用深度和稳定性上还是有大区别的。

4.奔驰、银联、蒙牛、中建、海尔、途牛、国药近万家企业都选择的 。

caffe和vgg-16和googlenet的区别

三者都属于深度学习领域的术语。

caffe是目前在图像领域应用最为广泛的深度学习平台，许多国内外的大牛都使用caffe做为实验平台，主要原因个人认为有两个，一是caffe发展较早，随着时间的积累积聚了大量的深度学习研究成果，例如能够直接运行的代码和使用预先训练好的模型，可以很方便的进行实验；二是后人如果想与之前的方法进行比较，就需要保持除方法外的其它因素一致，如所使用的数据以及实验使用的平台。

vgg-16是一种深度卷积神经网络模型，16表示其深度，是后比较有代表性的深度模型之一，在图像分类等任务中取得了不错的效果 是google设计的一种深度卷积神经网络模型，第一版深度可至22层，这一网络采纳了稀疏学习的思想，通过稀疏网络的参数来加大网络规模。

类似caffe的平台还有tensorflow, theano, torch, paddle等等 类似vgg-16和这样的网络结构更是多种多样，比较有代表性的就是,

深度学习入门 用caffe 还是tensorflow好 知乎

这个我觉得不一定吧，深度学习平台没有好坏之分，只能说每个平台的特点都不一样，选哪个都可以，关键是当你选定平台准备开始做的时候，尽量就不要换了。

我目前用的是caffe，其实百度自己平台PaddlePaddle也是可以的--、还有，你如果想去读源码的话，数学基础一定要强！！！

如何评价Tensorflow和其它深度学习系统

这篇文章介绍的是关于并行深度神经网络的设计。

在今年发布的两个机器学习项目中，是最精彩的一个。

因为它包含了我们团队可以发挥到的机器学习和系统的各个方面的极致： 除了前沿的深度学习之外，它的两个独到特点也是让我们在设计实现中最为享受的 1) 灵活的公式支持和极致的C++模板编程； 深度神经网络的实现大致分两类：以python为主的编程效率派和以c++为核心的为代表的追逐性能派。

前者支持直接tensor的计算，而后者往往需要给每个神经网络的层和更新公式编写独立的cuda kernel。

编程效率派认为机器学习程序员应该是写公式来达到代码最大的可读性和易改写性。

而很多以C++为核心的代码之所以没有支持非常灵活的张量计算，是因为因为运算符重载和临时空间的分配会带来效率的降低。

的核心mshadow在这两者之间做了一个平衡。

使得我们在不损失效率的前提下可以通过模板编程技术允许开发者编写和matlab/numpy类似的代码，并且在编译时自动展开成优化的kernel。

其背后的expressiontemplate技术是我最喜欢的c++ trick之一。

非常值得最求效率抽象和优美的同学了解。

因为采用了mshadow作为核心，直接导致的各种实现可以非常简单可读，编写一份代码就可以在GPU和CPU上面跑。

使得其在代码简洁和可扩展上更加容易。

2) 通用的并行参数共享和更新方案 多卡和多机计算一直是大规模机器学习中一个让人兴奋的话题。

提到神经网络并行，最让我头疼的是可以选择的方案很多，而都涉及到不同的hack。

单机多卡到底是用P2P，还是拷贝到内存，是用stream开始开多线程。

分布式到底是用parameter server，MPI还是自己写一个框架。

可以选择的方法很多。

设计出一个分布式的代码不难，困难的是如何让并行的接口自然的独立出来，使得其不会影响其它部分的实现。

经过不断地考虑，最终我决定采用了mshadow-ps这样一个统一的参数共享接口。

简单的说，mshadow-ps是一个GPU的异步parameter server接口（应该也是目前为止唯一一个，因为GPU线程模型和CPU不同，原有的的ps库并不能直接用于GPU）。

异步通信对于神经网络的更新非常重要。

在backprop算法中，我们很早就可以获得梯度并且进行梯度同步，而只有到下一次forward到对应层的时候才会需要这个weight。

我和limu合作设计了ps风格的三个接口来解决这样的同步问题，Push/PullReq和Pullwait。

当获backprop得梯度的时候直接调用push把梯度发送出去，并且调用pullreq请求结果。

Push和Pullreq都是异步操作，背后会有单独的线程同时完成数据拷贝同步，以及拷回的操作。

而当我们需要weight之前在调用Pullwait来等待可能没有完成的操作。

这样简单的三个接口，使得我们可以经过很少的改动就可以设计出多卡和分布式的神经网络来，并且在调用这些接口的时候完全不需要关系同步的实现是什么。

值得一提的是，这样的编程模式把多GPU，分布式以及各个通信框架直接结合起来。

mshadow-ps支持单机多卡的GPU PS，以及基于parameter-server的分布式PS实现。

同样的也可以很容易MPI来支持多机通信。

使得一个统一的接口，可以完成从单机多卡到分布式各种后端实现的支持。

并且因为高效的异步通信，使得我们可以在上面达到linearspeedup(注：并行的难度在于计算和通信的时间比，weight少更加复杂的网络反而更加容易线性加速，而是非常困难的例子)。

经过团队里面大家不断地努力，的V2终于可以和大家见面了。

除了上述介绍的技术亮点之外，还有各种好玩的特性。

现在把特点总结如下： 1. 轻量而齐全的框架： 我们尽力维持最小的依赖库实现最多的功能。

推荐环境下仅需要CUDA, OpenCV, MKL或BLAS即可编译。

2. 强大的统一的并行计算接口：基于mshadow-ps的并行计算接口采用了一份代码解决了多GPU，多机的异步同步。

同步和计算重叠，在多份测试中均可以得到线性加速比。

3. 易于扩展的代码结构：计算核心由mshadow提供。

Mshadow使用户可以编写numpy/matlab风格的代码，但仍具备手动优化cuda 代码的灵活性。

CPU和GPU共享同一份代码，在编译期间通过模板自动翻译成CUDA/MKL调用。

另外一些特性包括： 4. CuDNN支持：Nvidia原生卷积支持，可加速计算30%！ 5. 及时更新的最新技术：我们将及时跟进学术界的动态，例如现在已经支持MSRA的ParametricRelu和Google的Batch Normalization 6. Caffe模型转换：支持将训练好的Caffe模型直接转化为模型（本周内上线！） 7. 方便的语言接口：在Python中直接进行训练，方便可视化。

Matlab也将很快提供 我们相信可以通过最简洁清晰的代码来完成高效的C++深度神经网络实现。

我们也欢迎对于系统和机器学习有兴趣的同学加入到项目中来