曾经一段时间很苦恼,对于深度学习算法不知道怎么上手,看了很多深度学习教程,依然不会写。后来就看论文公开的源代码,对照着论文模型,一点点看,多看几篇代码,逐渐有种开窍的感觉。其次是看Mxnet和Pytorch的源代码(我主要用这2个框架),Mxnet和Pytorch的Github上给了很多示例代码,写的非常规范,从中可以学到用法,从而也可以规范自己的代码。
下面整理一下,在我学习过程中,对我帮助很大的教程和代码。
- 《动手学深度学习》Mxnet版
Mxnet的入门教程,沐神写的,来来回回看了2~3遍,每次看都有新的收货 - 《动手学深度学习》Pytorch版
将Mxnet改写为Pytorch版本,非常好的Pytorch入门教程 - ASTGCN
AAAI2019论文公开代码,用Mxnet写的 - ST-ResNet
AAAI2017论文公开代码,用Keras,看这篇代码主要是学习模型架构,然后自己用mxnet复现了一下 - ST-MetaNet
KDD2019论文公开代码,用Mxnet写的,学到了很多高级用法,例如EarlyStopping,Encoder和Decoder,getattr,DGL Pytorch Transformer
学习怎么使用Transformer,Dropout和BN在训练和测试的不同,PositionEmbedding,getattr等用法。学习Transformer最好去看Pytorch关于Tranformer的源代码。Pytorch示例代码
Pytorch Github中的示例代码- Mxnet示例代码
Mxnet Github中的示例代码
觉得自己最大的变化是喜欢去读源代码了,遇到问题去官网看教程,读源码,帮助很大。