大海

之前因为服务器性能原因，对ImageNet数据集进行训练时出现数据加载瓶颈，当时搜索了多种方式，尝试对数据pipeline进行优化，从而提高数据加载能力。详情参见数据pipeline优化

这一次遇到了新的问题，就是在千万级别数据训练情况下如何在固定内存空间和其他硬件性能的情况下提高数据加载和预处理能力。

原文地址：Destruction and Construction Learning for Fine-grained Image Recognition

官方实现：JDAI-CV/DCL

复现地址：ZJCV/DCL

原文地址：Distilling Knowledge via Knowledge Review

官方实现：dvlab-research/ReviewKD

复现地址：ZJCV/KnowledgeReview

原文地址：A Comprehensive Overhaul of Feature Distillation

官方实现：clovaai/overhaul-distillation

复现地址：ZJCV/overhaul

原文地址：A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning

原文地址：Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer

官方实现：szagoruyko/attention-transfer

原文地址：FitNets: Hints for Thin Deep Nets

官方实现：adri-romsor/FitNets

原文地址：Distilling the Knowledge in a Neural Network

原文地址：Lossless CNN Channel Pruning via Decoupling Remembering and Forgetting

官方实现：DingXiaoH/ResRep

原文地址：Learning both Weights and Connections for Efficient Neural Networks