[Jenkins]使用Docker容器配置编译环境
首先通过Docker容器保存好完整的开发环境,在Jenkins任务中调用容器进行工程的编译。完美~~~
lmdb使用小结
使用lmdb可以加速数据从磁盘读取的速度,查看了很多资料,记录一下
数据pipeline优化
之前训练的时候只是把图像数据保存在磁盘上,通过torchvision Dataloader方式进行批量加载。最近遇到一个问题,就是批量加载ImageNet数据时发现程序运行很慢,但是cpu/gpu的使用率并不高,查询过后发现是遇到了磁盘io的瓶颈
除了使用更好的硬件(比如用固态硬盘替代机械硬盘)来解决问题外,在网上还找到了不少的软件优化方法:
- 打开
dataloade pin_memory - 替换数据预处理库
- 使用
lmdb加快磁盘到cpu内存的io - 使用
prefetcher加快cpu内存到gpu内存的io - 使用
dali加速数据预处理 - 其他
[2021]文档整理小结
距离上次系统性的整理文档快过去一年时间了。这一段时间以来,增加了很多新的内容,感脚之前的架构已经不能很好的匹配当前的知识储备,对于文章的保存和搜索也出现了越来越大的困难。从2/3月份开始,断断续续花费了近2个月的时间重新进行思考和整理,实现了一个相对而言更加合理、能够满足目前需求的架构