ResNet18
深度残差网络系列中的18层卷积神经网络模型,常用于图像分类和医学影像分析任务
时间轴 (近 90 天)
MedScribe AI 底层使用在 Kaggle 儿科胸片数据集上训练的 ResNet18 模型,并借助 TorchXRayVision 开源医学影像基础模型,据项目方公布的数据达到90.5%准确率、98.4%精确率、93.2% F1分数。
在相同种子、相同数据顺序、相同模型初始化、相同机器条件下,ResNet18训练200步两次,损失曲线在第0步完全重合但第1步就开始分叉
跑完200步后两次运行对应权重之间的最大差异达到0.237
设置torch.use_deterministic_algorithms(True)和cudnn.benchmark=False后,博主的两次200步ResNet18运行实现了逐比特一致,最大权重差异为0
在ResNet18训练步上,确定性模式相比默认在fp32下开销为+16.5%(17.94ms vs 20.90ms),在bf16 autocast下为+15.6%(12.42ms vs 14.37ms)
放弃cudnn.benchmark在该模型上约占3%的性能开销
全部知识事实 (6)
MedScribe AI 底层使用在 Kaggle 儿科胸片数据集上训练的 ResNet18 模型,并借助 TorchXRayVision 开源医学影像基础模型,据项目方公布的数据达到90.5%准确率、98.4%精确率、93.2% F1分数。
50%待验证在相同种子、相同数据顺序、相同模型初始化、相同机器条件下,ResNet18训练200步两次,损失曲线在第0步完全重合但第1步就开始分叉
50%待验证跑完200步后两次运行对应权重之间的最大差异达到0.237
50%待验证设置torch.use_deterministic_algorithms(True)和cudnn.benchmark=False后,博主的两次200步ResNet18运行实现了逐比特一致,最大权重差异为0
50%待验证在ResNet18训练步上,确定性模式相比默认在fp32下开销为+16.5%(17.94ms vs 20.90ms),在bf16 autocast下为+15.6%(12.42ms vs 14.37ms)
50%待验证放弃cudnn.benchmark在该模型上约占3%的性能开销
50%