医学图像分割

nnU-Net 模型学习笔记

nnU-Net 模型学习笔记 0. 背景 这篇主要是对论文 nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation 的学习记录。 一开始看到 nnU-Net 的时候，其实很容易把它理解成“一个更厉害的 U-Net 变体”。但是读完论文之后发现，它真正重要的地方好像并不是提出了什么特别炫的新网络结构，而是把医学图像分割里一堆容易被忽略的工程细节系统化了。 论文里也直接把 nnU-Net 解释成 no-new-Net，这个名字还挺有意思的。它大概想表达的是： 不一定非要发明一个新的网络结构，先把 U-Net 该做好的事情全部做好。 这点对我还挺有提醒意义的。因为之前做 DICOM 预处理、期相配准、nnU-Net 输入格式的时候，我也经常会下意识觉得“模型才是核心”，但实际上数据怎么裁剪、怎么重采样、spacing 怎么统一、标签怎么插值、patch 怎么取，这些东西如果没处理好，后面的模型可能只是看起来很努力。 1. nnU-Net 想解决什么问题 医学图像分割里面，U-Net 本身已经是一个很经典的结构了。 但是问题在于，不同数据集之间差异非常大： 有的是 CT，有的是 MRI； 有的是 2D 图像，有的是 3D 体数据； 有的 spacing 比较均匀，有的 z 轴很厚； 有的图像范围很大，比如肝脏、肺； 有的目标很小，比如海马体、胰腺病灶； 有的数据集病例很多，有的数据集病例很少。 所以同样是 U-Net，直接拿来用并不一定能跑出好结果。 如果每来一个新任务，都靠人工去调网络深度、patch size、batch size、归一化方式、数据增强方式、推理策略，那整个流程就会非常依赖经验，也很难保证可复现。 nnU-Net 的思路就是： 给定一个新的医学图像分割任务，尽量自动分析数据集特征，然后自动生成一套适合这个任务的 U-Net 训练和推理方案。 所以它不是单纯的一个模型，而更像是一个完整的自动化分割框架。 2. 核心理解：它不追求“新”，而追求“配好” 论文里有一个观点我觉得挺关键： 很多所谓的新结构，在没有把 baseline 充分调好的情况下，看起来确实能提升性能。但如果基础 U-Net 已经被认真配置过，很多花哨结构带来的提升可能就没有那么明显了。 所以 nnU-Net 没有采用 residual connection、dense connection、attention mechanism 这些当时常见的改造，而是只在原始 U-Net 上做了很小的改动： 使用 leaky ReLU； 使用 instance normalization；