MindEye2：仅需1小时训练数据就能从大脑活动中重建所见图像

想象一下，如果我们可以通过观察大脑的活动来猜测一个人在看什么，这听起来是不是有点像科幻电影里的情节？MindEye2项目就在做这样的事情。它利用一种特殊的大脑扫描技术（叫做功能磁共振成像，或简称fMRI），来捕捉当人们看图片时大脑的活动。然后，通过一系列计算方法，MindEye2能够“重建”出那个人当时看到的图片。

1. 高质量视觉重建：MindEye2能够从大脑活动中重建出观察者看到的图像，提高了从fMRI数据到视觉感知重建的准确性。MindEye2可以准确地根据人的大脑活动（比如当你看某个物体时大脑的反应），“重画”出你当时看到的图像。就好比是能读懂你大脑中的记忆，并且把它变成可以看到的图片。
2. 跨受试者泛化：通过共享受试者模型和预训练技术，MindEye2能够处理来自不同个体的大脑活动数据，实现对新受试者数据的有效泛化。意味着MindEye2通过学习多个人的大脑活动数据，能够理解不同人共有的大脑活动模式。这样一来，即使是新的受试者，它也能准确地重建出他们看到的图像，而不需要对每个人都进行大量的数据训练。
3. 数据效率提升：相比于传统需要数十小时的训练数据，MindEye2仅需1小时的fMRI数据即可进行有效训练和重建，显著提高了数据使用效率。
4. 图像检索和重建：MindEye2不仅能重建出某人看到的具体图像，还能在有多个图像选项的情况下，识别出哪一个是那个人实际看到的图像。例如，如果你在想象一个苹果，它不仅能画出一个苹果，还能从许多不同的苹果图片中找到和你想象最匹配的那一个。

技术创新

1、共享受试者功能对齐：MindEye2引入了一种新颖的功能对齐程序，通过线性和非线性映射将所有大脑数据映射到共享的受试者潜在空间，这是跨受试者泛化能力的关键。