NeuPh: Прорыв в высокоточной реконструкции изображений с помощью нейросетей

Глубокое обучение продолжает расширять границы вычислительной визуализации, предлагая передовые решения для задач реконструкции изображений. Недавняя новинка, разработанная исследователями из Лаборатории вычислительных систем Бостонского университета, представляет собой масштабируемую и универсальную нейронную систему, известную как NeuPh (Neural Phase Retrieval), которая значительно улучшает восстановление изображений с высоким разрешением из данных с низким разрешением. Этот новый подход сочетает передовые нейронные сети с глубоким пониманием физических объектов, позволяя создавать более точные и надежные реконструкции изображений.

Традиционные методы реконструкции изображений обычно полагаются на дискретные пиксельные представления, что ограничивает возможность захвата непрерывных и многоуровневых структур реальных объектов. Эти ограничения особенно заметны в таких сферах, как биомедицинская визуализация, где важно получать детализированные структуры с высоким разрешением. А ограниченные дифракционным пределом и шумом, традиционные методы часто не могут обеспечить достаточную детализацию. NeuPh решает эту проблему, используя модели глубокого обучения для интерпретации и восстановления непрерывных характеристик объектов.

В основе NeuPh лежит двухэтапная архитектура нейронной сети. Сначала используется сверточная нейронная сеть (CNN), которая обрабатывает изображения с низким разрешением, сжимая их в компактное представление в латентном пространстве. Это позволяет системе эффективно работать со сложными структурами без необходимости ввода данных высокого разрешения.

Вторая часть системы — это многослойный перцептрон (MLP), который восстанавливает высокоточные фазовые данные из этого латентного представления. Это обеспечивает более детализированную реконструкцию по сравнению с традиционными методами, минимизируя такие артефакты, как шум и ошибки разворачивания фаз.

Одним из ключевых преимуществ NeuPh является ее способность адаптироваться к различным наборам данных и условиям экспериментов. Система обучена как на смоделированных, так и на экспериментальных данных, что обеспечивает ее гибкость и высокую производительность, даже при ограниченных или несовершенных данных. Такая способность к обобщению особенно важна в реальных приложениях, где условия обучения часто значительно отличаются от рабочих сценариев. NeuPh также способна восстанавливать изображения, превышающие дифракционный предел входных данных, достигая "суперразрешения".

Множество отраслей, таких как биомедицинская визуализация и материаловедение, могут извлечь выгоду из использования NeuPh. С помощью этой нейронной сети можно получать изображения высокого разрешения с минимальными артефактами, что открывает новые горизонты для использования нейросетей в вычислительной визуализации.

Вы можете ознакомиться с более подробной информацией об исследовании в публикации SPIE Digital Library.