Благодаря дополненной реальности обеспечивается высокая частота обновления изображения
Команда исследователей Google разработала прототип микроскопа на основе технологий машинного обучения (ML) и дополненной реальности (AR), который может помочь в диагностике рака в режиме реального времени.
За разработку отвечает команда ученых из подразделения Google Brain. На ежегодной встрече Американской ассоциации исследований рака (AACR) в Чикаго создатели рассказали о принципе работы технологии. Платформа состоит из модифицированного светового микроскопа, который позволяет в реальном времени анализировать изображение и представлять результаты распознавания клеток, с которыми проводится исследование. Инженеры Google поместили между окуляром и объективом два модуля. Первый использует полупрозрачное зеркало, отражающее часть света на фотоматрицу, в то время как второй проецирует полученное изображение и накладывает его на изображение изучаемого образца.
Но главный акцент разработчики сделали на технологиях AR и ML. Благодаря дополненной реальности обеспечивается высокая частота обновления изображения - она составляет 10 кадров в секунду. Выходные данные модели обновляются, когда пользователь перемещает кадр или изменяет масштаб. А сам алгоритм базируется на технологиях машинного зрения и машинного обучения.
В настоящий момент прототип микроскопа дополненной реальности для диагностики рака обучили выявлению рака груди и предстательной железы, но он способен “запускать множество типов алгоритмов машинного обучения, направленных на решение различных проблем, таких как обнаружение объектов, количественное определение или их классификация”.
В Google полагают, что “микроскоп имеет потенциал для значительного воздействия на здоровье людей, особенно для диагностики инфекционных заболеваний, в том числе туберкулеза и малярии, особенно в развивающихся странах”. Он может использоваться в сочетании с существующими методами цифровой патологии, а также в других отраслях.