В Гарварде создали ИИ-приложение для помощи незрячим в навигации

Учёные из Школы инженерных и прикладных наук имени Джона А. Полсона Гарвардского университета разработали приложение на основе искусственного интеллекта для помощи незрячим и слабовидящим в безопасной навигации и обходе препятствий, используя возможности современных смартфонов — камеру, GPS и датчики движения.

Приложение получило название Mobilio и использует технологии смартфона, а при наличии — и датчик LiDAR, чтобы направлять пользователей по пешеходным маршрутам, помогать сохранять направление и избегать препятствий. Разработка велась с учётом мнения более 100 незрячих и слабовидящих людей. Первые испытания с участием 14 добровольцев показали обнадёживающие результаты: с помощью приложения и белой трости участники проходили внешний маршрут примерно на 13% быстрее по сравнению с использованием Google Maps и трости, а количество столкновений с препятствиями в помещениях снизилось примерно на 41%.

Mobilio постоянно анализирует окружающую среду с помощью камеры смартфона, а также использует GPS и датчики движения для определения местоположения и направления пользователя, после чего выдаёт голосовые подсказки, адаптированные под его действия.

Модель компьютерного зрения в приложении обучалась с точки зрения пешехода, что позволяет ей распознавать такие элементы, как тротуары, пешеходные переходы и специальные дорожки, обеспечивая постоянную навигационную поддержку, а не только определяя ближайшие препятствия.