Как GPT-4 становится глаза слабовидящим людям

GPT-4, только что представленный, предлагает реальные возможности с точки зрения доступности, которые могут облегчить жизнь слабовидящим.

Open AI только что представила свою новую мультимодальную модель искусственного интеллекта GPT-4. ИИ добился впечатляющих успехов благодаря своему новому флагманскому свойству — зрению, которое позволяет ему понимать не только текст, но и изображения. Это также используется стартапом Be My Eyes, который хочет сделать окружающий мир более доступным для слабовидящих или слепых людей с помощью технологий.

GPT-4 на службе доступности для слабовидящих

Если возможности GPT-4 в настоящее время ограничены даже в Chat GPT Plus (платная версия чат-бота в настоящее время не предлагает обработку изображений и ограничена 100 запросами за 4 часа), Be My Eyes — первый партнер Open AI, использовать новые возможности искусственного интеллекта.

Датское мобильное приложение теперь использует GPT-4, чтобы помочь слабовидящим и слепым людям просматривать изображение. Издатель, родившийся в 2015 году, известен тем, что собрал сообщество из 6,3 миллиона добровольцев, которые помогают пользователям приложений выполнять свои повседневные задачи, например ориентироваться в аэропорту или идентифицировать продукт.

Be My Eyes только что разработала новый инструмент Virtual Volunteer, который находится в стадии бета-тестирования и направлен на повышение удобства использования, доступности и доступа к информации для своих пользователей по всему миру. Он может генерировать тот же уровень контекста и понимания, что и человек-доброволец. Таким образом, все они основаны на модели GPT-4 Open AI.

Какая из этих двух рубашек красная?

Что касается работы этого инструмента, давайте возьмем случай, когда пользователь отправляет изображение через приложение добровольцу, который затем становится виртуальным и использует искусственный интеллект. ИИ ответит на любой заданный ему вопрос, связанный с изображением, чтобы предоставить слабовидящим мгновенную зрительную помощь.

Be My Eyes использует два простых повседневных примера. Предположим, пользователь отправляет фото внутри своего холодильника и хочет сделать своего рода инвентаризацию приспособлений, чтобы иметь возможность делать или заказывать свои продукты, ИИ сообщит ему, что там содержится. Можно даже подтолкнуть свои навыки к тому, чтобы попросить один или несколько рецептов, которые могли бы соответствовать ингредиентам, все еще хранящимся в холодильнике. Затем ИИ предоставляет список рецептов со всеми шагами, которые необходимо выполнить.

Также можно будет спросить у приложения, какая из этих рубашек, например, красная. Представьте себе возможности. Добавим также, что, пройдя Be My Eyes, у пользователя также будет решение для резервного копирования. Если он не получит ответа от ИИ или это не принесет ему удовлетворения, он всегда может запросить связь с человеком-добровольцем.

Стартап обещает бесплатно предоставить пользователям новую функцию в течение «несколько месяцев». На данный момент он остается в бета-версии со своими компаниями-клиентами. Тем не менее, группа бета-тестеров в ближайшие недели будет стремительно расширяться, обещает Be My Eyes.