Усовершенствования ChatGPT: голосовые разговоры и распознавание изображений!

ChatGPT сможет вести голосовые беседы и распознавать объекты на изображениях. Например, ChatGPT готов читать сказки на ночь, помогать в создании рецептов из фотографий доступных ингредиентов и решать домашние задания по математике с изображением вопроса из учебника. Голосовой ввод и вывод обеспечивают бесперебойную беседу без необходимости набора текста.

Голосовые разговоры с помощью ChatGPT

Теперь пользователи могут вести голосовые беседы с помощью ChatGPT. Для транскрибирования речи пользователя была интегрирована модель преобразования текста в речь, а участники озвучивания записывали ответы, чтобы обеспечить высокое качество вывода речи с помощью ChatGPT.

Чтобы включить функцию передачи голоса в мобильных приложениях, перейдите в “Настройки”-> “Новые функции” и активируйте голосовые разговоры. Затем нажмите на значок наушников в правом верхнем углу, чтобы выбрать один из пяти различных вариантов передачи голоса.

Обсуждение изображений

Теперь пользователи могут обмениваться одним или несколькими изображениями с помощью ChatGPT. Такие задачи, как диагностика технических неполадок, создание рецептов или анализ сложных графиков и таблиц, могут быть выполнены за считанные секунды.

Чтобы добавить изображение к разговору, нажмите кнопку “Фото”, чтобы сделать снимок, или выберите его из своей галереи. Вы также можете выделить определенную область на изображении, чтобы помочь ChatGPT сосредоточиться на этой части и быстрее понять контекст.

Эти функции стали возможными благодаря мультимодальным возможностям, встроенным в GPT-4 и GPT 3.5.

Ограничения

OpenAI не будет немедленно внедрять эти новые функции для всех пользователей, чтобы собрать отзывы от альфа-тестеров и усилить меры безопасности перед более широким внедрением. Голосовой ввод сопряжен с такими рисками, как подделка голоса в мошеннических целях и галлюцинации, приводящие к неправильным ответам. Для предотвращения подделки голоса было принято решение не внедрять функцию клонирования голоса.

OpenAI рекомендует проверять информацию, полученную из ChatGPT, и избегать ее использования в ситуациях высокого риска, например, в области медицины. Кроме того, модель работает менее эффективно при работе с текстом на неанглийских языках.