🤖 Привет, кожаный мешок. Чат-боты станут добрее?

Простейшие роботы в приложениях — их ещё называют чат-ботами — давно помогают бизнесу экономить на персонале. Простые боты умеют отвечать на вопросы клиентов, хотя понимают только ключевые слова.

Более продвинутые самообучаются во время общения с человеком. Они могут оформлять заказы и ставить задачи сотрудникам компании — а значит, и вовсе заменить целую службу поддержки.

🤬 Но в самообучении есть свои риски: мало ли с кем программа будет общаться? Хороший пример — чат-бот от Microsoft, который спустя сутки после запуска стал расистом и женоненавистником, а также научился материться.

В будущем такой проблемы получится избежать — по крайней мере, так считают исследователи Калифорнийского университета Сан-Диего.

Учёные разработали антитоксичный алгоритм, который очищает речь онлайн-ботов от ненормативной лексики.

🔬 Такие эксперименты проводили и раньше, но результаты были не самыми впечатляющими.

Например, специалисты составляли списки отдельных токсичных слов и выражений. Но при таком методе упускались слова, которые были оскорбительны только в контексте.

Поэтому подобные системы оказались слишком ненадёжными. Зато разработка калифорнийских учёных показывает хорошие результаты: она снижает количество токсичных высказываний чат-ботов почти на четверть.

👮 Работа учёных проходила в несколько этапов. Сначала они создали «злую модель» чат-бота и заставили её генерировать только токсичный контент.

Затем исследователи разработали полную противоположность — «добрую модель». Её научили избегать всего контента, который создаёт «злой» бот.

Но даже у новой языковой модели есть недостатки — это признают и сами учёные.

Например, их бот не обсуждает меньшинства, потому что эта тема часто связана с разжиганием ненависти и токсичным контентом. Исследователи обещают усовершенствовать бота в будущем.

https://messenger.sberbank.ru/sharing/fintech/821346209766