International Journal of Librarianship
В своей статье «ChatGPT: диалоговый ИИ в библиотечно-библиографическом обслуживании» (ChatGPT: Unleashing the power of conversational AI for library reference services) Шарон Янг (Sharon Q. Yang) библиотекарь и преподаватель Университета Райдера, штат Нью-Джерси, США, рассказывает об исследовании, призванном показать, насколько эффективно на данный момент использование диалогового чата на базе искусственного интеллекта (ИИ) в библиотечно-библиографическом обслуживании.
Так, генеративный чат ChatGPT получил 22 вопроса справочного характера, и его ответы оценены на предмет качества и точности. Вопросы абсолютно реальны, получены от студентов и преподавателей университета в период с 1 июня по 31 июля 2023 г. и заданы чату в тех же формулировках и выражениях, в каких поступили от пользователей. Характер вопросов разнился от способа получения доступа к ресурсам университета и подпискам до нахождения забытых в библиотеке вещей.
Каждому из данных чатом ответов давалась оценка в баллах от 0 до 10 в зависимости от качества, точности, релевантности. Чем выше полученный балл, тем ближе качество полученной от чата информации к той, что мог бы дать библиотекарь-библиограф.
Восемь из 22 ответов ChatGPT получили оценку «0». Большей частью это запросы о доступе к конкретным журналам, статьям, базам данных или материалам по той или иной теме. Это означает, что пользователи были заинтересованы в информации, отражающей университетскую политику доступа и подписки, между тем как ChatGPT не проходил обучение с использованием локальных данных и мог сообщить лишь общую информацию о базах данных или по теме поиска. Также по запросу чатом были рекомендованы девять статей. Однако при ближайшем рассмотрении все эти статьи оказались несуществующими. Исследование позволило обнаружить важные характеристики ChatGPT, в частности, его исключительную способность понимать вопрос, как бы он ни был сформулирован и каким бы неоднозначным ни был для самих людей. В некоторых случаях ChatGPT уточнял вопрос, задавая свои, как это делал бы библиотекарь, однако поддерживать сложный диалог чат оказался не в состоянии. Автор отмечает, что сильными сторонами ChatGPT являются его постоянная доступность, широкая база знаний, на которой он прошел обучение, быстрые ответы. Одна из проблем чата ChatGPT в его общественно-доступной бесплатной версии –отставание обновлений знаний. В период исследования информация, которую он выдавал, базировалась на данных, относящихся к периоду до сентября 2021 г., однако двухлетнее отставание неприемлемо для пользователей. Автор говорит также об отсутствии эмоций и неспособности чата понимать контекст, правильно вести диалог таким образом, чтобы точно понять, что же в конечном итоге нужно читателю библиотеки.
Автор признает, что результаты исследования не могут считаться репрезентативными из-за масштаба исследования, однако в практическом смысле они позволяют более глубоко понять, как работают ИИ и генеративный чат ChatGPT.
УДК: 004.8:021
ГРНТИ: 13.31.19, 13.41.52, 13.31.35
DOI: 10.23974/ijol.2024.vol9.1.375
Источник:
https://journal.calaijol.org/index.php/ijol/article/view/375