В очередном номере журнала Information Technology and Libraries опубликована статья «Инструменты оценки релевантности в дискавери-средах» (A Framework for Measuring Relevancy in Discovery Environments). Авторы, Блейк Л. Гэлбрит (Blake L. Galbreath), Алекс Меррилл (Alex Merrill) и Кори М. Джонсон (Corey M. Johnson), представляют библиотечную систему Университета штата Вашингтон. Авторы отмечают, что университетские библиотеки повсеместно создают собственные среды обнаружения знаний, однако эффективность этих систем оценивается преимущественно по отзывам пользователей, их удовлетворенности, а также по результатам анализа выполнения задач. В данном исследовании представлены воспроизводимые методы оценки релевантности результатов поиска, а также общей эффективности дискавери-среды на примере платформы Primo компании Ex Libris, используемой в Университете штата Вашингтон. Для оценки релевантности поиска авторы проанализировали библиографию, приводимую в студенческих работах. В контексте данного исследования авторами была разработана и протестирована модель, охватывающая: (1) процесс машинного производства ключевых слов на основе корпуса научных работ с их последующим сравнением с ключевыми словами, созданными человеком, (2) машинный процесс запроса в дискавери-среду с получением поисковых результатов и сравнение последних со списками литературы, приводимой в студенческих работах и (3) четыре метрики для оценки сравнительной эффективности различных поисковых стратегий и релевантности их результатов. Данная модель позволяет выйти за рамки эмоциональной или задачно-ориентированной оценки и увидеть, насколько материалы, процитированные в студенческих работах, соответствуют результатам поиска в дискавери-среде. Поначалу совпадений было выявлено не так много, как ожидалось, и впоследствии, как было продемонстрировано, фасетный поиск оказался более результативным, чем поиск многовариантный. В будущем предполагается осуществить сравнительное (A/B) тестирование существующих конфигураций дискавери-систем обнаружения знаний и ограничителей с оценкой влияния локальных решений на эффективность извлечения информации на разных уровнях с указанием совпадений результатов при различных видах поиска.
УДК: 025.4.036
ГРНТИ: 20.23
Источник: