ОЦЕНКА КАЧЕСТВА ТЕМАТИЧЕСКОГО МОДЕЛИРОВАНИЯ

QUALITY ASSESSMENT OF TOPIC MODELING

Yulia Kaykova

Postgraduate, Moscow State University of Technology «STANKIN»,

Russia, Moscow

АННОТАЦИЯ

В данной статье рассматриваются различные метрики оценки качества тематического моделирования, важного направления в обработке естественного языка и анализе текстовых данных. Анализируются основные метрики, такие как когерентность тем, перплексия, разнообразие тем, тематическое внедрение, а также точность и полноту. Производится сравнительный анализ этих метрик через их преимущества и недостатки, а также показано их комбинированное применение для достижения более комплексной и надежной оценки моделей. Полученные результаты демонстрируют, что комбинированный подход к оценке качества позволяет более всесторонне анализировать тематические модели и улучшать их для различных практических задач.

ABSTRACT

This paper discusses various metrics for assessing the quality of topic modeling, an important area in natural language processing and textual data analysis. Basic metrics such as topic coherence, perplexity, topic diversity, topic embedding, and accuracy and completeness are analyzed. A comparative analysis of these metrics through their advantages and disadvantages is performed, and their combined application is shown to achieve a more comprehensive and robust model evaluation. The results demonstrate that a combined approach to quality assessment allows for a more comprehensive analysis of topic models and their improvement for various practical applications.

Ключевые слова: тематическое моделирование; анализ данных; интерпретируемость; оценка качества; метрики качества.

Keywords: topic modeling; data analysis; interpretability; quality assessment; quality metrics.

Введение

Тематическое моделирование представляет собой метод анализа текстов, позволяющий выделять скрытые темы в больших наборах данных. Однако, после построения тематической модели возникает вопрос о её качестве и адекватности. Оценка качества тематического моделирования – это критически важный этап, который позволяет понять, насколько хорошо модель выполняет свою задачу и насколько полезны полученные результаты. В данной статье мы рассмотрим основные метрики оценки качества тематических моделей и их сравнительные характеристики.

Метрики оценки качества тематических моделей

Оценка качества тематических моделей – это многоаспектная задача, которая требует использования различных метрик для комплексного анализа. Рассмотрим наиболее популярные и важные метрики:

• Когерентность тем (Topic Coherence).

Когерентность тем измеряет степень семантической связанности между словами внутри одной темы. Высокая когерентность означает, что слова в теме часто встречаются вместе в одном контексте, что делает тему более интерпретируемой [7, с. 1761].

Когерентность тем является ключевой метрикой, поскольку она напрямую связана с интерпретируемостью тем, что особенно важно при практическом применении тематического моделирования [4, с. 4595].

• Перплексия (Perplexity).

Перплексия – это статистическая мера, используемая для оценки вероятностных моделей текстов. Она измеряет, насколько хорошо модель предсказывает выбор слов в тестовом наборе данных. Низкая перплексия указывает на хорошую способность модели к предсказанию текста [8, с. 101304].

Хотя перплексия является стандартной метрикой для оценки языковых моделей, она не всегда коррелирует с интерпретируемостью тем. Высокая перплексия может указывать на переобучение модели на тренировочных данных.

• Разнообразие тем (Topic Diversity).

Разнообразие тем измеряет количество уникальных слов, которые встречаются в различных темах. Высокое разнообразие означает, что темы содержат мало перекрывающихся слов, что указывает на хорошо дифференцированные темы [6, с. 6].

• Тематическое внедрение (Topic Intrusion).

Тематическое внедрение – метод оценки, основанный на вмешательстве. В этом методе пользователи должны определить "лишнее" слово в наборе топ-слов темы. Чем сложнее пользователям это сделать, тем более когерентна тема [2, с. 844].

• Точность и полнота (Precision and Recall).

Эти метрики используются для оценки релевантности тем к заданным категориям или меткам. Точность – это доля правильно идентифицированных слов или документов в теме, а полнота – это доля правильно идентифицированных слов или документов среди всех релевантных слов или документов [10, с. 6750].

• Визуальные методы.

К визуальным методам оценки относятся построение графиков и диаграмм, таких как графики топ-слов для каждой темы, диаграммы распределения тем по документам и др. Они помогают наглядно оценить результаты моделирования и выявить возможные проблемы.

Для применения данного метода используются дополнительные иструменты, например, LDAvis – интерактивный инструмент для визуализации тем, который позволяет исследовать и интерпретировать модели, построенные методом LDA [9, с. 68-69].

Сравнение метрик оценки качества тематических моделей

Каждая метрика оценки качества тематических моделей имеет свои преимущества и недостатки. Их применение зависит от конкретных задач и требований к модели. Основные метрики и их сравнительные характеристики приведены в таблице 1.

Таблица 1.

Преимущества и недостатки метрик оценки тематических моделей

Каждая метрика оценки качества тематических моделей имеет свои специфические области применения и ограничения. Для получения наиболее полной и точной оценки качества модели рекомендуется использовать несколько метрик в комбинации. Это позволяет учитывать различные аспекты качества модели и получать более объективные результаты.

Комбинации метрик для оценки качества тематических моделей

Для комплексной оценки качества тематических моделей исследователи и практики часто используют комбинации различных метрик. Это позволяет получить более полное и надежное представление о работе модели. Рассмотрим наиболее часто используемые комбинации метрик:

1. Когерентность тем и разнообразие тем.

Когерентность тем обеспечивает высокую интерпретируемость, а разнообразие тем гарантирует, что темы различаются между собой и охватывают разные аспекты данных. Помогает выявить и устранить проблемы с избыточностью и недостаточной дифференциацией тем. При этом комбинация этих метрик не оценивает, насколько хорошо модель предсказывает новые данные. Такая комбинация метрик применяется в работах «Topic Modeling in Embedding Spaces» [5, с. 448-449] и «Evaluating topic coherence using distributional semantics» [1, с. 17].

2. Перплексия и визуальные методы.

Перплексия предоставляет количественную оценку точности модели, а визуальные методы позволяют наглядно оценить результаты и выявить проблемы. Визуальные методы, такие как LDAvis, позволяют интерактивно исследовать темы и их взаимосвязи. При этом визуальные методы могут быть трудны для интерпретации и требуют опыта и навыков аналитика. Такая комбинация метрик применяется в работах «LDAvis: A method for visualizing and interpreting topics» [9, с.69-70] и «Reading tea leaves: How humans interpret topic models» [3, с. 289].

3. Когерентность тем и тематическое внедрение.

Когерентность тем обеспечивает высокую интерпретируемость, а тематическое внедрение проверяет интерпретируемость с точки зрения пользователей. Позволяет получить оценку качества тем с точки зрения конечных пользователей, что важно для приложений, ориентированных на человека. При этом требует привлечения людей для проведения тестов на тематическое внедрение, что может быть затратным и трудоемким процессом. Такая комбинация метрик применяется в работах «Topic Intrusion for Automatic Topic Model Evaluation» [2, с. 844] и «Reading tea leaves: How humans interpret topic models» [3, с. 295].

Заключение

Оценка качества тематического моделирования является важным этапом, который обеспечивает надежность и полезность результатов анализа. Эффективная оценка качества тематического моделирования требует использования нескольких метрик для получения комплексного понимания работы модели. Когерентность тем, перплексия, разнообразие тем, тематическое внедрение, точность и полнота, а также визуальные методы играют важную роль в этой оценке. Комбинированное использование этих метрик позволяет не только улучшить модели, но и сделать результаты тематического анализа более интерпретируемыми и полезными.

Список литературы:

1. Aletras N. Evaluating topic coherence using distributional semantics / N. Aletras, M. Stevenson // Proceedings of the 10th International Conference on Computational Semantics. – 2013. – P.13-22.
2. Bhatia Sh. Topic Intrusion for Automatic Topic Model Evaluation / Sh. Bhatia, J.H. Lau, T. Baldwin // Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. – 2018. – P.844-849.
3. Chang J. Reading tea leaves: How humans interpret topic models / J. Chang, J. Boyd-Graber, S. Gerrish, C. Wang, D.M. Blei // Advances in Neural Information Processing Systems. – 2009. – P.288-296.
4. Cheng H. A Neural Topic Modeling Study Integrating SBERT and Data Augmentation / H. Cheng, Sh. Liu, W. Sun, Q. Sun // Applied Sciences. – 2023. Vol. 13. Iss. 7. – P.4595.
5. Dieng A. Topic Modeling in Embedding Spaces / A. Dieng, F. Ruiz, D.M. Blei // Transactions of the Association for Computational Linguistics. – 2020. №8. – P.439-453.
6. Papadia G. A Comparison of Different Topic Modeling Methods through a Real Case Study of Italian Customer Care / G. Papadia, M. Pacella, M. Perrone, V. Giliberti // Algorithms. – 2023. Vol. 16. Iss. 2. – P.94.
7. Rahimi H. Contextualized Topic Coherence Metrics / H. Rahimi, J.L. Hoover, D.M. Mimno, H. Naacke, C. Constantin, B. Amann // Findings of the Association for Computational Linguistics: AECL 2024. – 2024. – P.1760-1773.
8. Sandeep R. Evaluating Large Language Models for Use in Healthcare: A Framework for Translational Value Assessment // Informatics in Medicine Unlocked. – 2023. Vol. 41. – P.101304.
9. Sievert C. LDAvis: A method for visualizing and interpreting topics / С. Sievert, K. Shirley // Proceedings of the Workshop on Interactive Language Learning, Visualization, and Interfaces. – 2014. – P.63-70.
10. Virtanen S. Precision-Recall Balanced Topic Modelling / S. Virtanen, M. Girolami // Proceedings of the 33rd International Conference on Neural Information Processing Systems. – 2019. № 606. – P.6750-6759.