mireabulletinRussian Technological JournalRussian Technological Journal2782-32102500-316XRTU MIREA10.32362/2500-316X-2024-12-5-7-16CBEERKmireabulletin-977Research ArticleИНФОРМАЦИОННЫЕ СИСТЕМЫ. ИНФОРМАТИКА. ПРОБЛЕМЫ ИНФОРМАЦИОННОЙ БЕЗОПАСНОСТИINFORMATION SYSTEMS. COMPUTER SCIENCES. ISSUES OF INFORMATION SECURITYАвтоматизация поиска юридической информации на арабском языке: подход к поиску документовAutomating the search for legal information in Arabic: A novel approach to document retrievalhttps://orcid.org/0009-0004-1791-1406ЖафарК. С.JafarK. S.

Жафар Камел С., аспирант, кафедра корпоративных информационных систем, Институт информационных технологий

Scopus Author ID 57552322300

119454, Москва, пр-т Вернадского, д. 78

Kamel S. Jafar, Postgraduate Student, Department of Corporate Information Systems, Institute of Information Technologies

Scopus Author ID 57552322300

78, Vernadskogo pr., Moscow, 119454 

zhafar.k@edu.mirea.ruhttps://orcid.org/0009-0002-3533-568XМохаммадА. А.MohammadA. A.

Мохаммад Али А., магистрант, Факультет компьютерных наук

109028, Москва, Покровский бульвар, д. 11

Ali A. Mohammad, Master Student, Faculty of Computer Science

11, Pokrovsky bulv., Moscow, 109028 

amokhammad_1@edu.hse.ruhttps://orcid.org/0009-0001-3699-222XИссаА. Х.IssaA. H.

Исса Али Х., аспирант, кафедра автоматизированных систем управления биотехнологическими процессами

125080, Москва, Волоколамское шоссе, д. 11

Ali H. Issa, Postgraduate Student, Department of Automated Control Systems for Biotechnological Processes

11, Volokolamskoye sh., Moscow, 125080 

amokhammad_1@edu.hse.ruhttps://orcid.org/0009-0003-0310-3638ПановА. В.PanovA. V.

Панов Александр Владимирович, к.т.н. доцент, профессор кафедры корпоративных информационных систем, Институт информационных технологий

119454, Москва, пр-т Вернадского, д. 78

Alexander V. Panov, Cand. Sci. (Eng.), Associate Professor, Department of Corporate Information Systems, Institute of Information Technologies

78, Vernadskogo pr., Moscow, 119454 

panov_a@mirea.ruМИРЭА – Российский технологический университетРоссияMIREA – Russian Technological UniversityRussian FederationНациональный исследовательский университет «Высшая школа экономики»РоссияHSE UniversityRussian FederationРОСБИОТЕХ – Российский биотехнологический университетРоссияRussian Biotechnological UniversityRussian Federation202404102024125716Copyright © Жафар К.С., Мохаммад А.А., Исса А.Х., Панов А.В., 20242024Жафар К.С., Мохаммад А.А., Исса А.Х., Панов А.В.Jafar K.S., Mohammad A.A., Issa A.H., Panov A.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.rtj-mirea.ru/jour/article/view/977Цели

Цели. Поиск юридической информации, например, информации, связанной с различными юридическими вопросами, такими как наказание за преступления, является сложной задачей. Предлагаемый авторами подход может быть эффективным и действенным способом автоматизации поиска юридической информации без необходимости использования большого количества размеченных данных или значительных вычислительных ресурсов. Целью статьи является анализ возможности использования подхода к поиску документов в контексте юридических текстов на арабском языке, с применением методов обработки естественного языка и неконтролируемой кластеризации.

Методы

Методы. Использован подход Top2Vec – алгоритм моделирования темы, который создает вложения документов на основе семантического контекста, чтобы группировать юридические тексты на арабском языке в соответствующие темы. Использован алгоритм кластеризации на основе плотности для определения подтем внутри каждого кластера. Решаются проблемы работы с арабским юридическим текстом, такие как морфологическая сложность, двусмысленность и отсутствие стандартизированной терминологии. Предложен конвейер предварительной обработки, включающий в себя токенизацию, нормализацию, выделение корней и удаление стоп-слов.

Результаты

Результаты. Результаты оценки подхода с использованием набора данных юридических текстов на арабском языке, основанного на ключевых словах, показали его эффективность и превосходство с точки зрения точности и запоминаемости. Предлагаемый подход обеспечивает точность поиска – 87% и полноту поиска – 80%. Применение этого подхода может значительно улучшить поиск юридических документов, сделав его более быстрым и точным.

Выводы

Выводы. Предложенный подход может быть ценным инструментом для юристов и исследователей, которым необходимо ориентироваться в обширном и сложном ландшафте арабской юридической информации, повышая эффективность и точность ее поиска.

Objectives

Objectives. The retrieval of legal information, including information related to issues such as punishment for crimes and felonies, represents a challenging task. The approach proposed in the article represents an efficient way to automate the retrieval of legal information without requiring a large amount of labeled data or consuming significant computational resources. The work set out to analyze the feasibility of a document retrieval approach in the context of Arabic legal texts using natural language processing and unsupervised clustering techniques.

Methods

Methods. The Topic-to-Vector (Top2Vec) topic modeling algorithm for generating document embeddings based on semantic context is used to cluster Arabic legal texts into relevant topics. We also used the HDBSCAN densitybased clustering algorithm to identify subtopics within each cluster. Challenges of working with Arabic legal text, such as morphological complexity, ambiguity, and a lack of standardized terminology, are addressed by means of a proposed preprocessing pipeline that includes tokenization, normalization, stemming, and stop-word removal.

Results

Results. The results of the evaluation of the approach using a dataset of legal texts in Arabic based on keywords demonstrated its superior effectiveness in terms of accuracy and memorability. The proposed approach provides 87% accuracy and 80% completeness. This circumstance can significantly improve the search for legal documents, making the process faster and more accurate.

Conclusions

Conclusions. Our findings suggest that this approach can be a valuable tool for legal professionals and researchers to navigate the complex landscape of Arabic legal information to improve efficiency and accuracy in legal information retrieval.

поиск документовобработка естественного языкаТop2Vecалгоритм кластеризации на основе плотностиарабские юридические документывложения словкосинусное сходствоsearch for documentsNLPTop2VecHDBSCANArabic legal documentsword embeddingscosine similarityReferencesSleimi A., Sannier N., Sabetzadeh M., Briand L., Dann J. Automated extraction of semantic legal metadata using natural language processing. In: 2018 IEEE 26th International Requirements Engineering Conference (RE). IEEE; 2018. P. 124–135. https://doi.org/10.1109/RE.2018.00022Sleimi A., Sannier N., Sabetzadeh M., Briand L., Dann J. Automated extraction of semantic legal metadata using natural language processing. In: 2018 IEEE 26th International Requirements Engineering Conference (RE). IEEE; 2018. P. 124–135. https://doi.org/10.1109/RE.2018.00022Rogers A., Gardner M., Augenstein I. QA dataset explosion: A taxonomy of NLP resources for question answering and reading comprehension. ACM Comput. Surveys. 2023;55(10):1–45. https://doi.org/10.1145/3560260Rogers A., Gardner M., Augenstein I. QA dataset explosion: A taxonomy of NLP resources for question answering and reading comprehension. ACM Comput. Surveys. 2023;55(10):1–45. https://doi.org/10.1145/3560260Alanazi S.S., Elfadil N., Jarajreh M., Algarni S. Question Answering Systems: A Systematic Literature Review. International Journal of Advanced Computer Science and Applications (IJACSA). 2021;12(3):359. https://doi.org/10.14569/IJACSA.2021.0120359Alanazi S.S., Elfadil N., Jarajreh M., Algarni S. Question Answering Systems: A Systematic Literature Review. International Journal of Advanced Computer Science and Applications (IJACSA). 2021;12(3):359. https://doi.org/10.14569/IJACSA.2021.0120359Sansone C., Sperl ́ı G. Legal Information Retrieval systems: State-of-the-art and open issues. Inform. Syst. 2022;106:101967. https://doi.org/10.1016/j.is.2021.101967Sansone C., Sperl ́ı G. Legal Information Retrieval systems: State-of-the-art and open issues. Inform. Syst. 2022;106:101967. https://doi.org/10.1016/j.is.2021.101967Sartor G., Araszkiewicz M., Atkinson K., et al. Thirty years of Artificial Intelligence and Law: the second decade. Artif. Intell. Law. 2022;30(4):521–557. https://doi.org/10.1007/s10506-022-09326-7Sartor G., Araszkiewicz M., Atkinson K., et al. Thirty years of Artificial Intelligence and Law: the second decade. Artif. Intell. Law. 2022;30(4):521–557. https://doi.org/10.1007/s10506-022-09326-7Zhong H., Xiao C., Tu C., et al. How Does NLP Benefit Legal System: A Summary of Legal Artificial Intelligence. 2020. arXiv:2004.12158 [cs.CL]. https://arxiv.org/abs/2004.12158v5Zhong H., Xiao C., Tu C., et al. How Does NLP Benefit Legal System: A Summary of Legal Artificial Intelligence. 2020. arXiv:2004.12158 [cs.CL]. https://arxiv.org/abs/2004.12158v5Abu Shamma S., Ayasa A., Yahya A., et al. Information extraction from Arabic law documents. In: 2020 IEEE 14th International Conference on Application of Information and Communication Technologies (AICT). IEEE; 2020;1–6. https://doi.org/10.1109/AICT50176.2020.9368577Abu Shamma S., Ayasa A., Yahya A., et al. Information extraction from Arabic law documents. In: 2020 IEEE 14th International Conference on Application of Information and Communication Technologies (AICT). IEEE; 2020;1–6. https://doi.org/10.1109/AICT50176.2020.9368577Hammami E., Faiz R. Topic Modelling of Legal Texts Using Bidirectional Encoder Representations from Sentence Transformers. In: Advances in Information Systems, Artificial Intelligence and Knowledge Management. Conference paper. International Conference on Information and Knowledge Systems. Cham: Springer Nature Switzerland; 2023. V. 486. P. 333–343. https://doi.org/10.1007/978-3-031-51664-1_24Hammami E., Faiz R. Topic Modelling of Legal Texts Using Bidirectional Encoder Representations from Sentence Transformers. In: Advances in Information Systems, Artificial Intelligence and Knowledge Management. Conference paper. International Conference on Information and Knowledge Systems. Cham: Springer Nature Switzerland; 2023. V. 486. P. 333–343. https://doi.org/10.1007/978-3-031-51664-1_24Angelov D. Top2Vec: Distributed Representations of Topics. 2020. arXiv:2008.09470 [cs.CL]. https://arxiv.org/abs/2008.09470v1Angelov D. Top2Vec: Distributed Representations of Topics. 2020. arXiv:2008.09470 [cs.CL]. https://arxiv.org/abs/2008.09470v1Karas B., Qu S., Xu Y., Zhu Q. Experiments with LDA and Top2Vec for embedded topic discovery on social media data—A case study of cystic fibrosis. Front. Artif. Intell. 2022;5:948313. https://doi.org/10.3389/frai.2022.948313Karas B., Qu S., Xu Y., Zhu Q. Experiments with LDA and Top2Vec for embedded topic discovery on social media data—A case study of cystic fibrosis. Front. Artif. Intell. 2022;5:948313. https://doi.org/10.3389/frai.2022.948313Vianna D., de Moura E.S., da Silva A.S. A topic discovery approach for unsupervised organization of legal document collections. Artif. Intell. Law. 2023;Online First. https://doi.org/10.1007/s10506-023-09371-wVianna D., de Moura E.S., da Silva A.S. A topic discovery approach for unsupervised organization of legal document collections. Artif. Intell. Law. 2023;Online First. https://doi.org/10.1007/s10506-023-09371-wMcInnes L., Healy J., Astels S. hdbscan: Hierarchical density-based clustering. J. Open Source Softw. 2017;2(11):205. https://doi.org/10.21105/joss.00205McInnes L., Healy J., Astels S. hdbscan: Hierarchical density-based clustering. J. Open Source Softw. 2017;2(11):205. https://doi.org/10.21105/joss.00205Devlin J., Chang M.W., Lee K., Toutanova K. Bert: Pre-training of deep bidirectional transformers for language understanding. 2018. arXiv, preprint arXiv:1810.04805. https://arxiv.org/abs/1810.04805v2Devlin J., Chang M.W., Lee K., Toutanova K. Bert: Pre-training of deep bidirectional transformers for language understanding. 2018. arXiv, preprint arXiv:1810.04805. https://arxiv.org/abs/1810.04805v2Salton G., McGill M.J. Introduction to Modern Information Retrieval. N.Y.: McGraw-Hill; 1983. 472 p.Salton G., McGill M.J. Introduction to Modern Information Retrieval. N.Y.: McGraw-Hill; 1983. 472 p.Manning C.D., Raghavan P., Schütze H. Introduction to Information Retrieval. Cambridge, England: Cambridge University Press; 2008. 492 p.Manning C.D., Raghavan P., Schütze H. Introduction to Information Retrieval. Cambridge, England: Cambridge University Press; 2008. 492 p.

The authors declare that there are no conflicts of interest present.