Меню
Публикации
2026
2025
2024
2023
2022
2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
Главный редактор
НИКИФОРОВ
Владимир Олегович
д.т.н., профессор
Партнеры
doi: 10.17586/2226-1494-2026-26-4-860-867
УДК 004.83
Метод построения RAG для анализа гетерогенных графо-иерархических текстовых корпусов
Читать статью полностью
Язык статьи - русский
Ссылка для цитирования:
Аннотация
Ссылка для цитирования:
Улизько М.В., Береснев А.Д., Жуков В.В., Марков П.Д., Гусарова Н.Ф. Метод построения RAG для анализа гетерогенных графо-иерархических текстовых корпусов // Научно-технический вестник информационных технологий, механики и оптики. 2026. Т. 26, № 4. С.860–867. doi: 10.17586/2226-1494-2026-26-4-860-867
Аннотация
Введение. Анализ корпусов документов со сложными внутренними и междокументными связями требует не только поиска релевантных текстов, но и построения минимального, проверяемого и трассируемого набора фрагментов, достаточного для последующего вывода и цитирования. В работе предложен метод извлечения фрагментов для корпусов документов, в котором смысл фрагмента определяется его локальным содержанием, положением в структуре документа и системой ссылок на другие фрагменты. Метод. Разработанный метод основан на совместном представлении корпуса как дерева структурных единиц и ориентированного графа ссылок, а также на гибридном ранжировании, сочетающем лексический поиск, векторное сходство и ссылочный сигнал. Доказана монотонность и субмодулярность целевой функции, что позволяет применять жадные алгоритмы с известной аппроксимационной гарантией и выполнять бюджетированный отбор контекста для системы генерации с дополненным поиском (Retrieval-Augmented Generation, RAG). Дополнительно вводится протокол оценки, разделяющий качество извлечения на уровне документов, фрагментов и цитат. Основные результаты. Представленный метод формально валидирован на тестах устойчивости к лексическому несовпадению и эффективности бюджетного отбора по сравнению с простыми стратегиями. Для содержательной иллюстрации эффективности метода использованы примеры из юридического домена. Обсуждение. Метод может использоваться как слой извлечения для RAG-систем в задачах построения вопросно-ответных систем, поиска доказательств, нормативного комплаенса и анализа больших структурно связанных корпусов.
Ключевые слова: интеллектуальный анализ документов, граф ссылок, графо-иерархическая структура корпуса, RAG-система, бюджетированный отбор контекста, извлечение информации, поиск доказательств, субмодулярная оптимизация, юридические документы
Благодарности. Работа частично поддержана Министерством науки и высшего образования Российской Федерации, госзадание FSER-2025-0013.
Список литературы
Благодарности. Работа частично поддержана Министерством науки и высшего образования Российской Федерации, госзадание FSER-2025-0013.
Список литературы
1. Gao Y., Xiong Y., Gao X., Jia K., Pan J., Bi Y., et al. Retrieval-augmented generation for Large Language Models: a survey // arXiv. 2024. arXiv:2312.10997. doi: 10.48550/arXiv.2312.10997
2. Barnett S., Kurniawan S., Thudumu S., Brannelly Z., Abdelrazek M. Seven failure points when engineering a retrieval augmented generation system // Proc. of the IEEE/ACM 3rd International Conference on AI Engineering - Software Engineering for AI. 2024. P. 194–199. doi: 10.1145/3644815.3644945
3. Jin B., Yoon J., Han J., Arik S.O. Long-context LLMs meet RAG: overcoming challenges for long inputs in RAG // Proc. of the International Conference on Learning Representations. 2025.
4. Lewis P., Perez E., Piktus A., Petroni F., Karpukhin V., Goyal N., et al. Retrieval-augmented generation for knowledge-intensive NLP tasks // Proc. of the 34th International Conference on Neural Information Processing Systems. 2020. P. 9459–9474.
5. Pipitone N., Alami G.H. LegalBench-RAG: a benchmark for retrieval-augmented generation in the legal domain // arXiv. 2024. arXiv:2408.10343. doi: 10.48550/arXiv.2408.10343
6. Reuter M., Lingenberg T., Liepina R., Lagioia F., Lippi M., Sartor G., et al. Towards reliable retrieval in RAG systems for large legal datasets // Proc. of the Natural Legal Language Processing Workshop. 2025. P. 17–30. doi: 10.18653/v1/2025.nllp-1.3
7. Zheng L., Guha N., Arifov J., Zhang S., Skreta M., Manning C.D., et al. A Reasoning-focused legal retrieval benchmark // Proc. of the 2025 Symposium on Computer Science and Law. 2025. P. 169–193. doi: 10.1145/3709025.3712219
8. Latif S., Ameer H., Akram M.H., Fatima M. The chunking paradigm: pecursive semantic for RAG optimization // Proc. of the 8th International Conference on Natural Language and Speech Processing (ICNLSP-2025). 2025. P. 137–145.
9. Gunther M., Mohr I., Williams D.J., Wang B., Xiao H. Late chunking: contextual chunk embeddings using long-context embedding models // arXiv. 2024. arXiv:2409.04701. doi: 10.48550/arXiv.2409.04701
10. Qu R., Tu R., Bao F.S. Is semantic chunking worth the computational cost? // Findings of the Association for Computational Linguistics: NAACL. 2025. P. 2155–2177. doi: 10.18653/v1/2025.findings-naacl.114
11. Shin J., Park C., Park J., Seo J., Lim H. MultiDocFusion: hierarchical and multimodal chunking pipeline for enhanced RAG on long industrial documents // Proc. of the Conference on Empirical Methods in Natural Language Processing. 2025. P. 20985–21004. doi: 10.18653/v1/2025.emnlp-main.1062
12. Sarthi P., Abdullah S., Tuli A., Khanna S., Goldie A., Manning C.D. RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval // Proc. of the International Conference on Learning Representations. 2024.
13. Robertson S., Zaragoza H. The Probabilistic relevance framework: BM25 and beyond // Foundations and Trends in Information Retrieval. 2009. V. 3. N 4. P. 333–389. doi: 10.1561/1500000019
14. Santhanam K., Khattab O., Saad-Falcon J., Potts C., Zaharia M. ColBERTv2: Effective and efficient retrieval via lightweight late interaction // Proc. of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2022. P. 3715–3734. doi: 10.18653/v1/2022.naacl-main.272
15. Khuller S., Moss A., Naor J. The budgeted maximum coverage problem // Information Processing Letters. 1999. V. 70. N 1. P. 39–45. doi: 10.1016/S0020-0190(99)00031-9
16. Lin H., Bilmes J. A class of submodular functions for document summarization // Proc. of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies. 2011. P. 510–520.
17. Sviridenko M. A note on maximizing a submodular set function subject to a knapsack constraint // Operations Research Letters. 2004. V. 32. N 1. P. 41–43. doi: 10.1016/S0167-6377(03)00062-2
18. Saveliev D., Kuchakov R. The Russian legislative corpus // arXiv. 2024. arXiv:2406.04855. doi: 10.48550/arXiv.2406.04855
19. Koreeda Y., Manning C. ContractNLI: a dataset for document-level natural language inference for contracts // Findings of the Association for Computational Linguistics: EMNLP. 2021. P. 1907–1919. doi: 10.18653/v1/2021.findings-emnlp.164
20. Wang S.H., Scardigli A., Tang L., Chen W., Levkin D., Chen A., et al. MAUD: an expert-annotated legal NLP dataset for merger agreement understanding // Proc. of the Conference on Empirical Methods in Natural Language Processing. 2023. P. 16369–16382. doi: 10.18653/v1/2023.emnlp-main.1019
21. Hendrycks D., Burns C., Chen A., Ball S. CUAD: an expert-annotated NLP dataset for legal contract review // arXiv. 2021. arXiv:2103.06268. doi: 10.48550/arXiv.2103.06268
