Samara University Repository
Welcome to the Samara University repository!
This is an open electronic archive created to preserve and disseminate the scientific results of our university. The works of researchers, faculty members, and students are available to everyone for academic and research purposes.
The repository contains dissertations, research articles, educational and methodological materials, monographs, and regulatory documents. The collections cover a wide range of fields: from aerospace technologies, engine engineering, and computer science to history, linguistics, mathematics, and ecology. The archive brings together the scientific heritage of the university, including materials prepared during the period of Samara State Aerospace University and Samara State University.
Looking for publications by author, title, date, or subject? Full-text search will provide relevant results. Want to explore the academic life more closely? Browse materials by the universityâs organizational units.
Descriptions of all publications and articles available in the repository can be found in the libraryâs electronic catalog. Staff and students can log in via the menu "Login -> My Resource Archive" using their personal account credentials (SSAU_id).
Use the archive for study, research, and professional development!
| Title: | Автоматизированная система сканирования неиндексируемого контента Интернет-ресурсов |
| Authors: | Дмитриев Д. О. Климентьев К. Е. Муравьева Е. В. |
| Keywords: | chunked-кодирование gzip-сжатие автоматизированные системы анализ гиперссылок веб-системы интернет-ресурсы неиндексируемый контент поиск ключевых слов в содержимом страниц рекурсивный обход страниц сжатие данных сканирование неиндексируемого контента Интернет-ресурсов форматы передачи данных |
| Issue Date: | 2025 |
| Citation: | Дмитриев, Д. О. Автоматизированная система сканирования неиндексируемого контента Интернет-ресурсов : вып. квалификац. работа по направлению подгот. 09.03.01 "Информатика и вычислительная техника" (уровень бакалавриата), профиль "Информационные системы" / Д. О. Дмитриев ; рук. работы К. Е. Климентьев ; нормоконтролер Е. В. Муравьева ; М-во науки и высш. образования Рос. Федерации, Самар. нац. исслед. ун-т им. С. П. Королева (Самар. ун-т) ; Ин-т информа. - Самаpа, 2025. - 1 файл (4,2 Мб). - Текст : электронный |
| Abstract: | В выпускной квалификационной работе рассматриваются вопросы сканирования неиндексируемого контента Интернет-ресурсов. Цель работы – разработка автоматизированный системы сканирования неиндексируемого контента Интернет-ресурсов. В ходе выполнения ВКР была разработана автоматизированная система сканирования неиндексируемого контента интернет-ресурсов. Исследованы методы обработки веб-страниц с учетом различных форматов передачи данных, включая chunked-кодирование и gzip-сжатие. Разработан алгоритм рекурсивного обхода страниц в пределах заданного IP-адреса с возможностью настройки глубины поиска от 2 до 5 уровней. Реализован механизм извлечения и анализа гиперссылок с фильтрацией по домену. Реализован поиск заданного ключевого слова в содержимом страниц. В процессе разработки были получены практические навыки работы с сетевыми протоколами и обработки веб-контента, что позволило повысить знания принципов современных веб-систем. В рамках работы был проведен анализ предметной области и существующих систем-аналогов, |
| URI: | http://repo.ssau.ru/jspui/handle/123456789/45868 |
| Appears in Collections: | Выпускные квалификационные работы |
| File | Size | Format | |
|---|---|---|---|
| Дмитриев_Данила_Олегович_Автоматизированная_система_сканирования_неиндексируемого.pdf | 4.3 MB | Adobe PDF | View/Open Request a copy |
Items in Repository are protected by copyright, with all rights reserved, unless otherwise indicated.