Раскрытие возможностей парсинга веб-страниц: обход «Отладка запрещена файлом robots.txt» с помощью умного кода