Переобход страниц: что это и как его использовать?

что это и как его использовать?

Переобход страниц в Яндекс.Вебмастер — это полезная и популярная функция, позволяющая отправить сигнал боту список URL, которые в первую очередь необходимо проиндексировать.

Что это и как использовать?

После подключения к сервису Яндекс.Вебмастер потребуется перейти в раздел «Инструменты»-«Переобход страниц».

В специальном поле потребуется ввести URL страниц, которые потребуется обойти в первую очередь и нажать на «отправить»

Важно! Дневной лимит по умолчанию 20 страниц, но может быть увеличен в зависимости от размера сайта.

Важно! Можно вводить как полный URL, так и относительный (пример, «/otnositelniy-url/»).

В течение некоторого времени робот обойдет страницы и в таблице ниже появиться статус задачи.

Полный переобход по Sitemap

Чтобы робот полностью проиндексировал все страницы потребуется в Вебмастере перейти «Индексирование»-«Файлы Sitemap».

Далее напротив нужного файла карты сайта нажать на специальную кнопку, после чего начнется полный обход веб-ресурса по указанным адресам.

Важно! Точный срок завершения задачи не известен, но в среднем занимает от 1 до 7 дней (по наблюдениям) в зависимости от размера карты.

Важно! Запуск данного инструмента возможен не чаще чем 1 раз в месяц.

Отслеживание и возможности

При клике на кнопку «Отслеживать» пользователь попадает на инструмент «Мониторинг важных страниц».

Здесь можно будет поставить уведомления на изменения кода ответа или заголовков, что позволит всегда вовремя исправлять ошибки на сайте.

Для того, чтобы получить список URL, которые потребуется заново проиндексировать поисковому роботу Яндекса можно воспользоваться следующими функциями:

Выгрузив таблицы в Excel и сравнив с данными по поисковым посещениям Яндекс.Метрики или раздела «Поисковые запросы» в Яндекс.Вебмастер, можно быстро исправить ошибку и отправить нужный URL на переобход.

Отправление страницы сайта на переобход

{
  "": "INVALID_URL",
  "": "some string"
}

<Data>
  <>INVALID_URL</error_code>  
  <>some string</error_message>
</Data>

{
  "": "INVALID_USER_ID",
  "": 1,
  "": "Invalid user id. {user_id} should be used."
}

<Data>
    <>INVALID_USER_ID</error_code>
    <>1</available_user_id>
    <>Invalid user id. {user_id} should be used.</error_message>
</Data>

{
  "": "HOST_NOT_VERIFIED",
  "": "http:ya.ru:80",
  "": "some string"
}

<Data>
  <>HOST_NOT_VERIFIED</error_code>  
  <>http:ya.ru:80</host_id>
  <>some string</error_message>
</Data>

{
  "": "URL_ALREADY_ADDED",
  "": "some string"
}

<Data>
  <>URL_ALREADY_ADDED</error_code>  
  <>some string</error_message>
</Data>

{
  "error_code": "QUOTA_EXCEEDED",
  "daily_quota": 1,
  "exceeded_until": "2016-01-01T00:00:00,000+0300",
  "error_message": "some string"
}

<Data>
  <error_code>QUOTA_EXCEEDED</error_code>  
  <daily_quota>1</daily_quota>  
  <exceeded_until>2016-01-01T00:00:00,000+0300</exceeded_until>  
  <error_message>some string</error_message>
</Data>
{
  "": "INVALID_URL",
  "": "some string"
}

Переобход страниц в Яндексе и Гугле (переиндексация сайта)

Всегда после обновления старых текстов блога я делаю повторную переиндексацию страниц сайта в ручном режиме. Это позволяет максимально быстро предоставить поисковикам актуальную исправленную версию веб-страницы, не дожидаясь появления поискового робота. Для выполнения задачи можно использовать специальные функции панелей вебмастеров Яндекс и Google. В последней недавно поменялся принцип работы и интерфейс, поэтому решил дополнить первоначальную версию статьи.

По идее, ручной переобход страниц сайта кроме изменений информации о них и их содержимом в выдаче также должен обновить данные в кэше поисковиков. Думаю, метод также подходит и для возвращения случайно выпавших URL’ов проекта из-за ошибок сервера и др.

В моем блоге встречались разные механизмы индексации, например, использование адурилки поисковиков или установка Яндекс Пингер и т.п. Однако это больше касается первичного добавления в индекс, как, например, создание XML Sitemap. Для нашей же задачи были разработаны специальные инструменты в панели вебмастеров.

Переобход страниц в Яндекс.Вебмастер

Данная функция появилась в новом Яндекс Вебмастере чуть позже после релиза. Если вы еще не зарегистрированы в этом сервисе, обязательно советую это сделать — webmaster.yandex.ru. После подтверждения прав на свой вебсайт можете зайти в раздел «Индексирование» — «Переобход страниц».

Здесь в текстовом поле указываете ссылки, на которые хотите привлечь поискового робота. Раньше дневной лимит составлял 20шт на один проект, сейчас, как я понимаю, число зависит от показателя ИКС.

После нажатия «Отправить» внизу под формой отобразятся новые страницы для переиндексации в Яндексе. Всего у них есть 3 статуса:

• В очереди — линки только добавлены.
• Робот обошел — процесс выполнен, ожидайте апдейта при следующем обновлении базы.
• Ошибка.

После этого остается лишь ждать очередного апдейта.

Переиндексация страниц в Google

Чуть ниже рассмотрена старая версия данной процедуры, но с обновлением дизайна Google Search Console все немного изменилось.

Чтобы запросить индексирование страницы требуется:

1. Выбрать нужный сайт из списка.
2. Сверху в поле ввода указать URL-страницы для переобхода и нажимаете Enter.
3. Дальше через пару секунд появится отчет по текущей веб-странице: нахождение ее в индексе, адаптивность для мобильных и некоторые другие общие данные. Здесь вы можете увидеть дату последнего ее посещения роботом гугла.
4. Дальше у вас на выбор есть 2 варианта:
   • Кликнуть «проверить страницу на сайте» — проанализирует общее ее состояние и покажет наличие ошибок здесь.
   • Нажать ссылку «Запросить индексирование — направление запроса на переобход.

Насколько я понимаю, в первом случае Google проверяет страницу, но не отправляет ее на индексацию, а позже робот Googlebot в общем порядке сам туда заглянет. По второй ссылке запрос попадает в так называемую «приоритетную очередь сканирования».

Кстати, судя по времени выполнения второй заявки, перед отправкой на переобход веб-страничка автоматически проходит такую же проверку, как предполагает первый вариант. Если вам она только и нужна, то сразу кликайте опцию «Запросить индексирование». В итоге увидите сообщение:

Если честно, по сравнению с прошлым алгоритмом тут одни сплошные минусы:

• вся процедура занимает больше времени и кликов;
• нужно ждать пока пройдет проверка веб-страницы, а если у вас на очереди 50 ссылок;
• очень часто показывается каптча.

Прошлым методом можно было добавить в сутки где-то с 10-ток линков, и все это занимало не более минуты. Здесь, к сожалению, не так.

Переобход страниц в Google (старая версия)

Выполнение подобной задачи в Гугле аналогично Яндексу, хоть и включает в себя больше шагов. Ваш сайт также должен быть добавлен в панель вебмастера, но уже Google Search Console. Находите в инструментах раздел «Crawl» (Сканирование) — «Fetch as Google» (Посмотреть как Googlebot).

Здесь нужно:

1. В текстовом поле вводите адрес страницы для переиндексации в Гугле (без домена, только путь).
2. Кликаете по кнопке «Fetch» (Сканировать). Новый URL будет добавлен в список, и через несколько секунд после проверки у него появится статус «Complete» (Готово).
3. Затем нажимаете на кнопку «Request Indexing» (Отправить в индекс), что находится рядом.

После этого отобразится всплывающее окно, где выбираете один из вариантов переобхода страницы Гуглом:

Вы можете:

• выполнить переиндексацию страницы в Google для одного URL (до 500 в месяц).
• просканировать указанную страницу и все прямые ссылки на ней (10 штук в месяц). Данная опция хорошо подходит разделам/категориям со списком записей или карте сайта.

Разумеется при всем при этом переобход страниц в Яндекс.Вебмастере или Google Search Console не гарантирует того, что новая информация с вашего URL будет добавлена в индекс. Соблюдение алгоритмов и требований к контенту никто не отменял. По времени переиндексации — эти инструменты определенно ускоряют процесс, но это не значит, что он будет выполнен моментально. Во всем остальном — решение хорошо работает и позволяет нормальным проектам побыстрее обновить информацию в индексе поисковиков.

Если у вас есть что добавить по теме переиндексации страниц сайта, пишите в комментариях. Возможно, какие-то детали я пропустил.  

зачем, для кого и как работает

В Яндекс.Вебмастере появился «Приоритетный переобход страниц». Так вы можете сообщить индексирующему роботу о тех страницах, которые требуют приоритетного обхода.

Зачем этот инструмент?

«Если есть хороший Sitemap, то и без этого инструмента можно обойтись. Но все равно иногда возникают задачи, когда нужен срочный обход или переобход страницы. И этот инструмент про это», — поясняют представители Яндекса.

Например, нужно сделать так, чтобы текст в сниппетах был заменен на новый, уже обновленный на самой странице. Или нужно ускорить попадание в поиск новых страниц с только что поступившим товаром или новостью.

Также инструмент предоставляет возможность быстро вернуть выпавшие из поиска страницы из-за неправильной настройки сервера, ограничений в robots.txt или любой другой проблемы с доступностью сайта для индексирующего робота.

Как работает инструмент?

«Приоритетный переобход» вы найдете в новом Вебмастере в разделе «Инструменты». На данный момент можно запросить переобход до 10 страниц в день для каждого подтвержденного сайта. После подачи заявки вы увидите дин из трех статусов обработки заявки:

1. «В очереди» — это означает, что страница была передана роботу для обхода, и в течение 3 суток заявка будет обработана.
2. «Робот обошёл» — страница была посещена роботом, а данные о странице в поиске обновятся с последующими обновлениями поисковой базы.
3. «Ошибка» — робот не смог посетить страницу.

«Определенно, этот инструмент — шаг навстречу вебмастерам. На мой взгляд, «Приоритетный обход» будут особенно полезен молодым и развивающимся сайтам, потому что зачастую на такие сайты роботы могут очень долго не заходить.
Мы уже используем это в своей работе и начали предлагать его своим клиентам, в том числе для тестирования эффективности страниц сайта», — комментирует Сергей Андреев, маркетолог сервиса Rookee.

Хотите подробностей?

Ниже предлагаем запись Пятой Вебмастерской Яндекса. «Приоритетный переобход страниц» был анонсирован в рамках второго доклада.

Переобход страниц от Яндекс работает на ура

Автор Александр Брушкивский На чтение 2 мин. Просмотров 1.2k. Опубликовано 19.11.2016

Уже не первый год все вебмастера и SEOшники сетуют на то, что страницы в индекс новому сайту очень сложно загнать. Это связано в том числе и с редкими обновлениями поисковой выдачи Яндекса.

В этом году Яндекс представил новую версию своего вебмастера. Сначала было в бета тестировании и в последующем полностью на него перешли.

Всем привычная аддурилка в новом вебмастере находится в разделе «Инструменты» и теперь называется переобход страниц.

Переобход страниц загоняет страницы в индекс Яндекса

Каждую новую статью моего блога, помимо того что расшариваю в соц. сетях, добавляю в аддурилку Яндекса и Google.

В новой аддурилке (переобход страниц) теперь можно добавлять урлы сразу пачкой, но дневной лимит всего 10 урлов.

Раньше Яндекс как психолог, просто принимал ссылки (выслушивал что ему говорит пациент) и обещал что робот обязательно посетит сайт и посмотрит эти страницы. При этом абсолютно не обещал, что страница попадет сразу в индекс.

Сейчас же работая с одним интернет магазином по продаже буровых установок, я как в Google так и в Яндекс добавлял сразу пачками новые оптимизированные страницы сайта.

До того, как я начал это делать, сайт новый и стоял всего с 4мя страницами в индексе — главная, новости,, о компании и контакты. О том что категории товаров и тем более сами товары попадут в индекс в скором времени и речи не было.

Какого же было мое удивление, когда почти все страниц что я добавлял в переобход страниц попали в индекс и сам Яндекс подтверждая это, показывает время попадания в Индекс этих страниц.

С Google и раньше проблем не было. Страницы почти моментально залетали в индекс, при добавлении в аддурилку, а в Яндекс приходилось ждать по 2 недели.

Проверю работу переобхода страниц еще на нескольких страницах, но то что это помогает быстро загнать страницы в индекс, причем бесплатно и не прибегая к сторонним сервисам.

Если у вас переобход страниц работает так же хорошо или нет, отпишитесь в комментариях.

P.s. решил проверишь попала ли эта статья в индекс спустя несколько часов и о чудо!

Как видно на скрине ниже, страница уже в индексе и прошло всего 3 часа 10 минут, но яндекс округляет в большую сторону и написано что 4 часа назад.

Переобход страниц Яндекс вебмастер новый инструмент сервиса

Компания Яндекс продолжает расширять функционал своих инструментов. Один из полезных для сферы IT сервисов – Яндекс Вебмастер, который предназначен для настроек своего сайта под требования поисковика. Сегодня, я хочу рассказать Вам про раздел Переобход страниц Яндекс вебмастер, который отвечает за установление приоритетности страниц сайта, и позволяет настроить индексирование в соответствие с  Вашими пожеланиями.

Переобход страниц Яндекс вебмастер – инструмент индексирования сайта, который позволяет задать или изменить приоритетность страниц сайта. Данный инструмент полезен в 3 случаях:

-если Вы создали сайт, и хотите сообщить о нем поисковой системе. С помощью данного инструмента можно задать приоритетность наиболее интересных, по Вашему мнению, страниц.

-если Вы добавляете на сайт большое количество материала ежедневно, и хотите подсказать поисковым системам наиболее интересные (релевантные) страницы на ресурсе. С помощью переобходчика Вы можете указать самые Важные Урлы и тем самым ускорить индексацию страниц.

-если Вы хотите перенести вес с одной страницы ресурса на другую. Такая ситуация может возникать, когда в выдаче появляется не  продвигаемая страница, а страница с похожим контентом.

В день на ресурс лимит на 10 адресов

Чтобы попасть в раздел Переобход страниц яндекс вебмастер необходимо добавить сайт в панель Яндекс вебмастер. После добавления сайта переходим в раздел инструменты. В данном разделе представлено 7 инструментов для работы с сайтом в вебмастере. После перехода в раздел «Переобход страниц» перед нами открывается рабочее поле инструмента. Для того, чтобы запустить приоритетное индексирование страницы, необходимо ввести полный урл страницы, индексацию которой Вы хотите ускорить. При этом, возможно три статуса состояния приритетного индексирования страницы:

1. Состояние «В очереди». Страница сайта в данном случае, находится процессе индексация. Индексация страницы проходит за 1-2 дня, изменения в выдаче будут после ближайшего апдейта поисковой системы.
2. Состояние «Робот обошел». В данном случае изменения индексирования внесены в базу данных поисковой системы. Значит, процесс изменения приоритетного индексирования прошел успешно.
3. Состояния «Ошибка». В данном случае произошла ошибка в индексирование страницы. Наиболее вероятная причина.

   Пример добавленного урла в переобходчик

Переобход страниц Яндекс вебмастер – хороший инструмент для настройки индексирования сайта. Надеемся, наши инструкции помогут Вам настроить приоритетное индексирование страниц Яндексом!

В Яндекс.Вебмастере обновился лимит на переобход страниц

Яндекс.Вебмастер обновил лимит на переобход страниц, говорится в Telegram-канале «АлаичЪ про SEO, бизнес и …». Дневные лимиты были пересмотрены для всех сайтов, при этом была обнаружена корреляция лимитов на переобход с показателем ИКС. 

Увеличение лимитов на переобход заметили коллеги сегодня с утра. Но изменения могли произойти и в пятницу, и на выходных, потому сказать точно, когда это произошло, не берусь. 

Проанализировать ситуацию захотелось, когда заметили, что лимиты коррелируют с показателем ИКС сайтов. У нас в панели несколько сотен клиентских и своих сайтов. Я просто просмотрел их все, занес данные по каждому сайту в таблицу и убедился, что новый лимит на переобход строго зависит от ИКС (в этом нет сомнений). Я даже график зависимости построил», – рассказал SEOnews Александр Алаев, руководитель веб-студии «АлаичЪ и Ко». 

Теперь в сутки можно отправить на ускоренный переобход от 30 до 300 страниц в зависимости от ИКС. В ходе своего исследования Александр получил такие результаты: 

• ИКС 0-10 – 30 страниц,
• ИКС 20 – 90 страниц,
• ИКС 30 – 110 страниц,
• ИКС 40 – 120 страниц,
• ИКС 50 – 130 страниц,
• ИКС 60–70 – 140 страниц,
• ИКС 80–100 – 150 страниц,
• ИКС 110–130 – 160 страниц,
• ИКС 140–170 – 170 страниц,
• ИКС 180–230 – 180 страниц,
• ИКС 240–300 – 190 страниц,
• ИКС 310–400 – 200 страниц,
• ИКС 410–500 – 210 страниц,
• ИКС 510–750 – 220 страниц,
• ИКС 760–950 – 230 страниц,
• ИКС 960–1140 – 240 страниц,
• ИКС 2010 – 260 страниц,
• ИКС 5150 – 290 страниц,
• ИКС 10200 – 320 страниц.

Александр Алаев замечает, что данные от 0 до 1000 являются достоверными, так как основаны на большой выборке сайтов. Показатели ИКС выше 1000 имели всего несколько сайтов, поэтому определить точные границы изменения значения не представляется возможным. 

Напомним, на прошлой неделе Яндекс отключил инструмент «Оригинальные тексты». Теперь донести обновления сайта до робота можно через обход по счетчикам Метрики или в разделе Переобход страниц в Вебмастере. 

Источник: АлаичЪ

Обход

— Веб-платформа пирамиды v1.10.4

В этой главе объясняются технические подробности работы обхода в Pyramid.

Для быстрого примера см. Hello Traversal World.

Подробнее о , почему вы можете использовать обход , см. Много шума об обходе.

Обход использует URL-адрес (универсальный указатель ресурсов) для поиска ресурс, расположенный в дереве ресурсов, которое представляет собой набор вложенных словарные объекты. Обход выполняется с использованием каждого сегмента пути часть URL-адреса для навигации по дереву ресурсов.Ты можешь воспринимайте это как поиск файлов и каталогов в файловой системе. Обход идет по пути, пока не найдет опубликованный ресурс, аналогичный файлу системный «каталог» или «файл». Ресурс, найденный в результате обхода становится контекстом запроса. Тогда вид Подсистема поиска используется для поиска некоторого кода представления, желающего «опубликовать» это ресурс, генерируя ответ.

Примечание

Использование обхода для сопоставления URL-адреса коду необязательно. Если вы создаете ваше первое приложение Pyramid, вероятно, имеет смысл использовать Отправка URL-адресов для сопоставления URL-адресов с кодом вместо обхода, как новая пирамида разработчики склонны находить отправку URL-адресов немного более понятной.если ты используйте рассылку URL, вам не нужно читать эту главу.

Детали обхода

Обход зависит от информации в объекте запроса. Каждый объект запроса содержит информацию о пути URL в PATH_INFO часть среды WSGI. Строка PATH_INFO — это часть URL-адреса запроса после имени хоста и номера порта, но перед любые элементы строки запроса или элемент фрагмента. Например, PATH_INFO часть URL http: // example.com: 8080 / a / b / c? foo = 1 — это / a / b / c .

Traversal обрабатывает сегмент PATH_INFO URL-адреса как последовательность пути сегменты. Например, строка PATH_INFO / a / b / c преобразуется в последовательность ['a', 'b', 'c'] .

Эта последовательность путей затем используется для спуска по дереву ресурсов, поиск ресурса для каждого сегмента пути. Каждый поиск использует __getitem__ метод ресурса в дереве.

Например, если последовательность информации о пути — ['a', 'b', 'c'] :

• Обход начинается с получения корневого ресурса приложение, вызвав корневую фабрику.Корневая фабрика может быть настроенным для возврата любого объекта, подходящего в качестве корня обхода вашего приложения.
• Затем первый элемент ( 'a' ) извлекается из последовательности сегментов пути. и используется как ключ для поиска соответствующего ресурса в корне. Эта вызывает метод __getitem__ корневого ресурса, используя это значение ( 'a' ) как аргумент.
• Если корневой ресурс «содержит» ресурс с ключом 'a' , его __getitem__ метод вернет его.Контекст временно становится ресурсом «А».
• Следующий сегмент ( 'b' ) извлекается из последовательности пути, и буква «A» ресурс __getitem__ вызывается с этим значением ( 'b' ) в качестве аргумент; мы предполагаем, что это удастся.
• Ресурс «A» __getitem__ возвращает другой ресурс, который мы назовем «Б». Контекст временно становится ресурсом «B».

Обход продолжается до тех пор, пока последовательность сегментов пути не будет исчерпана или путь элемент не может быть преобразован в ресурс.В любом случае контекст ресурс — это последний объект, успешно разрешенный обходом. Если есть ресурс, найденный во время обхода, не имеет метода __getitem__ , или если его __getitem__ метод вызывает KeyError , обход немедленно завершается, и этот ресурс становится контекстом.

Результаты обхода также включают имя представления. Если обход заканчивается до того, как последовательность сегментов пути будет исчерпана, представление name — это следующих оставшихся элементов сегмента пути.Если обход расширяет все сегменты пути, тогда имя вида будет пустым строка ( '' ).

Комбинация контекстного ресурса и имени представления, найденная через обход используется позже в том же запросе поиском представления подсистема для поиска вызываемого представления. Как Pyramid выполняет просмотр поиск объясняется в главе «Просмотр конфигурации».

Дерево ресурсов

Дерево ресурсов — это набор вложенных словарных объектов ресурсов, которые начинается с корневого ресурса.Чтобы использовать обход разрешить URL-адреса в код, ваше приложение должно предоставить дерево ресурсов для Пирамида.

Чтобы предоставить корневой ресурс для приложения, пирамида Маршрутизатор настроен с функцией обратного вызова, известной как корневая фабрика. Корневая фабрика предоставляется приложением во время запуска как root_factory аргумент Конфигуратора.

Корневая фабрика — это вызываемый объект Python, который принимает объект запроса, и возвращает корневой объект дерева ресурсов.Функция или класс обычно используется в качестве корневой фабрики приложения. Вот пример простой корневой класс фабрики:

класс Корень (dict): def __init __ (self, запрос): проходить

Вот пример использования этой корневой фабрики в начальной конфигурации, передача его в экземпляр конфигуратора с именем config :

config = Конфигуратор (root_factory = Корень)

Аргумент root_factory для конфигуратора конструктор регистрирует эту корневую фабрику для вызова для генерации корневого ресурс всякий раз, когда запрос поступает в приложение.Корневая фабрика зарегистрированный таким образом, также известен как глобальная корневая фабрика. Корневая фабрика в качестве альтернативы можно передать в Configurator как Python с точками имя, которое может относиться к корневой фабрике, определенной в другом модуле.

Если нет

.

Что такое атака с обходом каталогов?

Что такое атака обхода каталогов?

Правильный контроль доступа к веб-контенту имеет решающее значение для работы безопасного веб-сервера. Обход каталогов или обход пути — это HTTP-атака, которая позволяет злоумышленникам получать доступ к каталогам с ограниченным доступом и выполнять команды вне корневого каталога веб-сервера.

Веб-серверы обеспечивают два основных уровня механизмов безопасности

• Списки контроля доступа (ACL)
• Корневой каталог

Список контроля доступа используется в процессе авторизации.Это список, который администратор веб-сервера использует, чтобы указать, какие пользователи или группы могут получать доступ, изменять или выполнять определенные файлы на сервере, а также другие права доступа.

Корневой каталог — это особый каталог в файловой системе сервера, в котором находятся пользователи. Пользователи не могут получить доступ к чему-либо выше этого корня.

Например: корневой каталог IIS по умолчанию в Windows — C: \ Inetpub \ wwwroot , и при этой настройке пользователь не имеет доступа к C: \ Windows , но имеет доступ к C: \ Inetpub \ wwwroot \ news и любые другие каталоги и файлы в корневом каталоге (при условии, что пользователь аутентифицирован через ACL).

Корневой каталог запрещает пользователям доступ к любым файлам на сервере, таким как C: \ WINDOWS / system32 / win.ini на платформах Windows и к файлу / etc / passwd на платформах Linux / UNIX.

Эта уязвимость может существовать либо в самом программном обеспечении веб-сервера, либо в коде веб-приложения.

Чтобы выполнить атаку с обходом каталогов, все, что требуется злоумышленнику, — это веб-браузер и некоторые знания о том, где вслепую найти любые файлы и каталоги по умолчанию в системе.

Что может сделать злоумышленник, если ваш сайт уязвим

Если система уязвима для обхода каталогов, злоумышленник может использовать эту уязвимость, чтобы выйти из корневого каталога и получить доступ к другим частям файловой системы. Это может дать злоумышленнику возможность просматривать файлы с ограниченным доступом, что может предоставить злоумышленнику дополнительную информацию, необходимую для дальнейшего взлома системы.

В зависимости от того, как настроен доступ к веб-сайту, злоумышленник будет выполнять команды, выдавая себя за пользователя, связанного с «веб-сайтом».Поэтому все зависит от того, к чему пользователю сайта предоставлен доступ в системе.

Пример атаки на обход каталога через код веб-приложения

В веб-приложениях с динамическими страницами ввод обычно поступает от браузеров через методы запроса GET или POST. Вот пример URL-адреса HTTP-запроса GET

 ПОЛУЧИТЬ http://test.webarticles.com/show.asp?view=oldarchive.html HTTP / 1.1
Хост: test.webarticles.com 

По этому URL-адресу браузер запрашивает показ динамической страницы .asp с сервера и вместе с ним также отправляет параметр view со значением oldarchive.html . Когда этот запрос выполняется на веб-сервере, show.asp извлекает файл oldarchive.html из файловой системы сервера, отображает его и затем отправляет обратно в браузер, который отображает его пользователю. Злоумышленник предположит, что show.asp может извлекать файлы из файловой системы и отправляет следующий настраиваемый URL-адрес.

 ПОЛУЧИТЬ http: // test.webarticles.com/show.asp?view=../../../../../Windows/system.ini HTTP / 1.1
Хост: test.webarticles.com 

Это заставит динамическую страницу извлечь файл system.ini из файловой системы и отобразить его для пользователя. Выражение ../ указывает системе перейти на один каталог вверх, что обычно используется в качестве директивы операционной системы. Злоумышленник должен угадать, сколько каталогов ему нужно подняться, чтобы найти папку Windows в системе, но это легко сделать методом проб и ошибок.

Пример атаки обхода каталога через веб-сервер

Помимо уязвимостей в коде, даже сам веб-сервер может быть открыт для атак с обходом каталогов. Проблема может быть либо встроена в программное обеспечение веб-сервера, либо внутри некоторых файлов сценариев, оставшихся на сервере.

Уязвимость была исправлена ​​в последних версиях программного обеспечения веб-серверов, но в сети есть веб-серверы, которые все еще используют старые версии IIS и Apache, которые могут быть открыты для атак с обходом каталогов.Даже если вы используете версию программного обеспечения веб-сервера, в которой исправлена ​​эта уязвимость, у вас все же могут быть открыты некоторые важные каталоги сценариев по умолчанию, хорошо известные хакерам.

Например, URL-запрос, который использует каталог сценариев IIS для просмотра каталогов и выполнения команды, может иметь вид

 ПОЛУЧИТЬ http: //server.com/scripts/..%5c../Windows/System32/cmd.exe? / C + dir + c: \ HTTP / 1.1
Хост: server.com 

Запрос вернет пользователю список всех файлов в каталоге C: \ , выполнив команду .exe файл командной оболочки и запустите команду dir c: \ в оболочке. Выражение % 5c , которое содержится в URL-запросе, является escape-кодом веб-сервера, который используется для представления обычных символов. В этом случае % 5c представляет собой символ \ .

Более новые версии современного программного обеспечения веб-сервера проверяют эти escape-коды и не пропускают их. Однако некоторые старые версии не отфильтровывают эти коды в Enforcer корневого каталога и позволяют злоумышленникам выполнять такие команды.

Как проверить уязвимости обхода каталогов

Лучший способ проверить, уязвимы ли ваш веб-сайт и веб-приложения для атак обхода каталогов, — это использовать сканер веб-уязвимостей. Сканер веб-уязвимостей сканирует весь ваш веб-сайт и автоматически проверяет наличие уязвимостей, связанных с обходом каталогов. Он сообщит об уязвимости и способах ее легкого устранения. Помимо уязвимостей, связанных с обходом каталогов, сканер веб-приложений также проверяет наличие SQL-инъекций, межсайтовых сценариев и других веб-уязвимостей.

Acunetix сканирует на наличие SQL-инъекций, межсайтовых сценариев, взлома Google и многих других уязвимостей.

Предотвращение атак обхода каталога

Прежде всего, убедитесь, что вы установили последнюю версию программного обеспечения вашего веб-сервера и все исправления были применены.

Во-вторых, эффективно фильтровать любой ввод пользователя. В идеале удалите все, кроме заведомо хороших данных, и отфильтруйте метасимволы из пользовательского ввода. Это гарантирует, что на сервер будет отправлено только то, что нужно ввести в поле.

Проверьте, уязвим ли ваш веб-сайт для атаки с помощью Acunetix

Acunetix обеспечивает безопасность веб-сайтов, автоматически проверяя SQL-инъекции, межсайтовые сценарии, обход каталогов и другие уязвимости. Он проверяет надежность пароля на страницах аутентификации и автоматически проверяет корзины покупок, формы, динамический контент и другие веб-приложения. По мере завершения сканирования программа выдает подробные отчеты, в которых указываются уязвимости.

Часто задаваемые вопросы

Обход каталога (обход пути) происходит, когда злоумышленник может читать файлы на веб-сервере за пределами каталога веб-сайта.Обход каталога возможен только в случае ошибки разработчика сайта.

Подробнее об обходе каталогов.

Единственный способ эффективно обнаружить уязвимости, связанные с обходом каталогов, — это использовать веб-сканер уязвимостей. Профессиональный сканер уязвимостей, такой как Acunetix, предоставит вам подробные отчеты, советы о том, как избавиться от уязвимости, и многое другое.

Узнайте больше о возможностях Acunetix Premium.

Единственный способ эффективно защититься от атак обхода каталогов — это тщательно написать код веб-сайта или веб-приложения и использовать библиотеки очистки пользовательского ввода. Обратите внимание, что брандмауэры веб-приложений (WAF) не устраняют проблемы с обходом каталогов, а только затрудняют злоумышленнику использование уязвимостей.

Узнайте, как обеспечить безопасность кода вашего веб-сайта.

.

Обход пути — Checkmarx

Path Traversal, также известный как Directory Climbing и Directory Traversal, предполагает использование конфиденциальной информации, небезопасно хранящейся на веб-серверах. Эта уязвимость постоянно встречается во всемирно признанных ссылках на уязвимости, таких как 25 самых опасных ошибок программного обеспечения SANS 25 и Топ-10 OWASP.

Что такое обход пути?

Сегодня на веб-серверах доступны два основных механизма безопасности:

Списки контроля доступа (ACL) — в основном это белые списки, которые администратор веб-сервера использует для контроля разрешений доступа.Эти списки используются в процессе авторизации. Только пользователи с разрешениями могут получать доступ, изменять или делиться конфиденциальными файлами и информацией.

Корневой каталог — Этот каталог находится в файловой системе сервера, и пользователи просто не могут получить доступ к конфиденциальным файлам выше этого корня. Одним из таких примеров является чувствительный файл cmd.exe на платформах Windows, который находится в корневом каталоге, к которому не все могут получить доступ.

Path Traversal становится возможным, когда доступ к веб-контенту не контролируется должным образом и веб-сервер скомпрометирован.По сути, это HTTP-эксплойт, который предоставляет злоумышленникам несанкционированный доступ к ограниченным каталогам. В конечном итоге они могут управлять веб-сервером и выполнять вредоносные команды за пределами его корневого каталога / папки.

Эти атаки обычно выполняются с помощью инъекций, таких как инъекции ресурсов, обычно выполняемые с помощью поисковых роботов. Атака обычно включает следующие шаги:

• 1. Пользователь / жертва вводит данные в приложение
• 2.Пользовательский ввод используется для доступа к определенному файлу (для его чтения, записи или отправки)
• 3. Злоумышленник использует идентификаторы ресурсов для манипулирования уязвимым приложением.
• 4. Для инициирования атаки изменяются такие параметры, как имена файлов и номера портов.
• 5. Уязвимое приложение в основном обманом предоставляет доступ к конфиденциальным файлам, даже если злоумышленник не имеет необходимых прав.
• 6. Затем злоумышленник может перезаписывать / изменять файлы и даже отправлять их на сторонние серверы.

Примеры обхода пути

Следующие URL-адреса показывают, как приложение обрабатывает используемые ресурсы:

http: // some_site.com.br/get-files.jsp?file=report.pdf
http://some_site.com.br/get-page.php?home=aaa.html
http://some_site.com. br / some-page.asp? page = index.html

В этих примерах может быть возможно вставить вредоносную строку в качестве параметра переменной для доступа к файлам, расположенным за пределами каталога веб-публикации.

http://some_site.com.br/get-files?file=../../../../some dir / some file
http: // some_site.com.br/../../../../some dir / some file

Следующие URL-адреса показывают примеры использования файла паролей UNIX / Linux.

http://some_site.com.br/../../../../etc/shadow
http://some_site.com.br/get-files?file=/etc/passwd

Важно: В системе Windows злоумышленник может перемещаться только в разделе, который находится в корневом веб-разделе, в то время как в Linux он может перемещаться / получать доступ ко всему диску.

Как предотвратить атаки с обходом пути?

Способы снижения риска обхода пути включают:

• 1. Подтвердите ввод пользователя. Принимайте только допустимые значения (белый список).
• 2. Удалите «.. \» и «../» из любого ввода, который используется в контексте файла.
• 3. При использовании языковых файлов используйте индексы вместо фактических частей имен файлов. (т.е. значение 5 из представления пользователя = индийский язык, а не ожидание, что пользователь вернет «индийский язык»).
• 4. Реализуйте строгие политики доступа к коду, чтобы ограничить место сохранения файлов.
• 5. Убедитесь, что пользователь не может указать какую-либо часть пути к файлу, читаемому или записываемому.
• 6. Системным администраторам UNIX рекомендуется использовать chrooted jail и политики доступа к коду, чтобы ограничить, где файлы могут быть получены или сохранены.
• 7. Настройте установку серверного программного обеспечения по умолчанию в соответствии с требованиями. Серверы также следует обслуживать и устанавливать последние обновления.

Как предотвратить атаки обхода пути с помощью CxSAST?

CxSAST обнаруживает потоки данных, уязвимые для обхода пути, отслеживая все вводимые пользователем данные, которые используются в контексте создания или чтения файла. Если входные данные не проверены или дезинфицированы (это «.. \» или «../») перед использованием, CxSAST определяет этот путь как уязвимый для обхода пути. После этого разработчики могут реализовать вышеупомянутые методы исправления.

Вернуться к базе знаний об уязвимостях

.

Консорциум безопасности веб-приложений / Path Traversal

Проект: Классификация угроз WASC

Тип угрозы: атака

Код ссылки: WASC-33

Обход пути

Атака с обходом пути позволяет злоумышленнику получить доступ к файлам, каталогам и командам, которые потенциально находятся за пределами корневого каталога веб-документа. Злоумышленник может манипулировать URL-адресом таким образом, чтобы веб-сайт выполнял или раскрывал содержимое произвольных файлов в любом месте веб-сервера.Любое устройство, которое предоставляет интерфейс на основе HTTP, потенциально уязвимо для обхода пути.

Большинство веб-сайтов ограничивают доступ пользователей к определенной части файловой системы, обычно называемой «корнем веб-документа» или «корневым каталогом CGI». Эти каталоги содержат файлы, предназначенные для доступа пользователей, и исполняемые файлы, необходимые для работы веб-приложений. Для доступа к файлам или выполнения команд в любом месте файловой системы атаки Path Traversal будут использовать возможности последовательностей специальных символов.

Самая простая атака с обходом пути использует последовательность специальных символов «../» для изменения местоположения ресурса, запрошенного в URL. Хотя большинство популярных веб-серверов не позволяют этой методике экранировать корень веб-документа, альтернативные кодировки последовательности «../» могут помочь обойти фильтры безопасности. Эти варианты метода включают допустимую и недопустимую кодировку Unicode («..% u2216» или «..% c0% af») символа прямой косой черты, символы обратной косой черты («.. \») на серверах под управлением Windows, кодирование URL символы «% 2e% 2e% 2f») и двойное кодирование URL («..% 255c «) символа обратной косой черты.

Даже если веб-сервер должным образом ограничивает попытки обхода пути в пути URL, само веб-приложение может быть уязвимо из-за неправильной обработки вводимых пользователем данных. Это распространенная проблема веб-приложений, которые используют механизмы шаблонов или загружают статический текст из файлов. В вариантах атаки исходное значение параметра URL заменяется именем файла одного из динамических скриптов веб-приложения. Следовательно, результаты могут раскрыть исходный код, поскольку файл интерпретируется как текст, а не как исполняемый сценарий.В этих методах часто используются дополнительные специальные символы, такие как точка («.»), Чтобы показать список текущего рабочего каталога, или символы NULL «% 00», чтобы обойти элементарные проверки расширений файлов.

Пример

Атаки с обходом пути против веб-сервера

http: //example/../../../../../etc/passwd
 

http: //example/..%255c..%255c..%255cboot.ini
 

http: //example/..%u2216..%u2216someother/file
 

Атаки с обходом пути против веб-приложения

 Оригинал: http: // example / foo.cgi? home = index.htm
 

 Атака: http: //example/foo.cgi? Home = foo.cgi
 

В приведенном выше примере веб-приложение показывает исходный код файла foo.cgi, поскольку значение переменной home использовалось в качестве содержимого. Обратите внимание, что в этом случае злоумышленнику не нужно отправлять недопустимые символы или символы обхода пути для успешной атаки. Злоумышленник нацелен на другой файл в том же каталоге, что и index.htm.

Атаки с обходом пути против веб-приложения с использованием последовательностей специальных символов:

Оригинал: http: // example / scripts / foo.cgi? page = menu.txt
 

Атака: http: //example/scripts/foo.cgi? Page = .. / scripts / foo.cgi% 00txt
 

В приведенном выше примере веб-приложение раскрывает исходный код файла foo.cgi, используя последовательности специальных символов. Последовательность «../» использовалась для перехода на один каталог выше текущего и входа в каталог / scripts. Последовательность «% 00» использовалась как для обхода проверки расширения файла, так и для обрезания расширения при чтении файла.

Номер ссылки

«Уязвимость CERT CA Advisory CA-2001-12, связанная с избыточным декодированием в IIS»

[1] http: // www.cert.org/advisories/CA-2001-12.html

«Уязвимость Novell Groupwise, связанная с извлечением произвольных файлов»

[2] http://www.securityfocus.com/bid/3436/info/

«Обход пути» в Википедии

[3] http://en.wikipedia.org/wiki/Directory_traversal

«Обход пути» CWE

[4] http://cwe.mitre.org/data/definitions/22.html

См. Также «Внедрение нулевого байта»

[5] http: // projects.webappsec.org/Null-Byte-Injection

.

No related posts.