Вы просто кретин, если в свое время не уделили сайтмапу нужное внимание. Достаточно один раз разобраться в вопросе и в будущем избежать большого количества ошибок, что давайте сейчас и сделаем.
Ваш покорный слуга в годы младые также был таким кретином, когда только начал продвигать сайты в одной конторе. Попался мне в то время один сайтец на продвижение, который, следует сказать, был просто гавном. И у этого гавна были проблемы с индексацией. Естественно, будь сайт достаточно качественным, его бы оба поисковика индексировали несмотря ни на какие проблемы, но владельцы жались на нормальных дизайнера, верстальщика и программиста, а в этом случае сеошнику остается только, так сказать, открывать бутылку при помощи ножниц. Я перепробовал на нем все — и настройку last-modified, и ускорение индексации модным в то время фастботом, и покупку ссылок. И только потом оказалось, что дело было в том, что там не обновлялся автоматически сайтмап! Когда я его обновил — все страницы влетели в индекс.
Что такое sitemap и зачем он нужен
Что такое sitemap? Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной. В целом очень хорошо о нем рассказали на Вебмастерской Яндекса:
Влияет ли наличие sitemap на продвижение
Если у вас отсутствует сайтмап, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:
- Разделы сайта, в которые можно попасть, только совершив длинную цепочку переходов;
- Динамические URL-адреса.
Так вот, создание sitemap.xml во многом помогает решить эту проблему. Этот файл влияет на SEO лишь постольку, поскольку облегчает/ускоряет индексацию страниц. Также возрастает шанс того, что веб-страницы проиндексируются до того, как ваши конкуренты смогут скопировать контент, опубликовав его у себя на сайте.
В каком еще формате бывает карта сайта и почему её делают в формате XML
Зачем нужна карта сайта, мы разобрались. Теперь давайте рассмотрим, в каких форматах её можно сделать:
- В формате html. Создается в виде обыкновенной страницы с адресами, ведущими на главные разделы ресурса. Такой тип карты помогает быстро сориентироваться, и рассчитан в большей степени на людей, чем на поисковых роботов. В HTML sitemap можно поместить ограниченное число ссылок (не более 100), ведь если их окажется больше, то не все они попадут в индекс. Или же поисковые роботы могут и вовсе исключить такую страницу из поиска за чрезмерное число URLов, пусть даже и внутренних.
- Создание xml-файла sitemap. Здесь нет слишком критичных ограничений по количеству ссылок, а поисковики лучше его индексируют, ведь файл sitemap xml-формата содержит полную информацию в понятном для робота виде. Особенно он важен для проектов, где имеются сотни и тысячи документов одинаковой важности, и размещение всех ссылок на них необходимо. В сайтмап такого типа есть возможность разместить до 50 тысяч URLов и помимо этого можно выставить частоту обновлений и приблизительный приоритет (priority), чего не скажешь о карте в формате HTML. Именно по этим причинам сайтмап почти всегда создают в xml.
Вот еще инфа об этом файле:
Как сделать правильный sitemap
Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:
- Размер файла должен быть не больше 10 мб;
- Карта должна содержать не больше 50000 ссылок. В тех случаях, когда ссылок больше, можно создать несколько карт и включить их в главную xml-карту;
- Адрес сайтмапа следует прописать в robots.txt;
- Также загрузите sitemap в яндекс и гугл (как добавить файл – описано ниже);
- Поисковые системы должны иметь доступ к карте. Необходимо использовать специальные теги, которые дают поисковикам понять, что это именно карта, а не что-то другое;
- У sitemap должна быть кодировка UTF-8.
Приведу простой пример карты:
< url > < loc > http : //site.ru/ < lastmod > 2016 - 11 - 20T19 : 45 : 08 + 03 : 00 < / lastmod > < changefreq > always < / changefreq > < priority > 0 , 9 < / priority > < / url > < url > < loc > http : //site.ru/category/ < lastmod > 2016 - 11 - 20T19 : 46 : 38 + 03 : 00 < / lastmod > < changefreq > monthly < / changefreq > < priority > 0 , 6 < / priority > < / url > < url > < loc > http : //site.ru/page/ < lastmod > 2016 - 11 - 20T19 : 48 : 41 + 03 : 00 < / lastmod > < changefreq > yearly < / changefreq > < priority > 0.4 < / priority > < / url > |
Теги url и loc являются обязательными. В первом прописывают все сведения о конкретном URL. Во втором прописывается сам адрес.
Теги lastmod, changefreq, priority не являются обязательными, но использовать их всё же рекомендуется.
Lastmod в sitemap отвечает за дату последнего обновления.
Changefreq указывает на частоту изменений страницы. Значения могут быть следующими:
- Hourly – обновление ежечасно;
- Always – всегда обновляется;
- Weekly – обновляется раз в неделю;
- Daily – обновления происходят ежедневно;
- Monthly – обновления происходят раз в месяц;
- Yearly – один раз в год;
- Never – не обновляется (такое значение лучше не использовать).
Priority сообщает поисковикам о степени важности страницы, по сравнению с другими. Приоритет можно выставлять от 0,1(низкий) до 1(высокий).
Это был только пример карты, не нужно указывать именно эти значения. Вообще, priority рекомендуется расставлять следующим образом: максимальный для главной страницы (1), для рубрик средний (0,6), а для записей – минимальный (0,4).
Теперь рассмотрим пример, когда ссылок более 50 тысяч. В этом случае файл включает в себя другие карты:
< sitemap > < loc > http : //site.ru/sitemaps/sitemap01.xml < lastmod > 2016 - 11 - 20T21 : 37 : 28 + 03 : 00 < / lastmod > < / sitemap > < sitemap > < loc > http : //site.ru/sitemaps/sitemap02.xml < lastmod > 2016 - 11 - 20T21 : 37 : 29 + 03 : 00 < / lastmod > < / sitemap > |
Как создать карту сайта
Способов создания xml-карты несколько, рассмотрим их:
- Скачать карту при помощи онлайн генератора с другого ресурса;
- Сгенерировать при помощи специальной программы. Но стоит учесть, что программы подобного рода в основном платные. Пример такого генератора: Wonder WebWare SiteMap Generatior. В Screaming Frog также есть такая возможность;
- Создать сайтмап вручную;
- Автоматически создать карту при помощи CMS (например на WordPress доступна такая функция).
Вот вариант, как сделать сайтмап без помощи плагинов:
Плагины для создания sitemap на WordPress
Сделать карту сайта в WordPress можно с помощью специального плагина, который называется Google XML Sitemaps. Здесь все просто: скачиваем плагин, устанавливаем, затем приступаем к созданию файла. Для этого открываете Консоль-Настройки, и выбираете XML-sitemap. Далее выставляем настройки. Приоритет оставляем по умолчанию.
XML Sitemap is a website"s URLs list in XML format. The Sitemap file is designed to inform search engines (such as Google, Bing, Yahoo, Yandex, MSN, and others) about the pages on the website, which should be indexed. Sitemap significantly speeds up site scans.In addition, the Sitemap allows you to transmit information about all pages of your site, including those that search engines can not get with the usual crawl.
Creating a Sitemap is especially useful when:
- On your site new pages are generated automatically and frequently.
- Your site is new, and it indicates a small number of links.
- Your site has a large archive of content pages that are poorly or not at all related to each other.
XML Sitemaps Protocol: What does a Sitemap contain?
In accordance with the XML Sitemaps Protocol and the requirements of search engines, the Sitemap file should contain no more than 50 000 pages and not exceed the size of 10 MB. This means that if your site contains more than 50,000 pages and file size Sitemap than 10 MB, you must create multiple Sitemap.
In addition to the required URL parameter, the XML Sitemaps protocol provides additional tags for each page:
Lastmod – indicates the date of last modification date.
Changefreq – the probable frequency of the page content. Valid values are:
- always – every time the page loads
- hourly – every hour
- daily – every day
- weekly – once a week
- monthly – once a month
- yearly – once a year
- never – means that the page content remains unchanged.
Priority – the priority of the page relative to other pages on your site. The valid range - from 0,0 to 1,0. This tag lets the search engines know which pages you think are most valuable.
Которые нужны для поисковых роботов. Кто-то скажет, что она и не нужна, ведь все разделы уже отображаются. Однако необходимость такой страницы существует в том случае, если на сайте содержится пятьдесят страниц и больше. Для поисковиков и для пользователей она будет служить путеводителем, помогающим понять, где содержится та или иная информация.
XML- и HTML-файлы
Так как используется не только для поисковых роботов, но и для пользователей, посещающих сайт, обычно составляют две карты: в XML- и HTML-форматах.
Чтобы создать Sitemap для поисковых роботов, используют XML-файл. Благодаря ему роботы заносят в свою поисковую базу новые При отсутствии карты на многостраничном сайте большое количество страниц может не индексироваться на протяжении иногда очень долгого времени.
Для создания карты сайта для пользователей используется HTML-файл. Важность этой карты заключается в том, что от ее удобства напрямую зависит, найдет ли пользователь интересующую его информацию или нет. Поэтому такую карту создают для тех интернет-проектов, у которых все разделы и их подразделы не помещаются в главном меню.
Как создать Sitemap XML
Существует три способа решения данной задачи:
Покупка генератора для карты сайта.
Создать Sitemap при помощи онлайн-сервисов.
Ручное написание файла.
Для существенной экономии времени предлагается приобретение генераторов. Поэтому если двадцать — тридцать долларов для покупки лицензии являются для веб-мастера мелкой тратой денег, то купить его, особенно для крупного интернет-ресурса, все-таки не помешает, так как не нужно будет тогда создавать сайт вручную.
Для сайта, содержащего несколько сотен страниц, рекомендуются онлайн-сервисы, где для того, чтобы создать Sitemap, необходимо будет лишь указать адрес интернет-ресурса и загрузить результат.
Самым верным вариантом является ручное создание карты. Для этого нужно знать такие теги, как url, urlset, loc, lastmod, changefreg и priority. При этом первые три тега считаются обязательными, а без последних трех можно и обойтись.
Создание Sitemap в Joomla
Чтобы на сайте создать Sitemap, Joomla и Wordpress имеют специальные дополнения, как и большинство известных систем администрирования, благодаря которым карта сайта создается вручную или автоматически. Для крупных интернет-проектов, у которых постоянно обновляются материалы, такое дополнение очень удобно.
В "Джумле" оно называется Xmap, в Wordpress - Google XML Sitemaps.
Автоматическое создание карты сайта
Автоматически создать Sitemap помогают бесплатные онлайн-серверы, если страниц сайта насчитывается не более пятисот. Вот как легко проводится генерация карты сайта:
Зайдя на один из таких интернет-ресурсов, нужно найти пункт «Генерация Sitemap», нажать на кнопку «Создать» и создать файл Sitemap автоматически.
Найти «URL сайта» и ввести там адрес сайта, для которого создается карта.
Возможно, система потребует введение проверочного кода. Его нужно также ввести и нажать «Старт».
Готовую карту загрузить на сайт.
Ручной способ создания карты
Такой способ является, с одной стороны, самым трудным, отнимающим драгоценное время, но с другой стороны, это самый верный способ, применяющийся в тех случаях, когда другие варианты не подходят. Так, например, если есть много страниц, в занесении в карту сайта которых нет особой необходимости, но автоматически они, конечно, туда попадают, ручной способ избавит карту от «передозировки» таких страниц. Другой причиной, по которой выбирают этот способ, является плохая навигация сайта.
Для реализации ручного создания карты необходимо:
Собрать страницы для включения их в карту.
В excel-файл вставить все адреса в третий столбик.
В 1-м и 2-м столбиках вставить и url и loc.
В 4-м и 5-м столбиках вставить закрывающие url и loc.
Применить функцию «сцепить» для соединения пяти столбиков.
В сделать sitemap.xml.
Добавить в этот файл теги и urlset и /urlset.
Вставить между ними соединенный столбик.
Получившийся файл необходимо проверить. Сделать это можно, например, в "Яндексе", в панели веб-мастера.
Как создать Sitemap для "Яндекса" и Google
После создания сайта ее добавляют на сайт. С этой целью файл с картой сайта нужно назвать Sitemap.xml и добавить его в корневую директорию. Чтобы поскорее нашли ее, в Google и "Яндекс" имеются специальные инструменты. Они называются «Инструменты для веб-мастеров» (в Google) и «Яндекс-вебмастер» (в "Яндексе").
Добавление Sitemap в Google
Добавление Sitemap в "Яндекс"
Так же и в «Яндекс-вебмастер» нужно сначала авторизоваться. Потом перейти на индексирование/файлы Sitemap, указать там путь файла и нажать кнопку «Добавить».
Поисковые роботы сегодня возьмут только те файлы, которые содержат не больше пятидесяти тысяч url.
При превышении карты десяти мегабайт лучше разбить ее на несколько файлов. Благодаря этому перегрузки сервера не будет.
Чтобы создать Sitemap xml правильно, при нескольких файлах нужно их всех прописать в файле индекса, используя теги sitemapindex, sitemap, loc и lastmod.
Все страницы нужно прописывать или с префиксом «www» или без его использования.
Необходимая кодировка файла — это UTF8.
Также в файле нужно добавить указание пространства имен языка.
Как создать карту сайта для пользователей
Поскольку такая карта создается для пользователей, она должна быть максимально проста и наглядна. Несмотря на это, необходимо качественно донести всю информацию о структуре используемого сайта.
HTML-карты в основном имеют привычную пользовательскую структуру, состоящую из разделов и подразделов, выделенных определенным образом, например, стилями CSS и графическими элементами.
Чтобы создать Sitemap для крупного интернет-проекта, как и в случае с XML-картой, здесь также рекомендуется разбивание. В этом случае оно осуществляется в виде отдельных вкладок, избавляющих карту от громоздкости.
Повысить функционал страницы позволит язык JavaScript, который в этой карте допускается использовать, так как она создается не для роботов-поисковиков, а для пользователей.
Порядок для файла карты сайта
Желательно, чтобы в созданном файле, содержащем Sitemap, всегда были чистота и порядок, особенно если у сайта имеется большое количество страниц. Поскольку роботы-поисковики просматривают карты сайта очень быстро, для просмотра всего файла крупного интернет-ресурса может просто не хватить времени.
Поэтому если привыкнуть добавлять страницы в карту сайта не внизу, а в верхней ее части, то, с одной стороны, можно не сомневаться, что поисковый робот успеет просмотреть адреса новых страниц, а с другой стороны, таким образом намного легче будет контролировать все страницы.
Предположим у вас есть сайт, забитый уникальным контентом, на котором проведена SEO оптимизация и сидите вы, потирая ладошки в ожидании, когда же ваше детище начнет посещаться поисковым роботом, индексироваться и приносить заветный трафик. Идет время, а результат ваших стараний не особо-то и виден. В чем же дело? Возможно, что-то все же было упущено из виду, что-то да забылось в погоне за ништяками. Предположим, что сайт по-прежнему уникальный и оптимизаторы из вас хоть куда. Тогда нужно разбираться, почему поисковик так неохотно вас посещает и по какой причине все происходит так медленно.
Каждый web-проект должен иметь два важных, а может и основных файла: это роботс (robots.txt) и карта сайта (). Если какой-то из них отсутствует или неверно заполнен, велика вероятность, что ресурс не даст того результата, на который вы рассчитывали. Ведь у поисковых ботов есть заданные ограничения как по времени нахождения на ресурсе, так и по количеству документов, которые они могут проверить и занести в базу. А это все к тому, что если вами не были заданы пути перемещения для поискового робота, то он может добраться до контента очень нескоро, перед этим побродив в файлах движка.
Чтобы избежать подобной неразберихи, в файле роботс мы говорим, на что ботам не стоит тратить время, а с помощью карты сайта, наоборот, подсказываем куда следует заглянуть и где побродить.
Предположим, что у нас все срослось и поисковики начали индексировать наш проект, а вот отсутствие второго может затянуть достижение поставленных целей. А теперь подробнее про создание sitemap.
XML и HTML версии карты сайта
Sitemap.html выступает в роли навигации для гостей нашего ресурса, которая помогает понять структуру сайта и найти интересующий их раздел.
Sitemap.xml подсказывает и помогает поисковым ботам обнаружить и начать индексировать страницы нашего проекта. Если мы имеем большой уровень вложенности и многочисленное количество веб-страниц на сайте, XML гарантирует, что боты не упустят из вида, то что нужно проиндексировать. Как приятный бонус мы получаем плюсик к карме в виде увеличения доверия к ресурсу со стороны поисковиков.
Положительные стороны присутствия sitemap. xml на сайте
- ускоренное индексирование недавно созданных страниц;
- стопроцентная вероятность того что поисковик отыщет необходимые страницы;
- возможность указать приоритеты при проверке, частоту и дату последнего обновления страницы;
- немного увеличивается доверие к ресурсу.
Важно!
- используйте для карты сайта кодировку UTF-8 ;
- вес файла должен быть не более 10 MB и его содержание не должно быть больше 50 тысяч URL .
Как создать и добавить sitemap. xml на сайт
Берем любой текстовый редактор, например Notepad++, и начинаем творить.
Первым блоком идет стандартная часть, в которой мы указываем:
Значения тегов:
- «loc» - в него мы заключили адрес страницы нашего сайта, которую в скором времени должны проиндексировать поисковые роботы;
- «lastmod» - отображается последняя дата обновления страницы указанной в первом теге;
- «changefreq» - показывает как часто будет обновляться контент (в нашем случае каждый день);
- «priority» - задает приоритетность к индексации страницы (от 0 до 1)
Сохраняем получившийся файлик в формате XML и помещаем его в . Далее указываем путь к нему в robots. txt прописывая данную строчку:
http://Наш сайт/sitemap.xml
Либо мы можем использовать один из онлайн-генераторов. Например, , который рассчитан на создание не больше чем 500 страниц. Но зачастую больше и не надо, поэтому работаем с ним.
В первую строку вписываем полный URL нашего сайта с http://Наш сайт.
Вторая строка, которая называется « Change frequency», показывает поисковым роботам, как часто будут обновляться веб-страницы. Можем выбрать: never, weekly, daily, hourly, monthly, yearly.
Третья строка « Last modification » показывает, когда последний раз обновлялась страница, можем выбрать либо дату когда мы решили создать карту сайта, либо выбрать « Use server’s response » - тогда генератор автоматически внесет дату последнего изменения.
И четвертая строка « Priority», как мы уже ранее обсуждали позволяет выбрать приоритет к индексации, выбираем « Automatically Calculated Priority ».
Нажимаем кнопку «Start» и ждем когда сгенерируется карта сайта в формате XML , после опять проделываем манипуляции с помещением в корень и указания пути в robots.txt.
Как сообщить о файле sitemap после создания Google и Яндекс
Заходим в Вебмастер и действуем следующим образом.
Выбираем проверку карты сайта:
И задаем путь к нашему файлу sitemap.
Проверяем что получилось:
Убеждаемся, что все в порядке и отправляемся на поклон к Google.
Для того чтобы попасть в Search Console Гугл, в которой, собственно, и можно сообщить о нашей карте, переходим
Обновляем страницу - перед нами результат проверки и если в колонке «Проблемы» стоит прочерк, значит, мы все сделали правильно.
Подведем итоги
Создать и разместить файл sitemap. xml на ресурсе по факту минутное дело, для этого можно использовать любой текстовый редактор или онлайн-генератор. Если у вас есть карта сайта на своем ресурсе вы ускоряете и упрощаете жизнь поисковому роботу, который следует по указанному пути и индексирует нужные страницы. Это значит, что результат вашей работы по оптимизации имеет шанс быстрее стать заметным. Но важно не забывать про карту сайта и периодически ее обновлять, т.к. страница может перестать участвовать в продвижении, а боты будут продолжать ее посещать, что отразится на позициях. Также наш XML-проводник может служить помощником не только роботам, но и воришкам контента, ведь в sitemap мы указываем нужные нам документы, что значительно упрощает жизнь копипастерам. Поэтому рекомендуем периодически проверять контент вашего ресурса на уникальность. Соблюдая эти правила вы повышаете доверие поисковых систем Google и Яндекс к своему ресурсу.
С помощью файла Sitemap можно сообщить Яндексу об актуальной структуре сайта, указав специальную директиву в robots.txt или добавив в Яндекс.Вебмастер.
Вебмастер позволяет:
Загрузка Sitemap
Выберите из списка сайт.
В поле впишите URL, по которому доступен файл. Например, https://example.com/sitemap.xml .
Нажмите кнопку Добавить .
После добавления файл попадает в очередь на обработку. Робот загрузит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в файл индекса Sitemap , обрабатывается роботом отдельно.
После загрузки напротив каждого файла вы увидите один из статусов:
| Статус | Описание | Примечание |
|---|---|---|
| «OK» | ||
| «Редирект» | Удалите редирект и сообщите роботу об обновлении | |
| «Ошибка» | Файл сформирован неправильно | сообщите роботу об обновлении |
| «Не проиндексирован» | ||
| Disallow | сообщите роботу об обновлении |
| Статус | Описание | Примечание |
|---|---|---|
| «OK» | Файл сформирован правильно и загружен в базу робота | Напротив файла отобразится дата последней загрузки. Проиндексированные страницы появятся в результатах поиска в течение двух недель |
| «Редирект» | Указанный URL перенаправляет на другой адрес | Удалите редирект и сообщите роботу об обновлении |
| «Ошибка» | Файл сформирован неправильно | Нажмите ссылку Ошибка , чтобы узнать подробности. После внесения изменений в файл сообщите роботу об обновлении |
| «Не проиндексирован» | При обращении к Sitemap сервер возвращает HTTP-код, отличный от 200 | Проверьте, доступен ли файл для робота с помощью инструмента , указав полный путь к файлу. Если файл недоступен, обратитесь к администратору сайта или сервера, на котором он расположен. |
| Доступ к файлу запрещен в robots.txt с помощью директивы Disallow | Разрешите доступ к Sitemap и сообщите роботу об обновлении |
Обновление Sitemap
Если вы изменили добавленный в Яндекс.Вебмастер файл Sitemap , его не надо удалять и загружать снова - робот регулярно проверяет файл на обновления и ошибки.
Чтобы ускорить обход файла, нажмите значок . Если вы используете файл индекса Sitemap , можно запустить обработку каждого перечисленного в нем файла. Робот загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.
Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.
Удаление Sitemap
В интерфейсе Яндекс.Вебмастера можно удалить те файлы, которые были добавлены на странице Файлы Sitemap : Если для Sitemap была добавлена директива в файле robots.txt , удалите ее. После внесения изменений информация о Sitemap пропадет из базы робота и Яндекс.Вебмастера в течение нескольких недель.
Вопросы и ответы
Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»
Отображение файла Sitemap (как и других XML-файлов) как исключенных страниц имеет только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap .
Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу, в то время как файлы формата XML не индексируются в поисковой системе Яндекса и в результатах поиска не участвуют.
При обработке Sitemap возникла ошибка «Неизвестный тег»
Файл Sitemap может содержать только определенные XML-элементы . Если Вебмастер обнаружит в файле другие элементы (например, указание на мобильную или мультиязычную версию, адреса картинок), в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap , при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.
Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.
Файл Sitemap находится в статусе «Не проиндексирован»
Файл Sitemap может быть не проиндексирован по нескольким причинам:
Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap .
Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.
Доступ к Sitemap запрещен в файле