Автоматическая генерация sitemap xml. Как создавать и отправлять файлы Sitemap. Добавление Sitemap в Google
Статья обновлена!
Всем привет! Сегодня я решила написать статью об XML карте сайта, немаловажном элементе .
XML карта – это путеводитель по вашему сайту. Этот путеводитель создается специально для поисковых роботов и помогает им найти все страницы, которые нужно проиндексировать.
XML карта находится в корне вашего сайта и обычно доступна по адресу site.ru/sitemap.xml . Роботы узнают о ее существовании двумя путями (которые не взаимоисключают, а взаимодополняют друг друга):
- Адрес карты сайта загружается через Вебмастер.
- Ссылка на карту сайта есть в файле robots.txt.
Преимущества XML карты сайта:
- помогает найти и проиндексировать все важные страницы сайта;
- в Вебмастере Google можно посмотреть соотношение количества страниц в sitemap к количеству проиндексированных страниц, а также увидеть ошибки, возникшие при индексации;
- XML карта – один из способов борьбы с дублированным контентом: когда робот обнаруживает 2 одинаковые страницы, скорее всего он проиндексирует именно ту, которая указана в карте.
Какую информацию содержит XML карта
Прежде всего, карта сайта содержит список страниц сайта – это обязательно. Также она может содержать параметры этих страниц , такие как:
- Дата последнего изменения
- Частота изменений
(always, hourly, daily, weekly, monthly, yearly, never); - Приоритет
– степень важности страниц сайта при индексации, устанавливается от 0.0 до 1.0. Чем выше приоритет, тем важнее данная страница в пределах сайта.
Как сделать XML карту сайта?
Карту сайта можно сделать самому вручную, но согласитесь, зачем тратить на это время, если есть бесплатные онлайн генераторы XML карт? Ниже я рассмотрю некоторые из них.
Бесплатные сервисы генерации XML карты сайта
Cy-pr.com
Один из самых простых в использовании сервисов генерации XML карты. Здесь достаточно указать только адрес сайта и нажать кнопку «Создать». Но такая простота является и минусом: в карту включаются и ссылки на картинки, и динамические адреса страниц.
Seolib.ru
Тут есть ограничение 5 раз в сутки с одного IP. Учитывает тег noindex. Также можно указать запрещенные к обходу пути в виде конкретных адресов страниц. Мне кажется, это не очень удобно, особенно, если таких страниц много. При генерации XML карты этот тул включает ссылки на картинки.
Mysitemapgenerator.com
Учитывает директивы в robots.txt, noindex, пропускает ссылки с атрибутом nofollow. Также присутствует функция фильтра данных, которая позволяет убрать из карты страницы с определенными частями в адресе (например, .jpg). Правда, в бесплатной версии доступен только один такой фильтр. Также бесплатная версия позволяет загружать максимум 500 страниц и генерировать 3 XML карты в день с одного IP адреса.
Getrank.org
Бесплатная версия этого генератора ограничивает количество страниц до 500. Полезная функция – исключение динамических параметров при генерации XML карты. Лично мне этот тул понравился тем, что он по умолчанию не включил картинки, когда я его тестила.
Web-site-map.com
Здесь с одного IP адреса можно генерировать одну XML карту в день. Как и предыдущий сервис, этот позволяет исключать урлы с указанными параметрами, а также по умолчанию не добавляет ссылки на картинки. Примечательно, что этот сервис позволяет включать и поддомены в XML карты, единственное условие: эти поддомены должны быть добавлены в Google Webmaster Tools. Обратите внимание, что в бесплатной версии адрес сайта нужно вводить без слэша “/”. Этот сервис также помогает , так что после генерации карты появляется 2 ссылки на скачивание: на саму XML карту и на список битых ссылок, найденных при ее генерации.
Что делать потом?
После генерации карты, стоит ее проверить: не остались ли там лишние страницы, которые не нужны в индексе (например, те, которые исключены в robots.txt). Правильность составления карты можно проверить с помощью специального
Сегодня речь пойдет о карте сайта, её важности, создании и правильном применении.
Что такое карта сайта:
Не сложно понять, что карта = путеводитель, скоплении информации, которое позволяет ориентироваться. В нашем случае помогает понять что же на сайте делается.
Карта сайта бывает двух видов:
Для посетителей – содержит структурированную информацию по сайту,в которой выделены важные страницы / группы страниц. Правильный внешний вид пользовательской карты сайта это целая наука. Некоторые даже проводят большие исследования, результатом которых получаются макеты идеальные карты сайта для пользователя.
Скачать пример карты в pdf –
И хотя карта сайта для посетителей не менее (а чаще и более) важна чем sitemap для поисковых систем – тему создания нормальной карты сайта для посетителей я затрону сегодня косвенно. Перед каждым сайтом стоят свои задачи и в таком важном вопросе стандартный совет написать сложно.
Очень хороший плагин для WordPress по генерации пользовательской карты сайта – dagon design sitemap generator . Плагин в автоматическом режиме генерирует симпатичную карту сайта, которую можно вывести на отдельную страницу, а также на страницу поиска и/или страницу 404 ошибки, дабы пользователь, который пришел по неправильной ссылке сразу не уходил, а, возможно, посмотрел что у вас на сайте есть ещё интересного;)
Точней я его использовал, сейчас какая-то несовместимость, разберусь позжей).
Второй вид карты сайта – xml карта сайта для поисковых систем. Как говорит Википедия
Sitemaps - XML-файл с информацией для поисковых систем (таких как Яндекс, Google, Yahoo, Ask.com, Bing) о страницах веб-сайта, которые подлежат индексации. Sitemaps может помочь поисковикам определить местонахождение страниц сайта, время их последнего обновления, частоту обновления и важность относительно других страниц сайта для того, чтобы поисковая машина смогла более разумно индексировать сайт.
Использование протокола Sitemaps не является гарантией того, что веб-страницы будут проиндексированы поисковыми системами, это всего лишь дополнительная подсказка для сканеров, которые смогут выполнить более тщательное сканирование сайта.
После того, как вы почистите ваш сайт от мусора (а сделать это нужно обязательно), можно приступать к генерации собственно карты сайта.
Как я уже говорил – для большинства популярных CMS есть уже готовые решения, нужно их просто установить и настроить:
- WordPress – Google XML Sitemaps
- Drupal – XML sitemap
- Joomla – Xmap
- DLE – функция встроенная в движок, по конфигурации
Но, как это часто бывает, карта сайта может понадобится на самописном движке, обычном многостраничном html сайте или чём-то экзотическом (как например какой-то из компонентов магазина для Joomla не подчиняется плагинам sitemap, в следствии чего созданные этим компонентом странички просто не попадали в общую карту сайту – и таких случаев множество). Тогда нам пригодятся генераторы карт сайта – они бывают интернет-сервисами и десктопными приложениями
Сервисы генерации карты сайта
Вот как выглядит главное окно программы (кликабельно):
- Сюда собственно вбиваем адрес сайта, карту которого мы хотим создать
- Дополнительные стартовые страницы, например нам нужно включить в карту сайта поддомен или какую-то директорию, на которую у нас нет ссылок с основного сайта
- Страницы, которые не нужно учитывать при создании sitemap
- Визуальное отображение процеса создания карты, видно что подгружается – полезное иль мусор
- Статистика
- Google sitemal / xml – вкладка, где после сканирования сайта будет содержатся сгенерированная xml карта, которую можно тут же подправить и сохранить
- Yahoo map / text – список всех страниц, которые вошли в карту сайта в обычном текстовом формате
- html карта сайта – создает карту сайта, которая более-менее приятна для глаз, в качестве анкора используется тайтл страниц (кому-то может пригодится только эта функция, например для генерации трамплинов для проспама;))
- На этой вкладке можно посмотреть список ошибочных URL, правда не так как у Xenu, мы не узнаем с какой страницы эта ссылка исходит дабы поправить
- Исходящие ссылки с нашего сайта
- robots.txt – можно подгрузить robots.txt с нашего сайта, и он будет учитываться при создании карты сайта
Плюсы десктопного софта для создания карты сайта: гибкость в конфигурации; возможность контролировать процес; разные варианты результатов. Минусы – скорость работы и генерация большого количества трафика (ведь по сути ваш компьютер обходит все странички сайта).
Что выбирать для генерации – решать вам. После того как вы создали карту сайта, её нужно залить к себе на хостинг и показать поисковым системам:
- Для google идем сюда http://www.google.com/webmasters/ , добавляем свой сайт и в настройках индексации указываем адрес к карте сайта
- Для yandex эту процедуру проводим в панели вебмастера http://webmaster.yandex.ru/
Иногда, если у вас большие размеры карты сайта, её можно заархивировать, правда поисковые роботы не поймут формат.zip или.rar – им.gz подавай. Быстро заархивировать файлик в gzip формат в Windows поможет TotalCommaner – выделите нужный файл и нажмите комбинацию клавиш ALT+F5, появится окошко [yt=4rspwB3cf3k]
Ну и дополнительный респект Деваке и Чесноку – мысли на их блогах заставляет двигаться тараканы в моей голове 😉
—-
PS на полгода забил было на блог, все пришло в такое ушатанное состояние, еле работает нормально. Ну ничего, до конца конкурса ещё три недели, можно написать несколько хороших статей;)
P.S.S. забыл добавить, что в robots.txt есть директива sitemap:
Если вы используете описание структуры вашего сайта в формате sitemaps.xml, и хотите, чтобы робот узнал о ней, укажите путь к sitemaps.xml в качестве параметра директивы ‘Sitemap’ (если файлов несколько, укажите все). Пример:
User-agent: Yandex
Allow: /
Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml
Sitemap: http://mysite.ru/site_structure/my_sitemaps2.xml
Робот запомнит пути к sitemaps.xml, обработает файлы и будет использовать результаты при последующем формировании сессий закачки.
Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Карта сайта Sitemap XML
Карта сайта (Sitemap) – это специальный файл в формате.xml, хранящийся в корневой директории сервера. Владельцы сайтов нередко интересуются – зачем нужен Sitemap и влияет ли наличие/отсутствие этого документа на поисковое продвижение? Чтобы ответить на эти вопросы, рассмотрим назначение и структуру карты сайта.
Итак, зачем нужен xml Sitemap, что он собой представляет? Карта сайта – это своеобразный каталог, состоящий из перечня ссылок, ведущих на все разделы и страницы сайта. Файл Sitemap помогает поисковым системам более быстро и качественно индексировать интернет проект. Это особенно важно в том случае, если объем web-ресурса исчисляется тысячами или десятками тысяч страниц.
[yt=R09Qywy5DXI]
Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA
Это важно! В карту сайта следует включать только те страницы, которые должны быть в поисковом индексе. Документы с запрещенной к индексированию или служебной информацией не следует вносить в Sitemap. В карту сайта также не включают страницы с тегами и динамические URL-адреса.
Влияет ли Sitemap на продвижение?
Поисковики не будут пессимизировать интернет проект за отсутствие этого файла. Теоретически, робот должен самостоятельно просканировать все страницы сайта и включить их в поиск. Однако нужно учитывать, что система может дать сбой и не найти некоторые web-документы. Обычно «проблемными местами» становятся разделы, в которые можно попасть только по длинной цепочке ссылок, и динамически создаваемые URLы.
С точки зрения SEO, Sitemap имеет определенное влияние, поскольку карта сайта значительно ускоряет индексацию. К тому же повышается вероятность, что web-страницы попадут в индекс до того, как недобросовестные конкуренты успеют скопировать и опубликовать контент. Поисковые системы отдают предпочтение первоисточнику, тогда как копипаст подвергается пессимизации.
Как создать сайт мап
Проще всего воспользоваться одним из специализированных сервисов. К примеру, online-генератор http://www.mysitemapgenerator.com/ позволяет бесплатно сделать карту сайта, размером до 500 страниц. Предусмотрена возможность платной генерации Sitemap без каких либо ограничений. Вебмастеру потребуется всего лишь указать адрес своего сайта, а затем поместить полученный файл в корневой папке сервера.
Можно воспользоваться программой SiteMap Generator. В поле http:// следует завести адрес стартовой страницы сайта, кликнуть по клавише «start» и подождать, пока будет сформирована карта сайта. Затем нужно перейти на вкладку «Google Sitemap/XML», скопировать полученный код и вставить его в файл формата.xml.
Файл sitemap xml – доступные директивы
- Параметр Lastmod указывает роботу, когда документ последний раз обновлялся.
- Тег priory указывает на приоритет документа, по отношению к другим страницам сайта.
- Параметром loc обозначают URL адрес страницы.
- Тег changefreq используется для обозначения динамичности страниц (документы с параметром «0» робот будет посещать очень редко).
Как сообщить поисковику о карте сайта
Чтобы оповестить Яндекс, можно добавить директиву sitemap в файл robots.txt. Код будет выглядеть следующим образом:
Sitemap: http://yoursite.ru/sitemap.xml
Кроме того, можно передать карту сайта через интерфейс Яндекс.Вебмастер. Для этого нужно перейти на вкладку «Настройка индексирования» >> «файлы Sitemap», а затем указать системе адрес карты сайта.
Аналогичным образом можно оповестить Google. В панели инструментов для вебмастеров нужно перейти на вкладку «Сканирование» >> «файлы Sitemap».
С помощью нашего генератора карты сайта создайте файлы в формате XML, которые могут быть представлены в Google, Яндекс, Bing, Yahoo и других поисковых системах, чтобы помочь им индексировать ваш сайт.
Сделайте это за три простых шага:
Sitemap – это карта сайта в формате XML, который В 2005 году поисковик Google стал использовать для индексации страниц сайтов. Файл Sitemap представляет собой способ организации веб-сайта, выявление адреса и данные по каждому разделу. Ранее карты сайта в основном были направлены для пользователей сайта. Формат XML был разработан для поисковых систем, что позволяет им найти данные быстрее и эффективнее.
Новый протокол Sitemap был разработан в ответ на увеличения размера и сложности веб-сайтов. Бизнес-сайты часто содержат тысячи продуктов в своих каталогах, популярность блогов, форумов, досок объявлений вынуждают вебмастеров обновлять свои материалы, по крайней мере один раз в день. Поисковым системам все труднее отслеживать весь материал. Через протокол XML поисковые системы могут более эффективно отслеживать адреса, оптимизируя их поиск путем размещения всей информации на одной странице. XML также показывает, как часто обновляется определенный веб-сайт, и записывает последние изменения. XML карты не являются инструментом для поисковой оптимизации. Это не влияет на ранжирование, но это позволяет поисковым системам сделать более точные рейтинги и поисковые запросы. Это происходит путем предоставления данных, удобных для считывания поисковыми системами.
Общее признание протокола XML означает, что разработчикам веб-сайтов больше не нужно создавать различные типы карт сайта для различных поисковых системах. Они могут создать один файл для представления, а затем обновить его, когда они внесли изменения на сайте. Это упрощает весь процесс тонкой настройки и расширения веб-сайта. Сами Вебмастера начали видеть преимущества использования этого формата. Поисковые системы ранжируют страницы в соответствии с релевантностью содержания конкретных ключевых слов, но до формата XML часто содержимое страниц не было правильно представлено. Это часто расстраивает вебмастерам, которые понимают, что их усилия по созданию веб-сайта были оставлены незамеченными. Блоги, дополнительные страницы, добавление мультимедийных файлов занимают несколько часов. Через файл XML эти часы не будут потрачены впустую, их увидят все известные поисковые системы.
Чтобы создать свой Sitemap в формате XML и держать поисковые системы в курсе всех изменений вашего сайта, попробуйте наш бесплатный генератор карты сайта.
Sitemap или карта сайта - это специальный файл (обычно имеет расширение xml ), в котором заложена информация обо всех существующих на сайте страницах. При помощи этого файла есть возможность дать понять поисковой системе, какие именно страницы сайта желательно проиндексировать в первую очередь, насколько регулярно производится обновление данных на страницах, а также важность индексации отдельных страниц сайта. Это существенно упрощает поисковым роботам проведение индексации. Файл SiteMap непременно должен быть на всех сайтах, состоящих из пятидесяти страниц, и более.
Как создать файл SiteMap онлайн и добавить его на сайт
Так как sitemap является файлом xml, создать его можно в текстовом формате, при помощи любого редактора, и сохранить с расширением xml. Однако самостоятельные усилия вовсе не обязательны, в Интернете существуют специальные сервисы, при помощи которых можно бесплатно сгенерировать - автоматически создать файл sitemap.xml онлайн и добавить на любой сайт. Более подробно процесс создания файла sitemap.xml вы можете посмотреть на видео:
[yt=QT21XhPmSSQ]
Для автоматического создания sitemap нужно ввести в соответствующее поле адрес нужного сайта, выбрать подходящий формат файла, определить последовательность индексации страниц на сайте, указать периодичность обновления страниц и задать другие интересующие Вас параметры. После всех этих операций нужно кликнуть на кнопку «выполнить», и уже через непродолжительное время в открытом ниже окне появится код созданной карты сайта. Этот код нужно просто скопировать и вставить в созданный вами в редакторе файл sitemap.xml , сохранить его и загрузить в корневую директорию вашего сайта.
Но для того, чтобы от этого файла был ожидаемый эффект, мало просто создать и добавить SiteMap на свой сайт, нужно еще и донести до поискового робота информацию о его наличии. Для этого нужно путь к нему прописать в файле , добавив в него строку:
Sitemap: http://ВАШ_САЙТ.ru/sitemap.xml
После этого все операции выполнены, ваш sitemap готов выполнять свои функции. Нужно только помнить, что в одном созданном xml файле не должно быть больше 50 000 страниц, и объем его должен быть не больше, чем 10 мегабайт. В противном случае, будет нужно создать еще один такой файл.
