Что значит некорректный url
6 наиболее часто возникающих ошибок HTTP и способы их устранения
Большинство пользователей интернета знакомы с ошибками, которые иногда возникают при работе с сайтом или поиске той или иной информации в поисковых системах. Если вы являетесь владельцем сайта, который вдруг начал выдавать подобные ошибки, вам важно понимать, что они означают, причину их возникновения и способ их устранения.
Часто на различных форумах в интернете можно увидеть обсуждения на тему устранения ошибок на сайте. Порой возникшие проблемы незначительны и могут быть решены пользователем самостоятельно, без обращения к специалистам.
Для того, чтобы знать, что делать в непредвиденной ситуации, стоит познакомиться с описанием самых распространенных ошибок, а также прочитать руководство по их устранению.
Типы ошибок
Ошибки протокола HTTP возникают в том случае, если веб-сервер по какой-то причине не может успешно отправить пользователю запрашиваемый документ. В этом случае сервер сообщит пользователю в HTTP-заголовке код возникшей ошибки.
Коды ошибок бывают положительными и отрицательными или успешными и не успешными.
Наибольший интерес для владельца сайта представляют коды, указывающие на ошибки со стороны клиента или сервера. Причины возникновения и способы устранения данных ошибок представлены ниже.
Ошибка 400
Bad Request
При переходе на сайт браузер может выдавать “400 Bad Request”. Это означает, что сервер обнаружил синтаксическую ошибку в запросе, который ввел пользователь. Однако подобная ошибка может появляться не только, когда вы вводите адрес сайта, но и, например, при входе в панель управления вашим сайтом. Причин возникновения может быть несколько:
Для того, чтобы определить, какой из перечисленных вариантов относится к вашей ситуации, необходимо провести проверку каждого из них до полного устранения проблемы. Начнем с первой возможной причины.
Блокировка браузера
Если ошибка сохраняется, то переходите к проверке следующей причины.
Блокировка брендмауэра Windows
Если проблема осталась — продолжайте проверку.
Cache и cookies
Перебои в работе интернета
Ошибка 403
Forbidden
Ошибка 403 означает, что сервер не может выполнить запрос из-за запрета на доступ к запрашиваемым файлам или страницам. Эта ошибка может возникать по ряду причин. Рассмотрим самые распространенные:
Ошибка 404
Not Found
Ошибка 404 означает, что сервер не может найти данные по запросу пользователя.
Причины возникновения данной ошибки:
Ошибка 500
Internal Server Error
Ошибка 500 означает, что на сервере есть внутренняя ошибка. Эта проблема может возникнуть по двум причинам:
Ошибка 502
Bad Gateway
Ошибка 503
Service Temporarily Unavailable
У каждого аккаунта на сервере хостинга есть определенное количество рабочих процессов, выделенное в соответствии с выбранным тарифным планом. Работа с запросами ведется в порядке очереди, они поступают на сервер, где легкие запросы обрабатываются мгновенно, а тяжелые – медленно. Всякая очередь ограничена тем или иным количеством запросов. Если новый запрос находится за пределами этой границы, принят он не будет, и вместо результата браузер выдаст оповещение “Сервис временно недоступен”.
Чтобы исправить данную ошибку нужно знать причины, по которым она может появляться:
1. Зависание скриптов при передаче больших статичных файлов через PHP. Скрипты работают определенное время, а не постоянно. При окончании времени работы скрипта прерывается передача файла, соответственно, файл не будет передан полностью, а также запрос оставит процесс веб-сервера работать еще длительное время. Устранить ошибку вы сможете посредством следующих шагов:
2. Большое количество запросов к серверу. Причин возникновения таких запросов несколько:
wrong url что значит и как исправить в Эксплорере
При попытке открытия какой-либо страницы в сети Интернет пользователь браузера IE может столкнуться с сообщением «Wrong url». Обычно это сигнализирует о неверно набранном адресе страницы в адресной строке браузера, или отсутствии запрашиваемой пользователем страницы на данном сайте. Разберём, что означает wrong url и каким образом исправить его на вашем Интернет Эксплорер.
Что такое wrong url?
В переводе «wrong url» звучит как «неправильный url» (ссылка). Данное сообщение появляется в окне браузера при следующих обстоятельствах:
Давайте разберём способы, позволяющие избавиться от wrong URL в вашем IE.
Проверьте правильность ввода url
В большинстве случаев, ошибка wrong url в Эксплорере вызвана неверным вводом адреса сайта в адресной строке браузера. Потому рекомендуется проверить:
Очистите кэш вашего IE
Если ошибки в введённом адресе страницы не были найдены, рекомендуется очистить журнал браузера Internet Explorer. К примеру, для IE 8,9,10 версий это делается путём нажатия на клавишу ALT (появится строка меню), там выберите «Сервис» — «Свойства браузера». И в разделе «Журнал браузера» выберите «Удалить», и в открывшемся окне вновь выберите «Удалить».
Работа с антивирусом и брандмауэром
В ряде случаев антивирус или брандмауэр ПК могут блокировать доступ к необходимой пользователю странице. Временно деактивируйте их с целью убедиться, что они не являются факторами возникновения проблемы.
Если это не помогло, рекомендуется проверить ваш ПК на наличие вирусов (поможет, к примеру, «Dr.Web CureIt!»).
Отключите расширения вашего Эксплорера
Некорректно работающие и установленные в браузере расширения могут мешать доступу к нужному интернет-ресурсу.
Проверьте настройки вашего сайта (для веб-мастеров)
Сообщение о «wrong url» может сигнализировать о наличии битых внутренних ссылок в наполнении вашего сайта. Если ваш сайт работает на «WordPress» отыскать битые ссылки помогут разнообразные плагины, уровня «Broken Link Checker».
«Broken Link Checker» поможет выявить битые ссылки на вашем сайте
Заключение
Разобрав, что это такое wrong url мы выяснили, что появление данного сообщения обычно сигнализирует о неверно набранном адресе сайта или одной из его страниц. Рекомендуется проверить набранный вами урл на корректность ввода, а также выполнить другие, перечисленные выше советы, помогающие решить проблему wrong url на вашем ПК.
Что такое URL — как создать корректный адрес сайта
В SEO существует множество факторов, которые влияют на итоговый результат продвижения в поисковых системах. Один из них — оптимизация URL-адресов.
В справке Google для вебмастеров существует отдельный раздел по оптимизации урлов. В этом посте я расскажу о том, что такое веб-адреса страниц, об их видах и влиянии на SEO, как правильно оптимизировать URL- адреса страниц на сайте (в рамках рубрики «Азбука SEO»).
URL или URL-адрес (Uniform Resource Locator) — унифицированный указатель ресурса. Это уникальный набор символов, который дает возможность идентифицировать всевозможные ресурсы в интернете (страницы сайтов, файлы, изображения, видео и так далее). Он указывает местоположение конкретного сайта в сети и то, каким образом можно получить к нему доступ.
Из чего состоит веб-адрес
Чтобы унифицировать все веб-адреса создан специальный стандарт, благодаря которому у всех урлов существует простой и понятный путь к хранению файла.
Символы, которые мы видим в адресной строке и есть URL-адрес. Структура любого URL выглядит так:
Схема — протокол передачи данных. Существует огромное количество протоколов, но чаще всего это:
Логин: пароль — имя и пароль для входа в учетную запись. Для HTTP/HTTPS-протоколов не используется. Обычно применяется для протокола FTP (ftp://name:password@qwerty.ua).
Хост — доменное имя сайта. Зачастую используется название бренда, например netpeak.ua. Также может использоваться IP-адрес (172.217.168.195), но сейчас его применяют очень редко, так как IP запомнить сложнее.
Порт — составная часть веб-адреса, числовой идентификатор программы или процесса, предоставляющий возможность доступа к ресурсам на указанном IP-адресе. Например, за http-сервером закреплен 80 порт, а за https — 443. То есть для соединения с веб-сервером нам необходимо знать IP-адрес компьютера и его порт. В свою очередь, чтобы веб-сервер мог передать данные на наш компьютер, ему необходимо предоставить IP и порт нашего компьютера, чтобы принять ответ от сервера, а после обработать данные.
URL-путь — это адрес, где расположен ресурс или файл на веб-сервере. К примеру, по адресу https://netpeak.ua/services/seo/ можно понять, что услуги категории «SEO» расположены в директории «Услуги».
Параметры — специальные данные, которые браузер сообщает веб-серверу. Как правило, параметры указываются после знака «?» и разделяются «&». Всё, что идет до вопросительного — основной URL, после — дополнительные параметры. https://site.com/cat332t1.html?sort_direction=desc&sort_by=price_desc
Якорь — вид закладки на странице, которая направляет пользователя на определенную часть страницы (помеченный фрагмент кода). Реализовывается с помощью символа «#»: https://en.wikipedia.org/wiki/URL#Syntax.
Влияние URL на SEO
На продвижение сайтов влияет множество факторов, которые помогают добиться необходимых результатов в ранжировании сайта.
При прочих равных, правильно оптимизированный URL-адрес страницы даёт преимущество над сайтами, у которых URL сформирован CMS системой.
Степень значимости оптимизированного URL в SEO зависит от частотности запросов и конкуренции. Как правило, главные разделы сайта продвигаются по высокочастотным запросам, на них оптимизация URL не сильно отражается. А вот для низкочастотных запросов правильно составленные веб-адреса важны и существенно помогают в ранжировании сайта.
Виды URLов
Существует два типа URL-адресов: статические и динамические.
Статический URL — постоянный адрес веб-страниц, который не содержит дополнительных параметров и не меняется со временем (или меняется, но крайне редко): https://serpstat.com/ru/blog/novie-vozmozhnosti-iyunskie-obnovleniya-serpstat/.
Динамический URL — веб-адрес страницы, который генерируется в ответ на определенный запрос пользователя.
В динамических веб-адресах присутствуют разделители в виде знаков «?», «=», «&». После этих разделителей отображаются дополнительные параметры страницы. Динамические URL обычно формируются после выбора фильтров, сортировки товаров, поиска по сайту и другого.
Как выглядят такие страницы:
У динамических URL есть свои недостатки:
Транслитерация, латиница или кириллица: что лучше?
Поисковые системы одинаково хорошо распознают все форматы URL. Какой выбрать — решать вам.
Транслитерация
Транслитерация чаще всего используется для названия статей.
Из недостатков можно выделить то, что такие УРЛы увеличивают нагрузку на сайт за счет установки дополнительных плагинов для CMS-системы.
Латинские URL (перевод на английский)
Это универсальный вариант для URL. Латинские символы знает множество пользователей, к тому же они легко обрабатываются поисковыми роботами.
Данный тип URL обычно используется для страниц категорий, подкатегорий, рубрик (статических страниц). Вместо «/novosti/» используют «/news/», вместо «/o-nas/» — «/about-us/» и так далее.
Кириллические URL
Такой тип URL используется, если домен или его часть кириллические, а также, если часть адреса не слишком длинная:
Недостаток: если скопировать URL и отправить кому-то или вставить в текстовый редактор, то получится непонятный набор символов:
Копируем и вставляем:
Дело в том, что в стандарте доменных имен используется 37 символов, которые входят в таблицу кодировки ASCII (American standard code for information interchange): 26 символов латинского алфавита, арабские цифры от 0 до 9 и дефис. Все остальные символы перекодируются с помощью Punycode (стандартизированный метод преобразования последовательностей Unicode-символов).
ЧПУ URL и правила их оформления
Поисковые системы рекомендуют использовать человекопонятные URL, их ещё называют дружественными URL-адресами. Это адреса страниц, которые дают понимание пользователю и поисковым ботам, какая информация может находиться по ссылке. Англоязычный термин ЧПУ (человекопонятный урл — SEF URL (search engine friendly url).
Для формирования дружественных URL-адресов необходимо придерживаться общепринятых правил:
* исключение «ый» — транслитерируется как «iy».
Среди вебмастеров принято использовать в адресе не более 3-5 слов. Чем меньше, тем лучше. Длинные URL обрезаются в поисковой выдаче, при этом снижается вес ключевых слов. Также они неудобны для пользователей, так как тяжело запоминаются и усложняют навигацию по сайту. Исключение составляют новостные сайты, URL которых зачастую состоит из более чем трех слов.
Пример обрезанного URL:
если же это будет последовательность из двух символов «#!», так называемых шебанг (shebang или hashbang), тогда URL проиндексируется. Детальнее об индексации страниц на AJAX и JavaScript можно прочитать в блоге.
Формирование оптимальной структуры URL для разных типов страниц
Один из часто задаваемых вопросов по внутренней SEO-оптимизации касается правильной структуры URL-адреса. Давайте на примере интернет-магазинов рассмотрим разные варианты логики построения структуры URL-адреса.
Ещё вариант — не привязывать карточку товара к определенной категории и хранить всё в корне сайта: https://site.ua/product/.
Когда же стоит использовать первый вариант, а когда второй? Всё зависит от тематики и возможности сайта. Если это небольшой интернет-магазин, в котором карточки товаров закреплены за определенным разделом/подкатегорией, тогда можно первый.
Второй рекомендую в том случае, когда товар может относиться к разным категориям. Товары не будут закреплены за категориями и таким образом можно решить проблему появления дублей страниц.
Частые ошибки при работе с URL
Грубые ошибки при работе с URL:
Рекомендации по оптимизации адресов:
Выводы
Форум
Тема: Вопросы новичка
Поиск по теме
Вот эта страница https://credit161.ru/
Не могу прикрепить файл
Кто-нибудь может ответить на вопрос?
Здравствуйте!
Уточните, пожалуйста, информацию
Любая страница, которую добавляю. Как на скрине
Обратите внимание, что если действия по инструкции выполнили верно, то после этого отслеживайте «склейку» зеркал в Вебмастере. Может потребоваться от нескольких недель до нескольких месяцев.
По инструкции выполнили все верно. В вебмастере почему-то не отображаются «склейка» как на картинке в инструкции.
Как на этапе склеивания отобразится индексация и выдача страниц в поисковике?
1. Еще прошло не достаточно времени (на «склейку» зеркал может потребоваться от нескольких недель до нескольких месяцев).
2. Более подробно уже обсуждалось в этой теме форума http://nethouse.ru/forum/showthread. l=1#post141512
Возможны временные потери позиций в поиске и временное обнуление ТИЦ.
1. Еще прошло не достаточно времени (на «склейку» зеркал может потребоваться от нескольких недель до нескольких месяцев).
2. Более подробно уже обсуждалось в этой теме форума http://nethouse.ru/forum/showthread. l=1#post141512
Возможны временные потери позиций в поиске и временное обнуление ТИЦ.
По вопросу оплаты ежегодного сертификата. Как и когда он оплачивается?
Оптимизируем карту сайта: исправляем ошибки, удаляем мусорные страницы и раскрываем инсайты
Вы создали карту сайта, загрузили ее в Google Search Console и Яндекс.Вебмастер, но файл не получил статус «Успешно» или «Ок»? А, может, отчет о файлах Sitemap выглядит хорошо, но поисковики игнорируют ваш файл Sitemap и не собираются индексировать многие страницы из карты сайта. Возникает вопрос, можно ли что-нибудь сделать для улучшения статистики индексирования. Отвечаем — можно, и даже расскажем, как это сделать.
В первой части этой статьи перечислены все ошибки, с которыми вы можете столкнуться в отчетах о файлах Sitemap в Google Search Console и Яндекс.Вебмастере. Если же вы ищете способ устранить конкретные проблемы, воспользуйтесь содержанием, чтобы перейти к интересующим вас ошибкам.
Во второй части — рекомендации, которые помогут вам извлечь максимальную выгоду из карты сайта. Вы узнаете, как найти мусорные страницы в файле Sitemap, где искать страницы, которые вы могли пропустить и не добавить в карту сайта, и как заставить поисковики проиндексировать как можно больше страниц из файла Sitemap. Поэтому очень советую всем внимательно ознакомиться со второй главой этой статьи.
Исправление ошибок в отчете Sitemap
После загрузки карты сайта в Google или Яндекс в столбце «Статус» можно увидеть, удалось ли поисковикам обработать файл. Если ваш файл соответствует всем правилам, появится статус «Успешно» в Google Search Console или «Ок» в Яндекс.Вебмастере. В этой главе мы рассмотрим другие статусы, а именно «Не получено» и «Обнаружены проблемы» в Google, а также аналогичные «Не проиндексирован» и «Ошибка» — в Яндексе.
Проблемы со сканированием вашего файла Sitemap
Начнем с самого худшего сценария, когда поисковик не может обработать файл Sitemap. Сначала разберемся с Google — что делать, если статус вашей карты сайта «Не получено».
В этом случае вам придется использовать «Инструмент проверки URL», чтобы выяснить, что может быть причиной проблемы. В инструменте нажмите кнопку «Проверить страницу на сайте» и посмотрите статус получения страницы. Если написано «Успешно», значит ошибка на стороне Google.
Если Google не удалось получить вашу карту сайта, убедитесь, что ничто не блокирует доступ к файлу Sitemap — будь то директивы robots.txt или плагины CMS (да, иногда виноваты они!). Также проверьте, правильно ли введен URL-адрес карты сайта — обратите внимание на протокол и префикс www.
Теперь давайте разберемся, что делать, если проблема возникла в Яндекс.Вебмастере. Если Яндекс не сможет обработать ваш файл Sitemap, его статус будет «Не проиндексирован».
Обычно этот статус означает, что вы неправильно указали URL-адрес карты сайта. Также стоит убедиться, что файл Sitemap доступен и возвращает HTTP-статус с кодом 200 OK с помощью инструмента «Проверка ответа сервера».
Если сервер отвечает больше 10 секунд, файл не загрузится с помощью инструмента и не будет учитываться роботом при обходе.
Кроме того, как и в случае с Google Search Console, обратите внимание на файл robots.txt и плагины CMS.
Ошибка «Не получено» или «Не проиндексирован» может возникнуть как при загрузке отдельной карты сайта, так и в случае загрузки в Google Search Console и Яндекс.Вебмастер файла индекса Sitemap. Проблему нужно решить так же, как и с одной картой сайта.
Ошибки в файле индекса Sitemap
Теперь перейдем к случаям, когда поисковики просканировали добавленный вами файл и обнаружили ошибки. И начнем мы с ошибок файла индекса Sitemap.
Файл индекса Sitemap содержит ссылки на несколько карт сайта — поисковой системе необходимо обработать их все, чтобы наконец получить доступ к URL-адресам вашего сайта. В Google Search Console вы получите ошибку «Неполные URL в файле индекса Sitemap», если поисковик не сможет обработать URL-адреса, перечисленные в файле индекса Sitemap. Обычно это означает, что Google не удалось найти одну или несколько ваших карт сайта, потому что вы использовали относительные URL-адреса. Все URL-ы, которые указывают на отдельные карты сайта в файле индекса Sitemap, должны быть абсолютными, иначе Google не сможет их найти.
Кроме того, в вашем файле индекса Sitemap не должны быть указаны другие файлы индекса Sitemap, а только карты сайта. Если вы сделаете так, то получите сообщение «Вложенные файлы индекса Sitemap» в Google Search Console и «Файл Sitemap index не может содержать ссылки на файлы Sitemap index» в Яндексе.
И последняя ошибка. В Google она звучит так «Слишком много файлов Sitemap в файле индекса», а в Яндексе — «Число файлов Sitemap превышает заданный предел». Это происходит с огромными сайтами, которые содержат более 50 000 карт сайта в одном файле.
Недопустимый размер файла Sitemap и ошибки сжатия
Ограничения по размеру применяются как к файлам индекса Sitemap, так и к отдельным картам сайта. Размер файла Sitemap в несжатом виде не должен превышать 50 МБ, а в карте сайта не должно быть более 50 000 URL-адресов. Если вы не соблюдаете эти правила, то получите ошибку «Превышен максимальный размер файла Sitemap» в Google и «Размер файла превышает заданный предел» в Яндексе. Узнать больше о том, как разделить карту сайта на несколько файлов, можно из нашего полного руководства по созданию файла Sitemap.
Карта сайта должна не только не превышать допустимые размеры, но и не быть пустой. Если вы загрузите пустой Sitemap, то получите соответствующую ошибку в Google. В Яндексе она звучит так — «Ответ не содержит данных».
Я говорила, что допустимый размер карты сайта в несжатом виде должен быть меньше 50 МБ, но часто файлы Sitemap сжимают для экономии пропускной способности канала. Обычно для этой цели используют инструмент gzip, который добавляет расширение gz к файлу. Сообщение об ошибке сжатия или разархивирования в отчете означает, что что-то пошло не так во время процесса сжатия, и вам нужно сделать это еще раз.
Проблемы со сканированием URL-адресов в карте сайта
По ряду причин поисковики могут не просканировать некоторые URL-адреса, которые указаны в карте сайта. Давайте разберемся со всеми подобными ошибками.
«Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt» в Google и аналогичная «URL запрещен в файле robots.txt» в Яндексе — ошибка довольно простая, поскольку поисковики укажут вам на заблокированные URL-адреса. Все зависит от того, хотите ли вы, чтобы эти URL-ы были проиндексированы. Если да, то вам придется снять блокировку, в другом случае необходимо удалить адреса из карты сайта.
Еще одна довольно очевидная проблема, которая не позволяет Google и Яндекс сканировать страницу, — это код ответа, отличный от 200 ОК. В отчете поисковиков это называется ошибкой HTTP, и точный код указывается для каждой отдельной страницы. Кроме консолей вебмастеров, проверить коды ответа URL-адресов из вашей карты сайта можно с помощью инструмента «Анализ сайта» от SE Ranking.
Всю необходимую информацию ищите в разделе «Код ответа сервера».
Google и Яндекс также выделяют другие не такие очевидные и простые ошибки. Кратко пройдемся по каждой из них.
Ошибка в Google «URL недоступны» означает, что поисковик обнаружил вашу карту сайта в указанном месте, но не смог получить все URL-адреса из списка. В этом случае вам снова нужно использовать «Инструмент проверки URL» и проверять доступность для сканирования каждого проблемного URL-а.
Ошибка в Google «Переход по URL не выполнен» возникает либо из-за того, что вы использовали относительные URL-адреса в карте сайта вместо абсолютных, либо из-за проблем с редиректами. Цепочки и циклы редиректов, временные редиректы, которые используют вместо постоянного перенаправления, а также HTML- и JS-редиректы могут привести к этим ошибкам.
Google Search Console не указывает, что именно может быть причиной проблемы. Поэтому вам нужно использовать другие инструменты, чтобы понять, какие ошибки необходимо исправить. Например, в инструменте «Анализ сайта» SE Ranking есть специальный раздел «Редиректы», где можно проверить, есть ли на вашем сайте какие-либо проблемы с перенаправлениями.
Если инструмент обнаружит какие-либо ошибки, вы получите всю необходимую информацию по каждой из них — щелкнув на количество страниц, можно узнать, на какой странице есть проблема и как она связана с другими страницами сайта.
Ошибка «Нельзя использовать URL» в Google и аналогичная «Некорректный URL» в Яндексе означает, что ваша карта сайта содержит URL-адреса, которые находятся на более высоком уровне или в другом домене по сравнению с файлом Sitemap. Например, если ваша карта сайта находится по адресу: vashsajt.com/category1/sitemap.xml и вы добавили в нее страницу, адрес которой: vashsajt.com/stranitsa1, поисковики не смогут получить к ней доступ.
Что касается разных доменов, помните, что для Google и Яндекс версии сайта на HTTP и HTTPS, а также с www и без www считаются разными. Поэтому, если ваша карта сайта находится по адресу http://www.vashsajt.com/sitemap.xml, URL вида https://vashsajt.com/stranitsa1 будет считаться некорректным.
Если вы недавно перешли на HTTPS, обязательно создайте новую карту сайта с HTTPS URL-адресами. Инструмент «Анализ сайта» SE Ranking напомнит вам об этом.
Яндекс.Вебмастер отдельно выделяет ошибку «Много некорректных URL в начале файла». Эта ошибка сообщает, что стоящие подряд URL-ы расположены за пределами каталога, в котором находится файл Sitemap. Скорее всего весь файл имеет неправильный формат, поэтому Яндекс не будет продолжать сканировать такую карту.
Наконец не забывайте, что длина каждого URL в файле не должна превышать установленный предел в 1024 символа. Иначе Яндекс.Вебмастер выдаст ошибку «Слишком длинный URL».
Google считает, что вы указали неправильные URL
Также стоит обратить внимание на еще одну ошибку, которую выделяет Google. Если вы добавите URL без префикса www в свою карту сайта, адрес которой содержит www, вы получите ошибку «Несоответствующий путь». То же самое касается файла Sitemap с www и URL-адресом без соответствующего префикса. Даже если ваш сайт доступен как с префиксом www, так и без него, не нужно путать эти вещи в карте сайта. Если ваш файл Sitemap находится по адресу: https://example.com/sitemap.xml, ни один из URL-ов, которые она содержит, не должен включать www. Если ваша карта сайта находится по адресу: https://www.example.com/sitemap.xml, все перечисленные в ней URL-ы должны включать www.
В Яндекс.Вебмастере вы не увидите аналогичных ошибок, но, если вы хотите чтобы поисковик просканировал нужную вам версию URL-ов, стоит придерживаться описанных выше правил.
Синтаксические ошибки в карте сайта
В большинстве случаев вам не нужно беспокоиться о синтаксических ошибках в карте сайта — создав файл Sitemap с помощью одного из специальных сервисов, вы можете быть уверены, что с тегами и атрибутами не будет проблем. Однако, если вы самостоятельно сделали карту сайта, то можете столкнуться с одной из ниже описанных ошибок.
Также напомню, что Яндекс распознает не все теги, с которыми работает Google. Из-за этого часто возникают проблемы в отчете Яндекс.Вебмастера.
Давайте рассмотрим все подобные ошибки детально.
Здесь «alternate», «gb» и «fr» являются значениями атрибутов, но «gb» используется неправильно. Вы не можете указать в hreflangs только код страны — он должен сочетаться с кодом языка, например, «en-gb».
Обычные файлы Sitemap — xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9”
Файлы Sitemap для новостей — xmlns:news=»http://www.google.com/schemas/sitemap-news/0.9″
Файлы Sitemap для видео — xmlns:video=»http://www.google.com/schemas/sitemap-video/1.1″
Файлы Sitemap для изображений — xmlns:image:=»http://www.google.com/schemas/sitemap-image/1.1″
Напомню, что специальные карты сайта для новостей, картинок и видео поддерживает только Google.
Если вы использовали неправильный протокол для своей карты сайта, вы получите ошибку «Неподдерживаемый формат файла» в Google Search Console. Она также может появиться из-за других всевозможных синтаксических ошибок, таких как использование неправильных кавычек (принимаются только прямые одинарные или двойные), отсутствие тега кодировки или некорректный префикс UTF-8. В последнем случае Яндекс.Вебмастер выдаст ошибку «Неверная кодировка».
Также Google выделяет несколько ошибок, связанных с файлом Sitemap для видео: «Слишком большой/маленький значок видео», «Адреса видео и страницы воспроизведения совпадают», «URL видео указывает на страницу воспроизведения». Вы можете найти более подробную информацию об этих ошибках здесь.
Чтобы избежать синтаксических ошибок, перед отправкой файла Sitemap используйте один из сервисов проверки карты сайта, подобных этому. Инструменты будут выделять проблемы, которые необходимо исправить.
После устранения всех ошибок в файле Sitemap нужно повторно загрузить обновленную карту сайта в Google Search Console.
Робот Яндекса регулярно проверяет файл Sitemap на обновления и ошибки, поэтому загружать карту повторно не нужно. Но ее можно отправить на переобход, чтобы ускорить процесс проверки. Для этого нажмите на стрелочки слева от раздела «Статус».
Такие действия заставят Google и Яндекс повторно просканировать ваш сайт и, наконец, проиндексировать страницы, которые они не смогли просканировать из-за ошибок.
Загруженные vs проиндексированные URL-адреса
Ваша карта сайта и файл индекса Sitemap могут получить статус «Успешно» или «Ок», но на этом ваша работа не заканчивается.
Давайте сначала разберем, что делать дальше в Google Search Console. Щелкните на значок диаграммы рядом с количеством выявленных URL-адресов, чтобы перейти к отчету об индексировании. Как только вы начнете анализировать его, вы скорее всего заметите, что не все отправленные страницы были проиндексированы.
Это нормально, когда страницы исключаются из индексации — Google не может оценить и проиндексировать все страницы вашего сайта, о которых он знает. Более того, почти на каждом сайте есть страницы, которые вебмастера не хотят индексировать: страницы защищенные паролем, служебные страницы и дубли. Что не нормально, так это наличие ошибок и предупреждений в вашем отчете об индексировании. Также недопустимо, чтобы количество исключенных страниц во много раз превышало количество страниц без ошибок.
Чтобы посмотреть данные об индексировании страниц в Яндекс.Вебмастере, перейдите в раздел «Индексирование», а затем выберите «Страницы в поиске». Вы увидите 3 вкладки. Обратите внимание на последнюю — «Исключенные страницы». Здесь можно посмотреть и проанализировать страницы, которые Яндекс не стал индексировать по той или иной причине.
Так почему же поисковики не могут проиндексировать страницы, которые были добавлены в карту сайта? В большинстве случаев это происходит, когда вы добавляете туда страницы, которых в карте сайта быть не должно. Возможно, поисковики просто не могут проиндексировать страницу из-за директивы noindex. Кроме того, поисковики могут запутаться, действительно ли вы хотите, чтобы страница была проиндексирована — например, когда вы добавляете неканонические страницы в карту сайта.
Все подобные ошибки можно найти в разных вкладках «Отчета об индексировании» в Google Search Console и в разделе «Страницы в поиске» Яндекс.Вебмастера. Но их удобнее проверять с помощью инструмента «Анализ сайта» SE Ranking — если на вашем сайте есть подобные проблемы, вы легко найдете их все в разделе «Сканирование» в «Отчете об ошибках».
Удалите из карты сайта неиндексируемые и неканонические страницы. А если страницы были по ошибке помечены как неиндексируемые и неканонические, решите эту проблему.
Оптимизируйте карту сайта с подсказками от Google
Убедившись, что с вашей картой сайта все в порядке, изучите «Отчет об индексировании», чтобы найти случаи, когда ваше мнение о странице расходится с Google.
На вкладке «Исключено» можно увидеть еще две интересные категории страниц: «Просканированы, но пока не проиндексированы», и «Обнаружены, не проиндексированы». Оба типа обычно определяют некачественные страницы с малым содержанием, которые Google не хочет показывать пользователям. В первом случае страница была по крайней мере просканирована, а затем признана некачественной. А во втором случае поисковик даже не потратил краулинговый бюджет на страницу. Тщательно проанализируйте все такие страницы и посмотрите, что вы можете сделать, чтобы повысить их ценность: поработайте над контентом, взаимодействием с пользователем, внутренней линковкой и т. д.
Варианты оптимизации карты сайта для Яндекса
В отличие от Google, Яндекс обычно учитывает пожелания вебмастеров. Поэтому если страница помечена как noindex — поисковик не будет ее индексировать. Также Яндекс, как правило, индексирует канонические страницы. Но бывают и исключения. Чтобы увидеть проиндексированные неканонические страницы, выберите на вкладке «Последние изменения» статус «Добавлено: Неканоническая».
Если Яндекс посчитал, что неканоническая страница лучше той, которую выбрали вы, надо разобраться, что не так с канонической. Для начала проверьте, проиндексирована ли она — если да, вам придется столкнуться с каннибализацией ключевых слов. Если же каноническая страница выпала из индекса, то она по той или иной причине не понравилась поисковику. Доработайте каноническую страницу или послушайтесь Яндекса — поменяйте теги canonical и добавьте необходимую страницу в карту сайта.
В отличие от Google, у Яндекса нет возможности быстро проверить, каких проиндексированных страниц нет в вашей карте сайта. Но их можно легко найти с помощью SE Ranking. Ниже я описала, как это сделать.
Перейдите в инструмент «Анализ сайта» и кликните на зеленую линию в графике «Индексация страниц».
Вы увидите список страниц, открытых к индексации. Добавьте колонку «В карте сайта» и отфильтруйте страницы так, чтобы видеть только те, которых нет в файле Sitemap. Выгрузите список страниц, нажав на кнопку «Экспорт» и скопируйте из таблицы URL-aдреса.
Затем перейдите в инструмент «Проверка индексации», вставьте необходимые ссылки и нажмите «Начать проверку». Через пару минут вы увидите, какие страницы в индексе, а какие нет.
Теперь вы знаете, каких проиндексированных страниц не хватает в карте сайта. Добавьте их в файл Sitemap.
Теперь давайте вернемся в Яндекс.Вебмастер. Советую уделить внимание еще одной категории во вкладке «Последние изменения» — «Малоценные или маловостребованные страницы». Это страницы, которые были исключены из поиска по очевидной причине. Они не содержат контента, дублируют уже известные роботу страницы, или их контент не отвечает интересам пользователей. Так же как и в случае с Google, подумайте, что можно сделать, чтобы повысить ценность таких страниц.
Заключение
Благодаря разнообразию инструментов для создания карты сайта сделать файл Sitemap очень легко. Однако, если вы просто воспользуетесь одним из случайных инструментов и проигнорируете рекомендации по созданию карты сайта, то наверняка получите отчет о файле Sitemap с большим количеством ошибок, или отправите через карту сайта множество некачественных страниц на рассмотрение поисковикам.
Я надеюсь, что это руководство помогло вам исправить каждую ошибку в отчете о файле Sitemap. А воспользовавшись советами из второй части этого руководства, вы сможете оставить в карте сайта только качественные страницы и убрать все те, которые поисковики все равно не захотят индексировать. Если у вас остались вопросы, не стесняйтесь оставлять их в комментариях ниже.