Яндекс отменяет ссылочное ранжирование: Продвижение сайта без ссылок — Яндекс отменил ссылочное ранжирование

Яндекс отменяет ссылочное ранжирование. А что дальше?

SEO

Автор Георгий Михайлов На чтение 3 мин. Просмотров 541 Опубликовано

Как заявил на конференции IBC Russia руководитель поисковых сервисов «Яндекса» Александр Садовский, с начала года ссылки по коммерческим запросам в Москве и регионах не будут учтены в ранжировании.

Как говорит официальный представитель «Яндекса», ссылочные сигналы на данный момент являются откровенно заспамленными, а потому в большей степени утрачивают собственное значение при определении релевантности. Проведенные эксперименты, по мнению специалистов поисковой системы, позволили выявить, что на качестве поиска никоим образом не отразится отмена учета ссылок.

Предложенные изменения отразятся только на коммерческих запросах и будут действовать только в пределах Московского региона. При этом сам Садовский считает, что о дальнейшем развитии событий говорить пока преждевременно.

Каким должен быть результат?

Скорее всего, весь ажиотаж вокруг отмены ссылочного ранжирования можно назвать несколько преувеличенным, для этого есть несколько причин. Дело в том, что подобного рода заявления, о том, что «Яндекс» отказывается от ссылочного ранжирования, делаются Александром Садовским не впервые. Около месяца назад «Яндексом» был представлен принципиально новый алгоритм АГС-40, целью которого являлась борьба со ссылками, размещенными на низкокачественных сайтах. Таким образом, поисковая система сортирует качественные ссылки от потенциального ссылочного спама. Для чего нужно вообще вводить новый алгоритм, если сами ссылки в недалеком будущем будут отменены? В то, что всего за месяц «Яндекс» резко поменял свои планы, верится довольно слабо.

Ну и в заключение стоит отметить наличие путаницы между коммерческими и информационными запросами. Дело в том, что информационные запросы, приводящие в итоге потенциального клиента непосредственно на сайт компании, имеют место, при этом о том, что планируется отменять ссылочное ранжирование еще и информационным запросам, никто ничего не говорил.

Из всего вышесказанного можно сделать один логический вывод: поисковые системы и их алгоритмы будут продолжать развитие и постоянно меняться, вследствие чего вполне можно предположить, что однажды ссылочное ранжирование и впрямь станет неактуальным. Скорее всего, случится это еще довольно нескоро, во всяком случае, не так быстро, как об этом говорит «Яндекс». В том случае, когда на этапе продвижения сайта делается акцент прежде всего на внутренние параметры ранжирования, конкретно – на создание качественного и полезного контента, более интересных сервисов, и при этом продолжается работа над пользовательскими показателями, такая мера, как отмена ссылочного ранжирования, отразится на сайте только с положительной стороны.

Как будет работать поиск в 2021? YATI – новый алгоритм ранжирования Яндекс — SEO на vc.ru

В конце минувшего года Яндекс запустил новый алгоритм поискового ранжирования YATI, действие которого основано на нейросетях-трансформерах. Эта нейросетевая архитектура опирается на смысловую составляющую, обеспечивая совершенно новый подход, который устанавливает наилучшее семантическое единение между намерением пользователя, запросом и документом.

18 980
просмотров

YATI (Yet Another Transformer with Improvements) в переводе означает «Ещё один трансформер с улучшениями»

По заверениям специалистов по машинному обучению в Яндекс – внедрение YATI рекордным образом улучшило ранжирование и стало наиболее значимым событием для отечественного поисковика за последние 10 лет, со времен внедрения Матрикснета.

Совместный эффект Палеха и Королёва оказали меньшее влияние на поиск, чем новая модель на трансформерах. Вместе с тем, следует понимать, что нейросети не отменяют тысячи ранее заложенных правил в общую поисковою формулу. Однако значимость YATI ярко прослеживается в факте, свидетельствующем о том, что если убрать из общей формулы все прочие факторы и оставить только новую модель, то качество ранжирования, как заявил руководитель группы нейросетевых технологий в поиске Яндекс Александр Готманов, по основной офлайн-метрике упадёт лишь на 4-5%.

Как было раньше?

Система поиска всегда определяла релевантность выдачи путем сопоставления множества разнообразных факторов, намекающих на семантическую связь между поисковым запросом и материалом, изложенном на отдельной веб-странице. То есть, в упрощенном представлении, если статья и запрос имели множество одинаковых слов, то роботом данная страница воспринималась наиболее приоритетной. Разумеется, учитывался и расчет количества фраз, объем материала, поведенческие факторы, поисковая история пользователей и многое другое, но робот при этом никогда не понимал сути документа.

Алгоритмы Яндекс на 2015 год

Так происходило вплоть до 2016 года, пока не появились такие алгоритмы как Палех и Королев. Тогда Яндекс впервые публично заявил о применении нейросетей, обозначив, меж тем, что дальнейшее развитие поиска им видится в том, чтобы в финале получить модель, которая сможет всякий раз понимать любые запросы на уровне, сопоставимом с человеческим. Технология YATI являет собой еще один значительный шаг к этому, а Палех и Королев являлись важнейшими вехами развития поиска на пути к YATI.

Палех

Палех обеспечил возможность понимания сложных запросов пользователей. То есть поиск стал проводиться не строго по словам, которые написал пользователь, но также по смыслу запроса и заголовка страницы. Так, Яндекс научился находить требуемые ответы даже при отсутствии ключевых слов.

Выдача при Палехе стала формироваться по смыслу, а не по точным вхождениям

С этого момента точное вхождение ключевых запросов стало менее значимым фактором при ранжировании и акцент при SEO-продвижении стал смещаться в сторону смысловой и технической уникальности текста, мотивируя к созданию более полезного и содержательного контента.

Королев

Более совершенной вариацией Палеха стал Королев. Он еще лучше научился обрабатывать сложные и многозначные запросы, ориентируясь при этом не только на сопоставление заголовков, но и на содержимое страницы в целом. Алгоритм также стал учитывать поисковую статистику, мнение ассесоров и толокеров, а также оценки самих пользователей.

Например, пользователь вводит запрос «фильм, в котором нельзя шуметь». В этом случае Яндекс сразу выведет название фильма, при этом ключевых фраз в Title и Description не будет.

Работа Королева при сложном запросе

Таким образом, стало возможным задавать поисковой системе сложные вопросы в формате разговорной речи и получать на это корректные ответы.

Существенным преимуществом Королева также стала возможность его применения к существенно большему количеству страниц без ущерба ко времени выдачи результатов по запросу. Палех был относительно тяжелым алгоритмом и использовался исключительно на поздних стадиях ранжирования, приблизительно к 150 лучшим страницам из отфильтрованного по старым правилам списка.

О трансформерах

Палех и Королев позволили Яндексу не просто находить совпадения, а понимать суть вопроса, значительно улучшили процесс ранжирования, но всё же справлялись с этим неидеально. Лишь с момента ввода YATI факторы смысла стали превосходить факторы вхождений по мНЧ-фразам.

Путь Яндекса к YATI

Прежде, чем мы начнем подробнее говорить о YATI, следует отдельно пояснить что такое трансформеры.

Говоря простыми словами, трансформерами в данном случае называют сверхбольшие и сверхсложные нейросети, способные легко справляться с разнообразными задачами в сфере обработки естественного языка, будь то перевод или создание текста.

Скрываются за этим огромные вычислительные мощности. Причем стремительно нарастающие. Так, до применения трансформеров, используемая в Яндексе нейросеть, обучалась только на одном графическом ускорителе Tesla v100. Уходило на такое обучение не более одного часа. А вот обучение нейросети-трансформера на таком ускорителе заняло бы около 10 лет. Потому внедрение новых технологий потребовало использования около сотни похожих ускорителей с быстрой передачей данных между друг другом. Для этого Яндекс построил специальный кластер, предназначенный для вычислений, с распределенным обучением внутри него.

То есть переход на новый алгоритм YATI был довольно сложной задачей с инженерной точки зрения. Множество ускорителей объединили в кластеры, связали в сеть и разработали для получившихся серверов мощную систему охлаждения. Но даже с такими мощностями на обучение модели сейчас уходит около месяца.

Классическая техника обучения трансформеров предполагает демонстрацию им неструктурированных текстов. То есть берется текст, в нем маскируется определенный процент слов, а перед трансформером ставится задача угадывать данные слова. Для YATI задача была усложнена: ему показывался не просто текст отдельного документа, а действительные запросы и тексты документов, которые видели пользователи. YATI угадывал, какой из документов понравился пользователям, а какой нет. Для этого использовалась экспертная разметка асессоров, которые оценивали релевантность каждого документа запросу по сложной шкале.

После этого Яндекс брал массив полученных данных и дообучал трансформер угадывать экспертную оценку, обучаясь, таким образом, ранжировать. В результате поисковой алгоритм был существенно улучшен и Яндекс вышел на рекордный уровень в качестве поиска.

Преимущества YATI и трансформеров

В отличие от предшествующих нейросетевых алгоритмов Яндекса Палех и Королёв, YATI умеет предсказывать не клик пользователя, а экспертную оценку, что являет собой фундаментальную разницу.

Кроме этого, преимущества трансформеров заключаются в следующем:

  • поиск работает не только с запросами и заголовками, но и способен оценивать длинные тексты;
  • присутствует «механизм внимания», выделяющий в тексте наиболее значимые фрагменты;
  • учитывается порядок слов и контекст, то есть влияние слов друг на друга.

Теперь, к примеру, когда вы будете искать билеты на самолет из Екатеринбурга в Москву, поисковик поймет, что вам нужно именно из Екатеринбурга в Москву, а не наоборот. Помимо того, Яндекс стал лучше распознавать опечатки.

YATI намного лучше предшественников работает со смыслом запроса, алгоритм направлен на более глубокий анализ текста, понимание его сути. Это значит, что поисковик будет точнее понимать, какая информация является наиболее релевантной запросу пользователя.

Говоря о ранжировании, можно спрогнозировать, что смысловая нагрузка контента возымеет более значимую роль. То есть экспертные тексты, полностью раскрывающие ответ на запрос пользователя, будут всё больше и чаще попадать в ТОП.

Особенности YATI:

1. Переформулирование запросов и «пред-обучение на клик». Яндекс имеет базу из 1 млрд. переформулированных запросов: [1 формулировка] → без клика → [2 формулировка]. Так, модель учится предсказывать вероятность клика.

2. Оценки на Яндекс.Толоке. Использование оценок толокеров.

3. Оценки асессоров. Использование экспертных оценок релевантности.

4. Данные, которые подаются на вход:

  • текст запроса;
  • расширение запроса;
  • «хорошие» фрагменты документа;
  • стримы для документа: анкор-лист, запросный индекс для документа.

YATI и Google Bert

Одним из последних обновлений главного конкурента в области поиска Яндекса Google стало внедрение алгоритма BERT. Эта нейронная сеть также, как и YATI, решает задачу анализа поисковых запросов и их контекста, а не отдельный анализ ключевых запросов. То есть BERT анализирует предложение целиком.

И YATI, и BERT ориентированы на лучшее понимание смысла поискового запроса. Однако, как утверждают специалисты Яндекс, алгоритм YATI лучше справляется со своими задачами, поскольку кроме текста запроса анализирует еще и тексты документов, а также учится предсказывать клики.

Ниже в таблице представлено сравнение качества алгоритмов, основанных на нейронных сетях, в задаче ранжирования, где “% NDCG” – нормированное значение метрики качества DCG по отношению к идеальному ранжированию на датасете Яндекс. 100% здесь означает, что модель располагает документы в порядке убывания их настоящих офлайн-оценок.

Вместе с тем, требуется отметить, что BERT решает существенно большее количество задач, среди которых распознавание «смысла» текста лишь одна из множества других. На BERT базируется большое семейство языковых моделей:

С точки же зрения компьютерной лингвистики, BERT и YATI – довольно похожие алгоритмы.

Как изменится ранжирование в условиях действия Яндекс YATI

Владельцев ресурсов, а также всех, кто занимается продвижением сайта, очевидно, должен интересовать вопрос, как YATI повлияет на способы оптимизации. Если исходить из утверждения, что новый алгоритм обеспечивает более 50% вклада в ранжирование, то можно предположить, что «смысл» окончательно победил возможности SEO-специалистов в проработке текстов, а значит оптимизировать ничего не нужно. А также можно решить, что такие факторы, как «точное вхождение», «Title» и «добавить ключей» больше не имеют влияния.

Данные суждения будут поспешны и ошибочны. Новый алгоритм не отменяет старые факторы ранжирования, а лишь дополняет их более качественным анализом текстов. Дело в том, что изначально для улучшения распределения, поиск Яндекс обучался на редких запросах, где документов и без того недостаточно. И когда речь идет о 50%-ом вкладе в ранжирование, то имеются ввиду именно редкие запросы. Борьба между «смыслом» и «вхождением», где «смысл» начал побеждать, видна именно на них.

А вот ситуация по ВЧ-запросам, по средне- и низкочастотным не претерпела значительных изменений. Это означает, что техническую оптимизацию, привлечение естественных ссылок и улучшение поведенческих факторов как на поиске, так и на сайте – забрасывать не нужно.

Исследования независимых специалистов показывают, что значимость фактора «точное вхождение в тексте» по НЧ-запросам после запуска YATI ничуть не ослабла, а, напротив, увеличила свою значимость. А вот тут ситуация с точным вхождением поменялась – явного влияния в ТОП-10 теперь нет, хотя вне его оно сохраняется.

Среднее значение ключевого фактора ТОП-10 и вне его:

Среднее значение фактора здесь находится в районе единицы. То есть, если имеется одно вхождение, значит этого вполне достаточно.

Фактор «наличие всех слов из запроса в тексте» также не потерял своего значения. Выборка коммерческих запросов в Яндексе демонстрирует, что существенной разницы между НЧ и СЧ+ВЧ запросами нет. Тем не менее, наблюдается взаимосвязь между попаданием в ТОП и наличием всех слов запроса в документе. Значение этого фактора составляет 0.8, то есть, работает это для 80% сайтов.

Проверка фактора «слова в Title» после YATI показывает рост среднего значения этого фактора. То есть в выдаче стали чаще встречаться документы, Title которых содержит все слова в запросе, но вместе с тем, здесь наблюдается заметное понижение взаимосвязи с позицией.

Практические советы

Итак, перейдем к конкретным рекомендациям по оптимизации сайта в условиях работы алгоритма YATI:

  1. Адаптируйтесь под YATI. Увеличивайте количество слов, встречаемых в контексте со словами из запроса. К таковым могут относиться слова из подсветки выдачи, а также слова, задающие тематику и встречаемые у конкурентов, но отсутствующие на продвигаемой странице.
  2. Расставляйте акценты в тексте и форматируйте его. В текстах свыше 12-14 предложений обязательно требуется использовать заголовки, выносить в них и в выделенные фрагменты тематические и ключевые слова.
  3. Выполняйте анализ и оптимизацию запросного индекса и для документов, и для сайта в целом в Яндекс.Вебмастере. Проверяйте релевантность запросов, по которым были как переходы на заданный URL, так и только показы без переходов. Данные всего сайта, как и прежде, также сказываются на факторах для заданной страницы. Поэтому проверки имеют смысл в разрезе всего сайта, а не только URL.
  4. Расширяйте семантическое ядро для продвижения в сторону НЧ-запросов. Синонимичные и, так называемые, вложенные запросы помогают в продвижении по более общим и близким по смыслу.
  5. Выполняйте конкурентный анализ. Анализируйте показы страниц конкурентов по запросам. Изучайте чужие тексты: какие тематические слова и фразы в них используются, какова структура и т.п.
  6. Проводите классическую оптимизацию: текст, точные вхождения, слова в Title.

Заключение

Трансформеры значительно улучшили качество поиска в Яндексе и вывели его на новый рекордный уровень. Применение тяжелых моделей, основанных на работе нейронных сетей, способных приближать структуру естественного языка и лучше учитывать семантические связи между словами в тексте, помогает пользователям все чаще встречаться с эффектом «поиска по смыслу», а не по словам.

Тем не менее несмотря на то, что YATI преподносится и по праву считается прорывной технологией, принципы работы поиска в Яндексе всегда формируются эволюционным, а не революционным образом. То есть, его обновление выполняется путем последовательного добавления новых факторов ранжирования к старым, а не радикальной сменой всех основ. Это означает, что поисковая оптимизация с приходом YATI не потеряла своей актуальности, а лишь требует некоторых корректировок ряда своих методов.

Управляющий директор группы компаний Яндекс Тигран Худавердян о внедрение алгоритма YATI в интервью на конференции YaС 2020

YATI безусловно изменит поисковую выдачу Яндекса, но поскольку система требует обучения, то для этого потребуется время. Поэтому сейчас у вас есть хорошая возможность внести необходимые изменения на сайте и доработать SEO-тексты устаревшего формата, сохранив тем самым свои позиции и улучшив их к тому моменту, когда поиск окончательно перестроится на новый формат. С оптимизацией вам могут помочь советы, изложенные в этой статье, а также наша компания ADVIANA.

Заметим, что мы никогда не гнались за некачественными и серыми методами оптимизации и всегда много внимания уделяли описаниям на сайте, а также всем видам текста. Для наших проектов переход на новый алгоритм не был болезненным, так как все они уже соответствовали новым требованиям. Кроме того, мы постоянно следим за изменениями в мире digital-маркетинга в целом и SEO-оптимизации в частности, что позволяет нам использовать в своей работе только актуальные методы продвижения по понятной цене и с прогнозируемым результатом.

Желаем всем высоких позиций в поиске!

В статье используются графические иллюстрации из вебинара Дмитрия Севальнева («Пиксель Тулс»).

Яндекс продаст российский бизнес и бежит из страны с ее лучшими технологиями

После того, как Москва вторглась в Украину, «российский Google» решил, что не может оставаться в России.

Яндекс со штаб-квартирой в Москве, ведущая поисковая система страны, основанная двумя российскими предпринимателями, надеется перенести свои самые многообещающие новые технологии за границу и отказаться от большей части своего российского бизнеса, чтобы избежать последствий западных санкций, введенных после того, как президент Владимир Путин приказал России Украина.

В соответствии с планом, о котором Financial Times сообщила в четверг, Yandex N. V. — холдинговая компания Яндекса, зарегистрированная в Нидерландах, — продаст большую часть своего российского бизнеса, включая поиск, электронную коммерцию и такси, местному покупателю. . Газета New York Times позже сообщила, что Yandex NV перенесет свои наиболее многообещающие технологии на зарубежные рынки.

Разорвав связи с Россией, Яндекс надеется защитить свои новые предприятия, такие как беспилотные автомобили, облачные вычисления и образовательные технологии, от подключения к российскому рынку. Западные партнеры отменили сотрудничество с Яндексом после войны России в Украине, в том числе компания по доставке еды Grubhub, которая прекратила свою инициативу по доставке роботов с Яндексом через несколько дней после вторжения России. Новый экспортный контроль также ограничивает продажу компонентов передовых технологий в Россию.

В плане Яндекса есть препятствия. Ей нужно будет найти местного покупателя, готового купить ее российский бизнес. Также потребуется разрешение Москвы на передачу лицензий на технологии за пределы страны, и акционеры Яндекса должны будут согласиться с этим планом.

Сообщается, что план поддержал Алексей Кудрин, бывший министр финансов России. Ожидается, что Кудрин займет руководящую должность в «Яндексе» после завершения сделки, согласно Financial Times 9.0008 .

Яндекс не сразу ответил на запрос о комментарии.

Яндекс, основанный в 2000 году, контролирует около 60% российского рынка поисковых систем и инвестирует в услуги такси, электронную коммерцию и новости.

Хотя Яндекс не принадлежит государству, у него сложились тесные отношения с правительством России. В 2019 году Яндекс согласился дать государству большее право голоса в своих операционных решениях, чтобы предотвратить принятие закона, ограничивающего иностранное владение российскими технологическими компаниями.

Фондовая биржа NASDAQ приостановила торги акциями Яндекса вскоре после вторжения России из-за опасений по поводу санкций США. Акции Яндекса в Москве с начала года упали на 60,3%. Падение акций происходит, несмотря на высокие показатели Яндекса на российском рынке: выручка выросла на 46% в третьем квартале по сравнению с прошлым годом.

Российская технологическая компания также пострадала от оттока талантливых россиян из страны после вторжения на Украину. Более 10% из 19 Яндекса000 сотрудников уволились, сообщило агентство Bloomberg в августе.

Европейский Союз также ввел санкции в отношении руководителей Яндекса, обвинив компанию в пропаганде провоенной российской пропаганды на своей новостной платформе. В марте ЕС наложил санкции на заместителя генерального директора «Яндекса» Тиграна Худавердяна, отвечавшего за отдел новостей.

В июне ЕС наложил санкции на основателя и тогдашнего генерального директора Яндекса Аркадия Воложа, обвинив его в «материальной или финансовой» поддержке российского вторжения. В тот же день Волож ушел с поста генерального директора. В августе «Яндекс» продал свое новостное подразделение другой российской технологической компании «ВКонтакте».

В нашем новом еженедельном информационном бюллетене Impact Report мы рассмотрим, как новости и тенденции ESG влияют на роли и обязанности современных руководителей и как им лучше всего справляться с этими проблемами. Подпишитесь здесь.

Яндекс против Google: ключ к успешному SEO в России

Если вы никогда не слышали о Яндексе, вы, вероятно, не одиноки. На сегодняшний день у Яндекса мало шансов стать мировым лидером: Google контролирует 92% мирового рынка поисковых систем, в то время как у Яндекса всего 0,4%. Несмотря на то, что Яндекс постепенно уступает лидирующие позиции Google, его доля на местном рынке — до 48% — впечатляет.

Будучи самой большой страной в мире, Россия имеет население около 145 миллионов человек с более чем 90 миллионами активных пользователей Интернета. Цифровой маркетинг в России во многом похож на китайский — он существует независимо от остального мира и играет по своим правилам. Если вы хотите выйти на русскоязычный рынок, который, кстати, представлен не только русскими, вам лучше сначала научиться играть в игру.

Чем Яндекс отличается от Google?

Вообще говоря, если вы хорошо разбираетесь в SEO для Google, SEO для Яндекса не будет для вас большой проблемой. Но всегда лучше знать, с чем вы имеете дело, прежде чем начать, и вот что отличает Яндекс от Google.

В отличие от Google, который неустанно сканирует и индексирует все новое, что появляется в Сети, Яндекс делает это пару раз в день или даже пару раз в месяц, в зависимости от типа контента. Это не плохо и не хорошо, это просто одна из особенностей Яндекса, а это значит, что ваш контент не сразу начнет приносить плоды.

Яндекс является региональной поисковой системой, что означает, что пользователям не нужно указывать местоположение, связанное с их запросом в поиске. Например, если кто-то из Санкт-Петербурга ищет в Яндексе «торты на день рождения», он вернет результаты, связанные с текущим местоположением пользователя. В случае с Google пользователь, который хочет заказать торт на день рождения в Санкт-Петербурге, должен будет указать место при вводе своего запроса, и это будет выглядеть примерно как «торт на день рождения в санкт-петербурге».

Яндекс больше, чем Google, заботится о впечатлениях пользователей на том или ином сайте. Веб-сайт, способный привлекать и удерживать внимание пользователей, вовлекать и побуждать пользователей к взаимодействию, будет оценен и получит более высокий рейтинг. Если кто-то ссылается на веб-сайт с хорошими показателями вовлеченности, что означает, что ссылка действительно нажата, ссылка будет приносить пользу независимо от того, насколько авторитетным является веб-сайт.

Яндекс любит свежий, уникальный и ценный контент так же сильно, как и Google, но он более серьезно относится к манипуляциям с контентом, таким как дублирование и чрезмерная оптимизация, и может принимать более строгие меры за нарушение правил.

Что касается технических ошибок, то Яндекс может штрафовать за то, что вы могли даже не считать ошибкой, например за неверные биты кода. Так что с Яндексом у вас нет другого выбора, кроме как перепроверить буквально все на вашем сайте, если вы не хотите жертвовать более высокими позициями в рейтинге из-за собственной невнимательности.

Яндекс явно предпочитает «сильный и могучий» (как говорят в России) русский язык, как и русские, поэтому вы ничего не добьетесь, используя только английский язык, если хотите продвигать русскоязычную аудиторию.