Дмитрий Вульбрун "Поиск для сайта: зачем он нужен, как с ним работать, как и зачем его улучшать"

Поиск для сайта:
зачем он нужен, как с ним работать,
как и зачем его улучшать

Дмитрий Вульбрун
Менеджер проектов

Я.Субботник, Минск, 2 июня 2012 года

Поиск для сайта

2 http://clck.ru/18DUh

О чем мы сегодня поговорим

— Схема работы сервиса Яндекс.Поиск для сайта (ПДС)

— HTML-код поисковой формы и результатов поиска

— Уточнения поиска. Архитектура и принцип работы

— Индексирование по запросу. Пингеры

3

Общая схема работы сервиса

4

1. Создание нового поиска

ПДС вебмастер

5 Поиск для сайта


ПДС 2. Получение кода поисковой формы
вебмастер



вебмастер

3. Размещение
поисковой формы
на сайте

Сайт вебмастера



вебмастер

на сайте

4. Поисковый запрос

Сайт вебмастера пользователь



вебмастер

на сайте

5. Поисковый запрос + ID поиска 4. Поисковый запрос
(searchid)

SERP ПДС Сайт вебмастера пользователь

* SERP - Search engine results page



вебмастер

6. ID поиска
на сайте
(searchid)

(searchid)





вебмастер

6. ID поиска 7. Область поиска, настройки поиска,
на сайте
(searchid) дизайн, данные о показе рекламы.

(searchid)





вебмастер

на сайте

(searchid)


8. Преобразованный
запрос

Основной индекс

12
+
Индекс ПДС Поиск для сайта


вебмастер

на сайте

(searchid)


запрос 9. Результаты
поиска * SERP - Search engine results page


13
+


вебмастер

на сайте

(searchid)

10. Выдача поиска 10. Выдача поиска



14
+

РСЯ Создание рекламной площадки
в партнерском интерфейсе
Рекламной сети Яндекса


вебмастер

на сайте

(searchid)




15
+

РСЯ Создание рекламной площадки
в партнерском интерфейсе
Рекламной сети Яндекса
Данные Данные о показе
о поисках рекламы на поисках


вебмастер

на сайте

(searchid)




16
+

HTML-код поисковой формы
и результатов поиска

17

Код для вставки на сайт

18

Код поисковой формы
<div class="ya-site-form ya-site-form_inited_no" 'searchid': '1902945',
onclick="return {
'searchid': '1902945', 'action': 'http://mysite.ru/poisk.html',
'action': 'http://mysite.ru/poisk.html', 'type': 0,
'type': 0, 'arrow': true,
'arrow': true,
'logo': 'rb',
'logo': 'rb',
'webopt': true, 'webopt': true,
'websearch': false, 'websearch': false,
'bg': '#3399ff',
'fg': '#ffffff', 'bg': '#3399ff',
'fontsize': 12, 'fg': '#ffffff',
'target': '_self', 'fontsize': 12,
'suggest': true,
'site_suggest': true, 'target': '_self',
'language': 'ru', 'suggest': true,
'tld': 'ru' 'site_suggest': true,
}">
<form action="http://yandex.ru/sitesearch" method="get" target="_self">
<input type="hidden" name="searchid" value="1902945" /> 'language': 'ru',
<input type="hidden" name="l10n" value="ru" /> 'tld': 'ru'
<input type="hidden" name="reqenc" value="windows-1251" />
<input type="text" name="text" value="" />
<input type="submit" value="Найти" />
</form>
</div>
<style type="text/css">.ya-page_js_yes .ya-site-form_inited_no { display:
none; }</style>
<script type="text/javascript">(function(w,d,c){var
s=d.createElement('script'),h=d.getElementsByTagName('script')[0];
s.type='text/javascript';s.async=true;s.charset='utf-8'; <input type="hidden" name="searchid" value="1902945" />
s.src=(d.location.protocol==='https:'?'https:':'http:')
+'//site.yandex.net/v2.0/js/all.js'; h.parentNode.insertBefore(s,h);
(w[c]||(w[c]=[])).push(function() {Ya.Site.Results.init()})}) <input type="hidden" name="l10n" value="ru" />
(window,document,'yandex_site_callbacks'); </script> <input type="hidden" name="reqenc" value="windows-1251" />

19

JS переменные

Язык интерфейса поиска
'language': 'ru‘

Домен, в котором будет производиться поиск.
Различия в индексах и ранжировании.
'tld': 'ru'

20

HTML теги формы
<form action="http://yandex.ru/...

Язык интерфейса поиска:
<input type="hidden" name="l10n"
value="ru" />

Кодировка сайта:
<input type="hidden" name="reqenc"
value="windows-1251" />

21

Код результатов поиска
<div id="ya-site-results" 'tld':'ru',
onclick="return {
'tld': 'ru',
'language':'ru',
'language': 'ru', 'encoding':'windows-1251'
'encoding': 'windows-1251'
}">
</div>
<script
type="text/javascript">(function(w,d,c){var
s=d.createElement('script'),
h=d.getElementsByTagName('script')[0];
s.type='text/javascript';
s.async=true;s.charset='utf-8';
s.src=(d.location.protocol==='https:'?'https
:':'http:')+
'//site.yandex.net/v2.0/js/all.js';h.parentN
ode.insertBefore(s,h);
(w[c]||(w[c]=[])).push(function(){Ya.Site.Re
sults.init()})})
(window,document,'yandex_site_callbacks');</
script>

22

JS переменные
Язык интерфейса поиска
'language': 'ru‘

'tld': 'ru'

Кодировка сайта
'encoding':'windows-1251'

23

Уточнения поиска
Архитектура и принцип работы

24

Уточнения. Как выглядят.

25

Уточнения. Как настраиваются.

26

Уточнения. Как работают.

27

вебмастер

1. область
поиска,
уточнения

ПДС

28

вебмастер

пользователь
1. область
2. запрос поиска,
уточнения

SERP ПДС ПДС

29

вебмастер

1. область
3. запрос уточнения

ЛМ SERP ПДС ПДС
4. дерево запроса

30
*ЛМ – Лингвистический модуль

вебмастер

1. область
3. запрос 5. searchid уточнения

4. дерево запроса 6. XML с
настройками

31

вебмастер

1. область

7. дерево запроса с уточнениями и областью поиска

ПОИСК
32

вебмастер

1. область


ПОИСК
33

http запрос от пользователя в Яндекс
http://yandex.ru/sitesearch?
text=персонаж+lineage
&searchid=1775761
&constraintid=8

34

вебмастер

1. область


ПОИСК
35

Лингвистический модуль
персонаж lineage

ЛМ

(
персонаж ^ personage
)
&&/(-7 7)
(
lineage ^ линейка ^ !!линейдж ^ !!линейка ^
((line &/(1 1) age )) ^ (лайн &/(1 1) аге) ^
лайнаге
)

36

вебмастер

1. область


ПОИСК
37

Данные в XML от ПДС в SERP
...
<urllist>
<url loc=“http://alltogame.ru” ...></url>
...
</urllist>
...
<constraints>
<constraint id=“8”>
<multiselect value=“false”>
<name value=“Объявления”>
<type type-id=“5”>
<value value=“url:http://alltogame.ru/notice |
url:http://alltogame.ru/notice*”>
</constraint>
...
</constraints>
...

38

вебмастер

1. область


ПОИСК
39

Преобразование дерева запроса
(
)
&&/(-7 7)
(
((line &/(1 1) age )) ^ (лайн &/(1 1) аге) ^
лайнаге
)

40

(
)
&&/(-7 7)
(
((line &/(1 1) age )) ^ (лайн &/(1 1) аге) ^
лайнаге
)

<< url:"alltogame.ru/notice" | url:"alltogame.ru/notice*"

41

(
)
&&/(-7 7)
(
((line &/(1 1) age )) ^ (лайн &/(1 1) аге) ^
лайнаге
)

<< url:"alltogame.ru/notice" | url:"alltogame.ru/notice*"

<< (rhost:"ru.alltogame" | rhost:"ru.alltogame.*")

42

Индексирование по запросу
Пинги и Пингеры

43

Дополнительный поисковый индекс
SERP ПДС
Запрос Запрос

Основной индекс Индекс ПДС

Результаты
SERP ПДС Результаты

Результаты

44

Вебмастер Отправка HTTP-
Плагин для CMS
(вручную) запроса

45

Пинг (отправка URL документа)

ПДС

46


ПДС
URL документа

Робот ПДС

47


ПДС

Робот ПДС Содержимое документа
Сайт

48


ПДС

Сайт
Содержимое документа

Индекс ПДС

49


ПДС

Сайт

Индекс ПДС

50

Плагины-пингеры для CMS

1. Реакция на событие (сохранение документа)

2. Получение информации о документе (URL)

3. Отправка запроса в Я.ПДС
http://site.yandex.ru/ping.xml?...

4. Расшифровка ответа, запись в БД

51


ПДС

Сайт

Индекс ПДС

52

Прием и обработка пингов в ПДС

1. Прием пинга

2. Идентификация отправителя (IP + ключ + Я.ВМ)

3. Проверка на попадание пинга в квоту

4. Отправка пинга в Робот ПДС

53

Формула для распределения квот
скачивания для Робота ПДС
Q(host) = f(F1, F2, …, Fn)
где:

F1 – Фактор кол-ва запросов к поисковой площадке

F2 – Признак того, что площадка недавно добавлена

…

54


ПДС

Сайт

Индекс ПДС

55

Робот ПДС

SERP ПДС

Индекс ПДС

56

Робот ПДС

SERP ПДС

Индекс ПДС

57

Робот ПДС URL
документа

crawler

SERP ПДС

Индекс ПДС

58

документа

Internet crawler

SERP ПДС

Индекс ПДС

59

документа

Internet crawler
Содержимое
документа
SERP ПДС
Построение
индекса

Индекс ПДС

60

документа

Internet crawler
документа
SERP ПДС
индекса

Индекс ПДС

61

документа

Internet crawler
документа
SERP ПДС
индекса

Индекс ПДС

62

Ваши вопросы?

63
http://clck.ru/18DUh

Дмитрий Вульбрун
Менеджер проектов

wulbrun@yandex-team.ru

@wulbrun

Дмитрий Вульбрун "Поиск для сайта: зачем он нужен, как с ним работать, как и зачем его улучшать"

Related slideshows

More Related Content

Дмитрий Вульбрун "Поиск для сайта: зачем он нужен, как с ним работать, как и зачем его улучшать"