Kalugin balashov

Полнотекстовый поиск в Почте

`
Query/Answer
Поисковый демон

Data
Front-end (Web-сервер)

Почтовый демон
(хранилище)

d.kalugin-balashov@corp.mail.ru

d.kalugin-balashov@corp.mail.ru d.kalugin-balashov@corp.mail.ru

Аномалия №1

/var/mail/folder1/folder2/folder3/folder4/folder5/mail.ru/username
https://e.mail.ru/cgi-bin/msglist#gosearch?q_read=2&q_folder=all

Обратный индекс

Word {DocID, DocID, DocID}

Snapshot
Word Offset
Word Offset
…
Word Offset
0 0 Признак конца словаря

Snapshot
Word Offset
Word Offset
…
Word Offset
0 0

Признак конца словаря

Count DocID DocID … DocID

Словарь (1M)


Словарь (100M)

Мета-словарь (256*4)

Словарь (100M)

Word Offset
N0
Word Offset
N1
…
…
Word Offset
N255
0 0

Count DocID DocID … DocID

XLog
Transaction Transaction Transaction … Transaction

DocID Length CRC32 Command Command … Command

XLog

DocID {Word, Word, Word}

Бинарный поиск Линейный поиск
`
Snapshot XLog
>20M, Merge

“U”

NZData
DocID Offset
DocID Offset
…
DocID Offset
0 0


Count NZ NZ … NZ

Не удалось
Чтение из почтового демона

Чтение из NZData

10000 1000 250 100 100 25

Filter Filter Filter Ranker Limit

SQL LIMIT
Date (Range) QSort (Date)
IsRead
Flagged

NZData
DocID Offset
`
DocID Offset
…
DocID Offset TZData
0 0


Count NZ NZ … NZ Count TZ …

Length Text
TZData
`
gzseek
GZip
Length Text

GZip lseek

Length Text

Query Filter 1

Filter 2
B-Search
Search (XLog)
(Snapshot) Filter N

U Ranker

Limit
Чтение
числовых зон
(почтовый Чтение из TZData
демон)
Чтение из NZData «Подсветка» слов

XML-Ответ

Prefix Count Offset
Prefix Count NULL
Prefix Count Offset
…
0 0 0

N Length Postfix Count … Length Postfix Count

M=6 M=6 M=2

Дмитрий Калугин-Балашов
программис т, Почта Mail.Ru
r vncerr@r vncerr.org

Kalugin balashov

Related slideshows

More Related Content

Kalugin balashov