ЖЖ: И старое никто не помянет

[nataraj]

Обнаружил, что гугл не находит моих старых ЖЖшных записей... Обнаружил случайно: пытался найти что-то из старых записей по ключевым словам.

Обрыв поисковой памяти наступает где-то на ~200 записей в прошлое...
Вот прямо сейчас если зайти на страницу http://shaplov.livejournal.com/?skip=215 пост про ИНИОН еще находится (пруф), двустишие про винды уже нет (пруф).
Ну и соответственно все что раньше -- не находится. А все что позже -- находится.

Мне искренне лень копаться с исследованием поисковых настроек на ЖЖ, но есть серьезное подозрение, что виноват в такой амнезии вовсе не гугл. Ему это совершенно не интересно. А вот ЖЖ, точнее его нынешним российским владельцем такое забвение старого может быть очень даже на руку...

Короче други, имейте в виду, все что вы написали год и более назад -- уже вычеркнуто из мировой базы знаний... Так или иначе.

Comments

[salas.livejournal.com]

А сами записи сервер по-прежнему отдаёт? Если да, то причём тут его владельцы? А вот гугл как раз имеет неестественный интеллект для деления документов на «новости» (показываются в выдаче примерно в течение часа после публикации, но со временем, по рассказам бывалых сеошников, забываются) и «не новости» (показываются через непредсказуемое время, живут вечно).

[shaplov.livejournal.com]

Если да, то причём тут его владельцы?
При том, что владельцы имеют весьма большую власть над тем, что именно будет исследовано поисковым ботом.

Я при поиске указывал весьма жесткий "скоп" и тут вопрос не в том, "выше или ниже", а в том, проиндексировано или нет. Если вдруг паче чаянья гугл не проиндексировал эти записи по своей инициативе, то ему как поисковику крышка в течении ближайших пяти лет. Как только народ прочухает, что гугл не все ищет. Они вряд-ли станут резать курицу несущую золотые яйца...

[vitus_wagner]

Владельцы тут при robots.txt.

Записи старые ЖЖ отдает только в рамках календаря (архива), а индексация этих страниц запрещена в robots.txt.
В общем, как с ленты уползло, так и пропало.

[shaplov.livejournal.com]

А ты не помнишь, давно у них так?

[vitus_wagner]

Не помню. Выяснение этих проблем затеялось тогда, когда яндекс свой блогопоиск ограничил последними 2 месяцами.

[salas.livejournal.com]

1) Гугл действительно всегда забывает страницы, когда на них пропадают видимые ему ссылки, даже если сами страницы на месте?
2) В данном случае нерелевантно, поскольку в качестве примера явно указан пост из примерно середины архива, достижимого по ссылкам «Previous 20».

[vitus_wagner]

1) вполне естественно. Интернет большой, а датацентры гугля не резиновые.
2) В данном случае если вы хотите выяснить что там и как, нужно выполнять запросы, указывая тот же User-Agent, что у GoogleBot и с отключенным javascript. Я вот попробовал wget-ом вытянутю указанную в посте страничку, получил кучу каких-то CSS-ов и скриптов, в которых ни слово ИНИОН, ни слово "винды" не встречалось.

Контент ЖЖ ajax-ом подгружает.

[vitus_wagner]

Вот поэтому у меня ежесуточно ЖЖ бэкапится на домашнюю машину. Все никак не соберусь прикрутить туда, правда более-менее приличные шаблоны (бэкапится-то он через API в сыром виде) и локальную искалку. Поэтому сам ищу grep-ом.

[mbwolf.livejournal.com]

Да, и в яндексе тоже теперь временной лимит.