Ну вот например бот гугла заходит на форум и индексирует (читает и запоминает) все страницы, а потом при поиске в гугле можно найти то что прочитал бот.
А если он этого не читал, то и не выдаст в результатах поиска
Добавлено через 2 минуты
http://ru.wikipedia.org/wiki/Поисковая_система