Начнем с того, что такое есть SEO? 

Это комплекс мер, для оптимизации и продвижение сайта. Первым делом, надо сделать так, чтобы хорошо индексировались страницы сайта. И для этой цели нужна техническая карта сайта. Все остальные ссылки, все меню, все метки, вся эта перелинковка, это всё просто шлак. Почему?

Поисковик в первую очередь ищет техническую карту сайта, так как это очень сильно экономит ресурсы поисковой машины. Во вторую очередь поисковик начинает ползать по ссылкам. И чем больше будет ссылок, тем больше будет загруженность поисковика, тем меньше он проиндексирует страниц. Не будет ведь поисковик сутками торчать на одном сайте - ресурсы штука ограниченная. Так что самый лучший вариант, это техническая карта сайта и карта сайта для людей. Даже меню, если оно сильно разветвлённое, будет уже мешать, задерживая поискового робота.

 Какая задача у поисковой машины? 

Проиндексировать страницы. И чем меньше будет уходить ресурсов, для поиска страниц, тем больше этих самых страниц он проиндексирует. Значит, чем меньше всяких перелинковок, меню, меток и прочего хлама, тем быстрее и лучше будет индексироваться сайт.

Вот сами представьте. У вас есть карта сайта, меню, метки. И получается, грубо говоря, что на каждую статью идёт по 3 ссылки. Значит, поисковику надо проделать в 3 раза больше не нужной работы. Вот поэтому поисковики в первую очередь ищут именно техническую карту сайта, затем «ходят» по ссылкам. И чем больше ссылок, тем больше нагрузка на поисковую систему, тем хуже индексация. Вот именно поэтому и придумали техническую карту сайта, чтобы поисковик не «ходил» по левым ссылками не тратил свои ресурсы на пустые перепроверки, а сразу находил все, что нужно в одном месте.

Ведь тут простая математика - чтобы проверить в три раза больше информации, надо в три раза увеличить мощности, закупить сервера, нанять лишний персонал. А это просто бешеные деньги. Это ведь не один и не два компьютера, это целые этажи с компьютерами, миллионы и миллионы «зеленых». А буржуи деньги считать умеют.
Да и жадность в принципе не причём. Это просто бизнес, надо зарабатывать больше, чем тратишь, иначе хана бизнесу. А ведь нагрузка на сервера увеличивается не в 3 раза. Есть ещё куча всякого хлама, к примеру, который забывают прописать в роботе, а это ещё миллиарды файлов. То есть если у вас на сайте около сотни статей, то поисковая машина обходит порядка 5000 не нужных файлов. Чувствуется разница? А если ещё приплюсовать множество ненужных ссылок?

Кстати, именно для экономии своих ресурсов, у поисковиков даже форма сделана, для добавления технической карты сайта, чтобы по лишним ссылкам не ползать. В общем, поисковики экономят, как могут, всё везде жмут, урезают, что-то становится платным, от чего-то вообще отказываются. Видимо тот, кто перезагружает свой сайт множеством дополнительных ссылок, считает, что поисковые машины просто обожают разбрасываться своими ресурсами, торчать сутками на сайтах, перерывать горы ненужных файлов и ссылок.

Обобщу. На каждый сайт выделяется определённый ресурс. Чем меньше ресурс будет тратиться, тем сайт быстрее будет индексироваться. К примеру, сайт в 1000 страниц поисковик полностью проиндексирует только с 10 подходов, а ваш сайт в 100 страниц с 1 подхода. К примеру, он будет переиндексироваться каждый день. Но у вас есть ещё 5000 лишних файлов, не убранных в роботе, плюс 300 лишних ссылок из-за меню, меток и т.д. Значит, поисковику придётся сделать ещё 53 лишних подхода к сайту, и вместо того, чтобы индексировать свежие статьи, будет копаться в старом хламе. И полностью ваш сайт он переиндексирует только через 53 дня. А значит, ваша свежая статья появится в выдаче только через 53 дня, когда она будет уже очень даже не свежей.

Конечно, существуют определённые категории - новостные сайты, форумы, порталы и прочее. Но это уже отдельная история. В общем, это примерный набросок.

---