Правильный файл robots.txt

Файл robots txt - составляется наряду с проведением внутренней оптимизации проекта, и предназначен для предварительной инструкции поисковому роботу относительно индексации вашего сайта, и располагается в корневой директории. Предназначен он для указания роботу информации о разрешении либо запрету индексации, интервал времени скачивания файлов с сервера и о правильном зеркаливании роботом. Неправильно составленный робот может навредить вашему сайту, к примеру, запретить индексацию некоторых документов либо всего сайта. Запрет нужно ставить на javascript, рекламу, различные формы заполнения, регистрации, различные файлы, движки, дублирующий контент.
Данный файл имеет расширении txt, который создается в обычном блокноте, и располагается в корневой директории вашего сайта. Правило заполнения файла robots.txt имеет несколько нюансов, о которых я напишу в процессе написания файла.

Какие ошибки могут быть допущены в оптимизации сайта

Основные ошибки оптимизации сайта, которые возникают при проведении всех этапов оптимизации сайта, которые делают начинающие, могут привести к таким результатам, которые могут повлиять на индексацию сайта. В этой статье мы рассмотрим основные примеры ошибок оптимизации сайта. Ошибки в раскрутке и оптимизации могут привести к плохому ранжированию сайта, и, соответственно, к плохой позиции сайта в результате поисковой выдачи. Скриптовая навигация сайта. Скрипты в меню и навигации по сайту (к примеру javascript), могут плохо отразиться на индексацию сайта, так как поисковые системы не умеют переходить по страницам, если они ведут через  на другие страницы через скрипты. То есть, если в меню  присутствует javascript, то велика вероятность того, что страница попросту не проиндексируется, по крайней мере, в Яндексе так точно.

С чего нужно начать оптимизацию сайта

Что касается раскрутки и оптимизации сайта, хотелось бы написать о этапах оптимизации сайта, то есть о том, что нужно выполнять в первую очередь, что во вторую, а что должно выполняться в последнюю. После создания, точнее еще до создания своего сайта мы должны провести предварительную оптимизацию сайта. А начинать нужно именно с контента, то есть текстового содержания интернет страницы. Значит, первое, что мы должны сделать – проверить текст страницы. Что в это входит?
1)Уникальность текста
2)Релевантность текста
3)Соответствие ключевому запросу
4)Количество символов

Запрет индексации сайта

При продвижении вашего сайта, нередко возникает вопрос по запрету индексации целого сайта, либо его части. Запрещать индексацию страниц сайта нужно: которые являются дубликатами, гостевые книги, форумы, реклама на сайте, страница регистрации, различные формы ввода и тд.
Условно запрет на индексацию сайта можно разделить на 2 части:
-запрет на индексацию страниц сайта (разделов)
-запрет на индексацию части текста на странице либо ссылки

Как не нужно раскручивать сайт

Как вебмастера, так и оптимизаторы в процессе раскрутки и продвижения своего сайта в сети хотят как можно больше посетителей, большие значения Тиц и PR. В связи с этим некоторые из них пытаются при помощи специальных методов, уловок, либо же хитрых приемов в кратчайшие сроки добиться этих результатов, причем методы эти не всегда приемлемы и не запрещены поисковыми системами. Дабы обмануть поисковых роботов и продвинуть свой сайт, чего только не используется, что только не применяется. В принципе, борьба эта давнишняя, борьба между программистами поисковых систем и хитрыми Seo – оптимизаторами.
По своей неопытности многие начинающие оптимизаторы и вебмастера, в надежде получить быстрые деньги начинают использовать те приемы, которые обречены на провал. Где-то почитали, где-то увидели, где-то услышали – и понеслось. Мало, что при применении запрещенных методов используются и расходуются деньги, но еще и время. Хорошо, если сайт успеет себя окупить прежде, чем получить санкции или даже бан от поисковых систем.