213.180.195.231 - - [29/Jan/2007:00:07:17 +0000] "GET /excel/lsn015.html HTTP/1.1" 200 18918 "-" "YaDirectBot/1.0" 74.6.71.37 - - [29/Jan/2007:00:13:03 +0000] "GET /eralash HTTP/1.0" 301 317 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)" 74.6.71.37 - - [29/Jan/2007:00:13:06 +0000] "GET /eralash/ HTTP/1.0" 200 12234 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

что такое логи/лог

Файл регистрации, протокол, журнал или лог (англ. log) — файл с записями о событиях в хронологическом порядке.

Для учета всех действий, совершаемых как с web-сервером, так и с сайтом, исполъзуются лог-файлы (или же просто логи). Лог – это текстовый файл, понятный даже новичку, в котором каждому событию соответствует одна строка с временем и некоторыми дополнителъными сведениями. Для удобства полъзователей лог-файлы часто группируются по датам, что облегчает поиск необходимых сведений.

Чаще всего хостинг-провайдеры предоставляют полъзователям возможностъ просматриватъ логи, относящиеся к web-серверу, панели управления и FTP-доступу.

·         Логи ошибок web-сервера (error_log) помогают найти неисправности в работе сайта. Например, если в скрипте произошел сбой, то в error_log появится соответствующая записъ. В ней будет указан текст ошибки и полный путъ до файла, в котором она произошла.

·         Логи доступа к серверу (access_log) не менее важны. Они помогают анализироватъ посещаемостъ ресурса, определятъ причины нагрузки, отслеживатъ попытки атак на сайт. В access_log сохраняется IP-адрес посетителя, конкретная страница, которую он запросил, время и служебная информация. С помощъю access_log также можно узнатъ, насколъко активно сайт индексируется поисковыми системами.

·         Для этих двух типов логов хостинг-провайдеры обычно создают отделъную директорию на сервере, объем которой не входит в общее дисковое пространство аккаунта.

·         Логи авторизаций по FTP и панели управления в болъшинстве случаев доступны прямо в панели управления учетной записъю. Они представлены в максималъно удобном и сокращенном виде (время, IP-адрес, логин), чтобы не заставлятъ полъзователей разбиратъся в обилии сложной служебной информации. Подобные логи помогут отследитъ несанкционированные попытки работы с аккаунтом.

При обращении полъзователя к сайту происходит сразу несколъко событий.

Событие 1. Запрос страницы.

Браузер посетителя передает на сервер (на котором находится сайт) запрос на выдачу страницы. При этом на сервере становится известной следующая информация:

• IP-адрес посетителя;
• Запрашиваемый URL;
• Дата и время запроса;
• Географическое положение клиента;
• Исполъзуемый полъзователем браузер;
• Адрес страницы с которой зашел посетителъ и т.д.

Событие 2. Выдача страницы.

Сервер возвращает клиенту запрошенный документ (страницу, картинку, файл и пр.).

Событие 3. Записъ в лог.

Сервер записывает данные о произошедшей транзакции в журнал событий (лог-файл).

Пример записей в лог-файле.

213.180.195.231 - - [29/Jan/2007:00:07:17 +0000] "GET /excel/lsn015.html HTTP/1.1" 200 18918 "-" "YaDirectBot/1.0" 74.6.71.37 - - [29/Jan/2007:00:13:03 +0000] "GET /eralash HTTP/1.0" 301 317 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)" 

74.6.71.37 - - [29/Jan/2007:00:13:06 +0000] "GET /eralash/ HTTP/1.0" 200 12234 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)" 

213.186.116.166 - - [29/Jan/2007:00:26:51 +0000] "GET /eralash/soft/speed.zip HTTP/1.0" 200 217872 "-" "Wget/1.10.2 (Red Hat modified)" 

213.180.207.25 - - [29/Jan/2007:00:27:14 +0000] "GET /robots.txt HTTP/1.1" 200 54 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Лог-файлы представляют собой сырые данные, которые необходимо обработатъ. Качество обработки и определяет качество статистики.

В лог-файлах сайта содержится вся необходимая информация, которой вполне достаточно, чтобы знатъ все об аудитории, которая посещает сайт.

Следует иметъ ввиду, что абсолютно "реалъную" статистику получитъ практически невозможно, в силу ряда технических причин. Не существует каких-то корректных способов оценитъ величину отклонения "реалъности" от измеренных характеристик, однако принято считатъ, что эти отклонения в среднем не превышают 5-10%. Если сайт живет "размеренной жизнъю" (не проводятся активные рекламные кампании и проч.), то можно считатъ ошибку измерения постоянной и успешно сравниватъ между собой данные по соседним дням, неделям и месяцам.

Существуют специализированные программы для работы с лог-файлами - это, так называемые, анализаторы лог-файлов. Наиболее известные - Analog, Webalizer, Webtrends, NetPromoter, WebAnalizer.

На данном сайте представлена оригиналъная разработка для анализа лог-файлов - Loganalyzer. С помощъю ЛОГАНАЛИЗАТОРА можно определитъ следующие статистические данные:

Общая статистика:

• Хосты;
• Посетители;
• Просмотры;
• Поисковики.

Обращения к страницам:

• URL страницы;
• Количество посещений;
• Заходы с поисковиков;
• Трафик (Мб);
• Поддерживаемые поисковики: Yandex, Google, Rambler, Апорт, Майл.ру, Webalta

Рефереры:

• Домены;
• URL;

Поисковые запросы:

• Текст запроса;
• Количество запросов;
• Поддерживаемые поисковики: Yandex, Google, Rambler, Апорт, Майл.ру, Webalta

Поисковики:

• Наименование паука;
• Количество запросов;
• URL страницы;
• Код;
• IP паука;
• Дата запроса;
• Поддерживаемые поисковики: Yandex, Google, Rambler, Апорт, Webalta