Power-Log by Sander для DLE

Power-Log by Sander

Power-Log by Sander

Данный модуль предназначен для ведения подробного лога всех запросов к сайту.
С его помощью можно вести анализ трафика, поведение пользователей, нагрузку страниц, статистику посещения поисковых ботов, вычисление грабберов с зеркальщиками и многое другое.
Изначально модуль задумывался для выявления "медленных" страниц и/или страниц создающих слишком высокую нагрузку.
Но в процессе написания он стал обрастать все большим и большим функционалом, благодаря чему я теперь не могу перечислить все области его применения. Но могу сказать однозначно, он будет полезен абсолютно всем сайтам и администраторам, которые желают знать что происходит у них на сайте.
Большая просьба подробно прочитать все описание, в нем я постараюсь наиболее подробно перечислить все возможности данного модуля.



Главная страница, данные:
Данные предоставлены с 3х сайтов:
Power-Log by Sander Power-Log by Sander Power-Log by Sander

Полученные результаты можно сгруппировать кликнув по параметру прямо в таблице.
Гуппировать можно по: коду страны, IP адресу, URL, типу страницы, количеству запросов в БД (базу данных), поисковому боту, типу запроса.
Иконка рядом с IP это User-Agent посетителя:
Power-Log by Sander

Имейте ввиду, что злоумышленник может легко подставлять любой User-Agent и представляться хоть гуглоботом, хоть яндексом.
Красным цветом подсвечивается IP адрес который по данным базы сайта blocklist.de является каким-либо ботом или еще чем-то вредным.
Общее время окрашивается оранжевым цветом если время загрузки превысило 0.5 сек, красным - если дольше 1 сек и если дольше 2 сек, то приписываются восклицательные знаки.
Количество запросов иногда может быть и 100 и 1000 и даже 5000. Это нормальная работа движка, раз в 2 часа крон переносит количество просмотров новостей из одной таблицы в другую (если включено кеширование просмотров).



Главная страница, фильтры и прочие параметры:
Непосредственно над таблицей с данными выводится форма с параметрами по которым можно отфильтровать, искать, группировать и сортировать полученные результаты.
Исходное состояние формы, ни один параметр не выбран:
Power-Log by Sander

Выбраны несколько параметров:
Power-Log by Sander


При группировании результатов по какому-либо параметру в таблице добавляется колонка "Количество".
Пример группировки по URL:
Power-Log by Sander

Таким образом легко можно посмотреть какие страницы пользуются популярностью за любой промежуток времени.

Группируем данные по IP:
Power-Log by Sander

Тут видно кто сколько сделал запросов, кликнув по IP можно посмотреть все его запросы. Если был выбран диапазон дат, то будет отображена активность только за выбранный промежуток времени.

Группировать можно по одному любому из параметров представленных на скриншоте:
Power-Log by Sander


Так же можно отсортировать результаты по любому из параметров по любому направлению. Вот пример страницы где показаны страницы с самой долгой загрузкой:
Power-Log by Sander



Отдельно опишу функционал кнопок:
Кнопка "Сбросить все параметры" обнуляет все выбранные параметры, т.е. просто открывает исходную главную страницу.
"Экспорт в Excel" - позволяет скачать все отфильтрованные результаты в текстовом формате, которые легко импортируются в Excel файл простым перетаскиванием файла в рабочую область программы Excel.
"Очистить лог" - удаляет из базы все отфильтрованные результаты. Если не выбран ни один из фильтров, то очищена будет вся таблица.



Страница статистики
Для удобства и наглядности можно посмотреть общую статистику по определенным параметрам:
Power-Log by Sander

Power-Log by Sander




Страница с графиками
Это больше экспериментальный раздел. Тут выводится только график посещений и диаграмма ботосодержания в общем трафике
Power-Log by Sander

Тут же хорошо видно, когда начинается аномальная активность со стороны ботов, людей или еще каких зловредов.
Так же можно ограничить вывод статистики, например за последние 3 дня:
Power-Log by Sander




Страница с подозрительными IP адресами
В модуле можно включить анализ активности, который наблюдает за активностью пользователей и при достижении заданных параметров пользователь добавляется в список подозрительных и админу отправляется письмо с уведомлением.
Уведомление отправляется не чаще 1 раза в час.
Под заданными параметрами подразумевается совершение X запросов за Y минут. X и Y - можно изменить в настройках.
Power-Log by Sander

Результаты отсортированы по общему количеству запросов. В колонке даты стоит дата фиксации последней подозрительной активности. Красным подсвечены адреса которые находятся в списке подозрительных у сервиса blocklist.de
Если вы уверены, что IP адрес не является зловредом или это поисковый бот, вы можете добавить его в "Белый лист", список адресов на которые не будет реагировать анализатор подозрительной активности.
С одного адреса совершались запросы с частотой 6 запросов в секунду. Вероятнее всего это какой-то бот. А вот что делать с ним - решать уже вам. Заблокировать в htaccess или проигнорировать.



Настройки
Power-Log by Sander

Power-Log by Sander

Подробно описывать все параметры не буду, там и так вроде все ясно, опишу только непонятные.
Анализ. Сейчас стоят параметры 10 запросов за 1 минуту. Т.е. любой пользователь или бот, который зайдет на сайт более 10 раз в течении 1 минуты - будет считаться подозрительными и будет занесен в базу. А если указан E-Mail адрес, то так же будет отправлено уведомление на почту.
Браузер. В базу записывается значение User-Agent пользователя. Этот параметр увеличивает объем памяти в БД, но если это не критично, то желательно не выключать.
Реферер. В базу записывается адрес - откуда пришел посетитель. Аналогично браузеру так же увеличивает объем БД.
Количество записей на страницу. Сколько записей выводится в админке на главной на 1 страницу.
Время хранения лога. Модуль автоматически удаляет старые данные.
Подсветка ботов. Этот параметр позволяет проверять все IP адреса по базе сайта blocklist.de Данные с сайта обновляются автоматически при входе в админку 2 раза в сутки.
Белый список IP адресов. В списке с новой строки перечислены IP адреса поисковых ботов. В данном случае несколько гуглов и один яндекс. Можно записывать как полный адрес, так и первые несколько его чисел, у поисковиков довольно таки много IP адресов, чтобы перечислять их всех
Идентификаторы ботов. Тут перечислены все основные боты. Этот параметр позволяет группировать/фильтровать по общим ботам. Например только Yandex, а у него уже подвиды: YandexBot, YandexMobileBot, YandexMetrika и т.п.
Внешняя база данных. При большом желании можно хранить лог в другой базе данных. Лично я не рекомендую использовать этот параметр, потому что это может увеличить время загрузки страницы, особенно если сервер стоит в германии, а БД в США.



По вопросу о нагрузке.
Она ничтожно мала. Скорость работы никак не сказывается на работе сайта. Со включенным анализом активности, средняя скорость работы модуля - 0.0012 сек. Это при активности 2000 просмотров в час.
Установка модуля заключается в заливке файлов на сервер и копировании 1 строки в 1 php файл.



Информация
Стоимость модуля: 15wmz 10wmz
Лицензия выдается под 2 сайта.
Стоимость доп.лицензии: 5wmz
Для работы модуля - требуется ionCube Loader v.5.x

Версия DLE: 9.6 и старше (может и младше тоже поддерживает, не проверял)
Версия PHP: 5.3 - 7.2

Купить: shop.sandev.pro

ICQ: 404-037-556
Skype: Sander8804
E-Mail: olalod@mail.ru

С уважением,
Олег Александрович a.k.a. Sander
Купить модуль
  • Стоимость модуля: $7
  • В комплекте: 2 лицензии
  • Стоимость дополнительной лицензии: $3
Комментарии: (47)
  1. foto
    VIP 14 октября 2016 00:37 #
    Вещь! Надо брать.
    Глядишь и в рейтинг статистики вырастет ;)
    0
  2. foto
    Клиент 13 ноября 2016 23:14 #
    Отличный модуль, спасибо!
    0
  3. foto
    Посетитель 24 февраля 2017 18:10 #
    Здравствуйте. Написала Вам в скайп, но ответа пока не получила, продублирую здесь:

    Перестал активироваться модуль Лог запросов и нагрузки. Работал, работал, потом слетела активация.
    Если заново вводишь код активации в админке, жмакаешь активировать, страница перезагружается и как бы все на этом. Подскажите какие могут быть причины ?
    0
    1. foto
      Администратор 25 февраля 2017 00:33 #
      В скайпе сообщений не получал.
      Попробуйте скачать модуль заново, удалить на сервере папку engine/mods/power_log и залить ее заново.
      После чего в админке ввести ключ активации и повторно внести свои настройки.
      +1
      1. foto
        Посетитель 25 февраля 2017 00:54 #
        Спасибо, помогло.
        0
  4. foto
    Клиент 5 апреля 2017 17:50 #
    при установке выдает ошибку /engine/mods/power_log/lic_70.php – not found! как исправить ?
    0
    1. foto
      Администратор 5 апреля 2017 18:53 #
      переименовать /engine/mods/power_log/lic_56.php в /engine/mods/power_log/lic_70.php
      +1
      1. foto
        Клиент 5 апреля 2017 19:02 #
        Спасибо помогло.
        0
  5. foto
    Клиент 30 июня 2017 00:12 #
    Подскажите пожалуйста , как устранить такую ошибку ?

    MySQL error in file: /engine/mods/power_log/index.php at line 37
    Error Number: 1146
    The Error returned was:
    Table 'deiz_ib.power_log' doesn't exist
    SQL query:

    INSERT INTO power_log (`ip`,`date`,`url`,`mod`,`time`,`mysql_time`,`tpl_time`,`mysql_count`,`memory`,`bot`,`user_agent`,`referer`,`method`) VALUES ('193.160.224.189','2017-06-30 00:08:59', '/page/2/', 'main', '0.0432', '0.00121', '0.01566', '2', '2.79', '', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 YaBrowser/17.6.0.1635 Yowser/2.5 Safari/537.36', 'https://185.82.218.22/', 'GET')
    0
    1. foto
      Администратор 1 июля 2017 17:19 #
      Возможно вы включили опцию использования внешней бд, но на ней не создана таблица power_log. В таком случае ее следует создать вручную (скопировав с основного сайта)
      0
  6. foto
    VIP 10 сентября 2017 02:09 #
    Указал в поле "e-mail для уведомлений" мыло, письма летят как из пулемёта. Попробовал удалить адрес (как указано - оставить поле пустым), не работает. После сохранения, мыло всё равно остается и уведомления продолжают отправляться.
    0
    1. foto
      Посетитель 15 сентября 2017 01:10 #
      если правка через админку, то попробуй удалить маил свой из файла настроек
      0
  7. foto
    Гость 8 апреля 2018 00:22 #
    Очень хотелось бы получить возможность выгружать данные на отдельную страницу.
    Показать рекламодателям что пользователи активно просматривают весь контент по сайту.
    Что-то на подобнее страницы статистики. Но сделать более гибкую настройку для определенных например стран или категорий. Тобишь Опционально.
    0
    1. foto
      Администратор 9 апреля 2018 09:50 #
      Такое в теории можно сделать, но я пока не возьмусь.
      0
  8. foto
    Гость 28 апреля 2018 23:34 #
    Можно же в логи записывать Поисковые запросы пользователей. Как и гостей так и пользователей. Узнать что люди ищут.
    0
    1. foto
      Администратор 29 апреля 2018 10:20 #
      Нет. Это отдельный модуль с другим функционалом.
      Power-Log под такое никак не адаптировать.
      0
  9. foto
    Клиент 18 июля 2018 21:55 #
    Помогите решить проблему, при установке выдает ошибку :
    MySQL error in file: /engine/mods/power_log/admin.php at line 97
    Error Number: 1146
    The Error returned was:
    Table 'a208387_pc2.power_log' doesn't exist
    SQL query:

    SELECT id,ip FROM power_log WHERE country='' LIMIT 10000

    Заранее благодарю.
    0
    1. foto
      Администратор 19 июля 2018 10:20 #
      У вас не установлен ionCube Loader
      0
  10. foto
    Клиент 16 сентября 2018 21:43 #
    Добрый вечер! Каждый поддомен отдельно оплачивать ?
    0
    1. foto
      Администратор 17 сентября 2018 14:53 #
      Да. Т.к. каждый поддомен по сути является отдельным независимым сайтом.
      0
  11. foto
    Клиент 9 декабря 2018 13:47 #
    Доброго дня,а можна дізнатись чого так довго сторінка загружається з вашим модулем? скажемо із-за css або js?
    0
    1. foto
      Администратор 9 декабря 2018 13:50 #
      Данный модуль предназначен больше для отслеживания глобальной статистики по всему сайту.
      Для анализа одиночной страницы достаточно встроенного в браузер "Инструмента разработчика" и модуля Showstat
      0
      1. foto
        Клиент 9 декабря 2018 14:20 #
        Цитата: Sander
        Данный модуль предназначен больше для отслеживания глобальной статистики по всему сайту.
        Для анализа одиночной страницы достаточно встроенного в браузер "Инструмента разработчика" и модуля Showstat

        дякую зрозумів :D
        0
  12. foto
    VIP 7 февраля 2019 15:21 #
    Как искать по юзер-агенту? Не по ключевому слову, а полностью? Копирую из лога, вставляю - не находит (вместо пробелов ставит плюсы автоматом)
    0
    1. foto
      Администратор 7 февраля 2019 18:13 #
      Внимание! У Вас нет прав для просмотра скрытого текста.
      +2
      1. foto
        VIP 16 февраля 2019 09:15 #
        Планируются ли какие-либо обновления? Вроде фильтра по спамным IP и работа чекбоксов в 13 DLE, сохранение в подозрительные IP из общего списка с примечанием + выделение подозрительных цветом + фильтр по ним. Это мои хотелки)
        0
  13. foto
    VIP 26 февраля 2019 16:58 #
    Можно как-то обновить гео-базу? У некоторых IP неверно определяет страну
    0
  14. foto
    VIP 23 сентября 2019 01:43 #
    Сейчас задам несколько нубских вопросов)
    Как я понимаю, "Время общее" - это время загрузки страницы у пользователя, а зависит ли это "Время общее" от скорости интернета пользователя? Ну, допустим вижу в статистике я "20.01033!!!", показатель ли это того, что у пользователя просто медленный интернет и ему отдает сервер страницу так долго? Мне кажется, нет, почему? не знаю. Поясните пожалуйста.
    И почему зачастую "Время tpl" и "Время БД" значительно ниже "Общего времени"?
    0
    1. foto
      Администратор 23 сентября 2019 11:04 #
      Это время которое ушло у сервера на формирование страницы. Вернее даже не сервера, а только самого движка.
      Числа могут отличаться. Это нормально, в зависимости от того, где больше всего время - там и следует искать проблему.
      +1
      1. foto
        VIP 7 октября 2019 13:47 #
        Теоритически при очистке кеша это время возрастёт?
        0
        1. foto
          Администратор 7 октября 2019 14:35 #
          Не должно, но может.
          Если время возрастает ощутимо - то пора задуматься о переезде на более производительный сервер. Или задуматься над оптимизацией хаков/модулей.
          0
          1. foto
            VIP 21 февраля 2020 09:58 #
            Подскажи, как обновить гео базу IP?
            0
            1. foto
              Администратор 21 февраля 2020 14:47 #
              На сколько мне известно, GeoIP уже более года (если не больше) как перестал обновлять бесплатную базу IP адресов.
              Файлы geoip расположены по адресу engine/mods/power_log/geo/.
              В принципе достаточно обновить файл GeoLiteCity.dat
              0
  15. foto
    VIP 14 мая 2020 21:40 #
    Братуха, на 14 версии будет работать?
    0
    1. foto
      Администратор 15 мая 2020 00:03 #
      Да, с вероятностью 99%.
      0
  16. foto
    Клиент 26 сентября 2020 11:02 #
    почему то IPv6 пишет не полностью а в обрезанном виде типа IP: 2001:41d0:a:2e68::
    0
    1. foto
      Администратор 26 сентября 2020 11:10 #
      Это и есть полный вид.
      0
      1. foto
        Клиент 27 сентября 2020 21:14 #
        Хмм, первый раз такой IP вижу. Ну это ладно.
        Опечатку нашёл. В настройках, где отдельную БД указываешь вместо Пароль написанно Парль. blush
        0
  17. foto
    VIP 12 октября 2020 13:29 #
    Сделайте пожалуйста настройку "отправлять уведомление один раз", чтобы письмо не отправлялось каждые 30 запросов. У меня была такая картина утром http://prntscr.com/uxnvho и утром же из-за этого хостинг отключил возможность отправки почты через sendmail или функцию php mail().
    0
    1. foto
      Администратор 15 октября 2020 14:06 #
      Сделал проверку по времени. Теперь письмо будет отправляться не чаще 1 раза в 10 минут (время можно поменять, но непосредственно в PHP файле).

      Странный у вас конечно хостер... Я бы мог понять, если бы отправляло несколько писем раз в минуту, а тут одно письмо с интервалом 3-10 минут...

      PS. Для обновления - скачать модуль заново и заменить файл engine/mods/power_log/index.php
      0
      1. foto
        VIP 15 октября 2020 18:16 #
        На скрине показано по 100 писем от одного IP. То есть только на скрине более 1300 одинаковых писем за час.

        Спасибо за обновление. Такого же больше не повторится теперь?
        0
  18. foto
    VIP 10 декабря 2020 21:15 #
    Отличный модуль! Очень понравилась реализация.
    В статистики много заходов подряд от одного IP на /?do=register (по 3-4 раза в течении минуты), через какое-то время от другого такая же история и тд., но зарегистрированных пользователей не появляется. Такие лучше банить?
    0
    1. foto
      Администратор 11 декабря 2020 12:45 #
      Без более тщательного анализа сложно что-либо подсказать.
      Но если всего 4 запроса в минуту с одного IP (не VPN?) и больше никакой активности, то проще не обращать внимания.
      0
  19. foto
    Клиент 29 марта 2021 10:42 #
    Навигация по модулю очень долгая, загрузка каждой страницы - это 15-20 сек. И это только пара часов работы модуля.
    Так же - "Размер базы: 0.00 Мб, на 0 записей". Кажется что-то не так.
    0
    1. foto
      Клиент 29 марта 2021 14:30 #
      Просто переустановил и всё стало норм.
      0
  20. foto
    Гость 21 мая 2021 11:00 #
    Если с одного ip на один и тот же адрес заходят несколько раз в течении пару секунд, это скорее всего бот или просто много раз перезагрузили страницу?
    0
  21. foto
    VIP 13 февраля 2022 06:03 #
    Оформление бы сделать под темную тему DLE, а то ничего не видно
    0
Добавить комментарий

Внимание! Все сообщения касающиеся техподдержки будут удалены или проигнорированы

Attention! All messages asking for technical support will be removed or ignored

  • Логин
  • E-mail (не обязательно)
Повторите рисунок:
antibot
© Sander-Development. 2009-2024.
При копировании, ссылка на источник обязательна.