PHPFastScanner - многопоточный Reverse-IP сканнер на PHP

[apache3]

вдогонку
может быть имеет смысл прикрутить определялку оси
так как если на таргете винда, то редко имеет смысл делать запросы вида admin и Admin? (уменьшаем количество запросов и трафика).

помимо версии сервера нужно еще показывать x заголовки (x=powered by,x-aspnet-version,x-aspnetmsvc и тд). (некогда популярный сканер nikto умел показывать только 1 powered-by.Второй подобный ответ он просто игнорировал.)


Было бы неплохо обрабатывать 302 переходы. В текущем варианте или не показывает куда просят перейти или УРЛ для перехода выглядит как-то странно. (могу показать,на чем смотрел)

Также можно было бы добавить в опции сканера что-то типа follow 302 (если в зоне таргета | не в зоне таргета)

[Dr.Z3r0]

А я даже и представить не мог что еще можно придумать к функционалу. Спасибо, буду думать что можно реализовать.

3) если добавить урл без http,то скрипт возвращает "Ошибки - Не могу получить имя домена из целевого URL", при этом активна "Остановить сканирование". Хотелось бы,чтобы при подобных ошибках оно само останавливалось.
....
Когда уже работа "завершенна" (Zero - исправь плз),"Остановить сканирование" всё еще активно.

По этой ссылке смысла нет смотреть работает ли сейчас сканер, она активна всегда. Имхо не стоит морочится с кодом ее отключения после завершения работы. Я думаю это не сильно критично =)

Настройки поиска системных файлов
немного не понятен смысл:
Искать уже найденные файлы на остальных хостах. То есть,если я на host1 нашел файл admin.txt.passwd,то на host2 такой файл уже искаться не будет? Если так,то для чего оно нужно?

Поиск системных файлов заключается в поиске phpinfo, phpmyadmin, sypex dumper. Обычно достаточно одного файла из группы. И по этому чтобы не искать эту группу на остальных хостах введена такая опция. Подробнее глянь в факе.

[apache3]

насчет системных файлов понял,спасибо.

Когда уже работа "завершенна" - я имел ввиду орфографию.

немного путано получилось -
-----------
Также можно было бы добавить в опции сканера что-то типа follow 302 (если в зоне таргета | не в зоне таргета)
------------
чтобы сканер сам переходил по ссылкам (если редиректит на другой урл,но на тот же сайт) или не переходил (если редирект на гугл,например) и чтобы это было опциональным.



Скрипт не останавливает работу,если нажимаешь Остановить сканирование.

еще орфография -

Получем соседние сайты...
Не полученно ни одного соседнего сайта


можно ли прикрутить skip для какого-либо сайта?
во время теста наткнулся на сайт,который выдает кучу false - так как идёт вложенный поиск,то ждать окончания скана придётся долго. Было бы неплохо,если бы можно было пропустить этот сайт и перейти к следующему.

Можно было бы добавить определялку версий PHP. - имел ввиду через "PHPB8B5F2A0-3C92-11d3-A3A9-4C7B08C10000" и тд.


p.s. - почему небо голубое - порвало )))

[Dr.Z3r0]

Когда уже работа "завершенна" - я имел ввиду орфографию.
...
еще орфография -

Получем соседние сайты...
Не полученно ни одного соседнего сайта

Неужели тебе это так режет глаза? Давай пока не будем трогать орфографию =)

немного путано получилось -
-----------
Также можно было бы добавить в опции сканера что-то типа follow 302 (если в зоне таргета | не в зоне таргета)
------------
чтобы сканер сам переходил по ссылкам (если редиректит на другой урл,но на тот же сайт) или не переходил (если редирект на гугл,например) и чтобы это было опциональным.

я это понял с первого раза, вроде не дурак)) Эта фишка реализованна для определения индексного файла. Но для сканера структуры я это реализовывать не буду - во первых довольно сложно, а во вторых задача сканера состоит в том чтобы определить существующие файлы. А куда который из них ведет - задача пользователя.

можно ли прикрутить skip для какого-либо сайта?
во время теста наткнулся на сайт,который выдает кучу false - так как идёт вложенный поиск,то ждать окончания скана придётся долго. Было бы неплохо,если бы можно было пропустить этот сайт и перейти к следующему.

Нет, этого скорее всего не будет. Не отрицаю, нужно, но слишком сложно в реализации. Не забывай эта тулза написанна на php и тут взаимодействие с ней идет через браузер и веб сервер. Я и так заебался порядком, реализовав простую остановку скрипта.

Скрипт не останавливает работу,если нажимаешь Остановить сканирование.

По идее скрипт остановится минимум через секунду (не тестил). Но точно при переходе к следующему сайту (это тестил сам). Может есть косяк в кодесе, гляну позже.

p.s. - почему небо голубое - порвало )))

интересно, много народу поняло о чем это ты?)))

[apache3]

поправь,если я не прав -
алгоритм skip-а - при нажатии skip,работа скрипта останавливается. из массива (я точно не знаю,куда заносятся списки хостов,но скорее всего массив) удаляется урл и скрипт перезапускается с новым массивом.

[Dr.Z3r0]

Сообщение от apache3

поправь,если я не прав -
алгоритм skip-а - при нажатии skip,работа скрипта останавливается. из массива (я точно не знаю,куда заносятся списки хостов,но скорее всего массив) удаляется урл и скрипт перезапускается с новым массивом.

Нет, к сожалению, не прав.

Беда в том что в работу уже запущенного и работающего скрипта, вмешатся практически не возможно. Можно создавать временные файлы с командами для скрипта который он будет вследствии читать, допустим каждую секунду, пока он работает. Но это огромные изменения в архитектуре и куча кода ее усложняющая.

То что ты предложил (останавливать скрипт и убирать урл и снова запускать) - полный провал, и огромная трата времени. И, по сути, неправильный подход к решению проблемы. И опять же подобное взаимодействие надо будет осуществлять через временой файл с командами.

Для обычных програм, к примеру на Си, это можно решить элементрано, не отрицаю, а вот для скриптов это очень сложная задача =(

[apache3]

а если сначала ретривить список доменов/сайтов,а потом выделять нужные/ненужные сайты и запускать скан?

[Dr.Z3r0]

а если сначала ретривить список доменов/сайтов,а потом выделять нужные/ненужные сайты и запускать скан?

Блин, друг, извини, но ты запарил. Все подобные идеи реализаций это, если сказать по-русски, реализация через жопу. И делать такое я отказываюсь. Код сканера открыт, как говорится, если так неймется - сделай это сам. Имхо единственный нормальный вариант - это временной файл с командами. Но опять же это сложно и не надежно.

И, вообще, чесно сказать, я не считаю это таким важным функционалом, чтобы так морочить себе голову. Пока хватает других идей, более нужных.

---------

Появился вопрос... Почему-то куча сайтов при скане (структуры\системных файлов) улетает в end of timeout. Думал, что из-за keep-alive, отключил его, все-ровно вылетают с ошибкой "end of timeout". Попробовал на и на50 и на 30 и на 5 потоках.

Даже если во время работы скрипта в отдельной вкладке открыть этот самый, что вылетает с таймаутом, то от открывается. И так на весь поток (сайт), видимо какийо то из запущенных параллельно потоков умирает по какой-то причине.

Это проблема в том что целевой сайт не выдерживает нагрузки и начинает подвисать. Грубо говоря сканер умудряется задосить его. Я хз как от этого спастись, если вводить принудительные задержки перед коннектом, то это лавинообразно увеличит время сканирования. Пока спасает увеличение таймаута в настройках распределения или уменьшение количества потоков.

----------
Апдейт. Версия 3.0.1. Промежуточное обновление из за бага в определении движков. Изменения:

Пофикшено определение движков
(забыл убрать из кодеса строку для дебага. Сори всем кто скачал кривую версию. Теперь норм определяет)

Также пофиксил вывод Location в результат
(раньше перед выводом принудительно парсились все линки и в итоге нарушалась структура хтмл)

Обновил архив в шапке.

[Dr.Z3r0]

Апдейт. Версия 3.1b. Изменения:

Раздельная обработка разных расширений при анализе структуры сайта
(связанно с тем что разные расширения могут обрабатываться разными обработчиками и иметь разную 404-ую ошибку, изменение должно уменьшить вероятность ложных срабатываний)

Определение веб сервера и вывод инфы из заголовков
(и если сервак крутится под виндой то при сканировании будут удаленны дубли путей в разных регистрах)

Файл лога в папке tmp теперь называется также как и целевой сайт =)

Основной упор делался обработку разных расширений, поэтому так мало других изменений.

PS: извините что так часто выпускаю апдейты) просто идей у меня масса, а сразу все сделать не могу.

[apache3]

сканер зависает.