Старый 10.06.2016, 15:02   #1
Белый Тигр
 
Аватар для Белый Тигр
 
Регистрация: 29.08.2010
Сообщений: 148
Репутация: 25
По умолчанию HashBruteStation - не большой релиз для Hashcat

Доброго времени суток. Рад представить релиз 0.3b проекта HashBruteStation. В нём есть несколько существенных нововведений и правок.

1) Проект теперь в стадии beta. Связано это с тем, что закрытые ранее тесты теперь открыты, переписаны с unittest на pytest и разделены на модульные и интеграционные (до этого они были по сути интеграционные). К тому же, на боевом сервере проект работает уже больше года и можно говорить о том что он вполне стабилен.

2) Добавлена интеграция с сервисом http://finder.insidepro.com/, за что большое спасибо его авторам. Ребята сделали простой и понятный API и помогли с интеграцией. Работа с ним происходит без какого-либо участия пользователя. Достаточно лишь указать в конфиге приобретённый ключ и HBS сам раз в неделю будет отправлять все не вскрытые хеши на сервер finder-а. Подробнее в документации.

3) До конца отточен механизм работы с общими хеш-листами. К сожалению багов в нём, в версии 0.2а, оказалось огромное множество и так сложилось что выплывать они стали не сразу, а только когда счёт хешей пошёл на миллионы.

4) Добавлен механизм логирования в БД всего что выводится в stdout. Со стороны web-части добавлен просмотр этих логов.

5) Сделана обработка исключительных ситуаций в потоках. Теперь если в процессе работы потока возникает ИС, то информация о ней логируется, поток прекращает свою работу, а основной скрипт запускает его заново через несколько секунд. Таким образом, HBS будет пытаться оставаться в рабочем состоянии максимально долго без участия пользователя.

6) В случае возникновения deadlock-а в БД, теперь через config.ini можно установить количество повторов запроса и время ожидания между ними. Ранее это было 10 попыток с ожиданием в 60 секунд. Такое решение оказалось действенным до 1кк хешей. В иных случаях при активной работе запрос так и не успевал выполнится.

Кроме того, внесено ещё несколько менее значительных фиксов. Полный список можно найти в CHANGELOG`е.

Взять данный релиз можно на гитхабе:
https://github.com/hack4sec/hbs-cli (cli-часть)
https://github.com/hack4sec/hbs-web (web-часть)

Топик на форуме команды: http://hack4sec.pro/forum/viewtopic.php?f=10&t=104
=====

Рад представить новую версию HBS — 0.2a. Основная работа в ней была направлена на повышение эффективности брута.

Добавлен поиск дублей найденных хешей по хеш-листам с совпадающим алгоритмом. Этот процесс запускается как при окончании рабочей задачи, так и при загрузке нового хеш-листа.

Добавлено автоматическое формирование общих хеш-листов содержащих все не найденные хеши в БД, с разбиением по алгоритмам. Пользователь не может редактировать или удалять их, только запускать по ним перебор. Это может помочь если вы, например, имеете несколько крупных листов одного алгоритма по которым хотите запустить одну и ту же группу задач. Чтоб не создавать их для каждого листа можно создать один набор рабочих задач для всех хешей этого алгоритма в целом. По окончанию работы найденные хеши будут отмечены в листах, а общий лист будет пересобран (будут удалены все найденные).

Вся выполняемая HBS работа распараллелена. Независимо друг от друга происходят: обработка и помещение в БД хешлистов, обработка результатов Hashcat с поиском найденных хешей в других листах, сам запуск Hashcat, формирование общих листов с разбиением по алгоритмам. В итоге запуск рабочих задачь теперь ничего не тормозит, они выполняются беспрерывно.

Хеш-листы теперь загружаются в БД через «LOAD DATA LOCAL INFILE», что позволяет быстро загружать большие списки в сотни тысяч хешей и более.

Остальные не большие новшества:
* У хешлистов появилось поле статуса. Рабочую задачу по ним можно создавать только когда хешлист обработан и имеет статус «Готов»
* При создании рабочей задачи можно выбрать её статус (а не только «остановлена» как раньше)
* Возможность сокрытия завершённых рабочих задач в веб-интерфейсе
* Возможность установки отрицательного приоритета рабочей задаче
* Скприт cron.py переименован в hbs.py
* Out-файлы не удаляются из БД и HDD после обработки

Внесены следующие исправления:
* Исправлен баг с UTF8 в процедуре поиска ранее найденных хешей
* Запрещено удаление хешлиста который сейчас находится в работе
* Исправлен баг удаления словарей (файл словаря не удалялся)
* Исправлен баг обнуления приоритета задачи при отмене диалога установки приоритета
* Исправлен баг с \r в хешлистах

Взять данный релиз можно на гитхабе:
https://github.com/hack4sec/hbs-cli (cli-часть)
https://github.com/hack4sec/hbs-web (web-часть)

Топик на форуме команды: http://hack4sec.pro/forum/viewtopic.php?f=10&t=17


=====

Всем привет. Сегодня под флагом hack4sec состоялся релиз одной моей разработки - Hash Brute Station. Это своеобразная web-панель управления для хешкрекинг-сервером "домашней" сборки.

Необходимость в ней появилась когда стало понятно что держать дальше дома сервер с GPU не целесообразно. С одной стороны работы для него слишком много даже при рядовых пентестах, и включать брут только на какое-то время дня не очень эффективно. С другой, этой же работы не так много чтоб конструировать полноценную ферму с массой GPU.

В процессе проб и тестов оказалось что с моими нуждами в приемлемое время справляется простенький десктоп с почти топовым (на момент приобретения) одним GPU работающим 24/7. Он был собран и отправлен на colocation в местный датацентр принимающий Tower-корпуса (если интересно, вскоре об этом будет отдельная статья). И для упрощения управления был создан HBS который я потом решил сделать opensource-проектом. Итак.

Документация на русском: http://hack4sec.pro/wiki/index.php/Hash_Brute_Station
Дистрибутив cli-части: https://github.com/hack4sec/hbs-cli
Дистрибутив web-части: https://github.com/hack4sec/hbs-web
Видео-обзор: https://www.youtube.com/watch?v=0OP9QHYOksM
Форум проекта: http://hack4sec.pro/forum/viewforum.php?f=5
Мой блог: http://anton-kuzmin.ru

Буду рад если разработка окажется кому-нибудь полезна.

Последний раз редактировалось Белый Тигр; 20.03.2017 в 07:51..
Белый Тигр вне форума   Ответить с цитированием
Старый 10.06.2016, 18:18   #2
AiR0
 
Регистрация: 23.09.2013
Сообщений: 37
Репутация: 0
По умолчанию

какие различия с hashtopus?
в hashcracking контестах участвуешь?
AiR0 вне форума   Ответить с цитированием
Старый 11.06.2016, 10:37   #3
Белый Тигр
 
Аватар для Белый Тигр
 
Регистрация: 29.08.2010
Сообщений: 148
Репутация: 25
По умолчанию

Цитата:
Сообщение от AiR0 Посмотреть сообщение
какие различия с hashtopus?
По функционалу на данный момент никаких. Hashtopus может заменить текущую версию HBS полностью.
Различия будут появляться дальше. Функционал расширится за счёт привязки сторонних утилит, скорее всего будет поддержка JTR. Упор пойдёт на гибкость работы с хешлистами и результатами (анализ масок, выведение топовых aka фрактальный брут и т.д.). По сути буду переносить на HBS множество операций которые сейчас делаю руками чтоб освободить время и повысить эффективность брута.

Цитата:
Сообщение от AiR0 Посмотреть сообщение
в hashcracking контестах участвуешь?
Нет, у меня GPU юзается под крекинг непосредственно при пен-тестах. Пробовал пару раз, но в итоге находились более приоритетные задачи и приходилось сходить с дистанции.
Белый Тигр вне форума   Ответить с цитированием
Старый 16.10.2016, 15:30   #4
Белый Тигр
 
Аватар для Белый Тигр
 
Регистрация: 29.08.2010
Сообщений: 148
Репутация: 25
По умолчанию

Рад представить новую версию HBS — 0.2a. Основная работа в ней была направлена на повышение эффективности брута.

Добавлен поиск дублей найденных хешей по хеш-листам с совпадающим алгоритмом. Этот процесс запускается как при окончании рабочей задачи, так и при загрузке нового хеш-листа.

Добавлено автоматическое формирование общих хеш-листов содержащих все не найденные хеши в БД, с разбиением по алгоритмам. Пользователь не может редактировать или удалять их, только запускать по ним перебор. Это может помочь если вы, например, имеете несколько крупных листов одного алгоритма по которым хотите запустить одну и ту же группу задач. Чтоб не создавать их для каждого листа можно создать один набор рабочих задач для всех хешей этого алгоритма в целом. По окончанию работы найденные хеши будут отмечены в листах, а общий лист будет пересобран (будут удалены все найденные).

Вся выполняемая HBS работа распараллелена. Независимо друг от друга происходят: обработка и помещение в БД хешлистов, обработка результатов Hashcat с поиском найденных хешей в других листах, сам запуск Hashcat, формирование общих листов с разбиением по алгоритмам. В итоге запуск рабочих задачь теперь ничего не тормозит, они выполняются беспрерывно.

Хеш-листы теперь загружаются в БД через «LOAD DATA LOCAL INFILE», что позволяет быстро загружать большие списки в сотни тысяч хешей и более.

Остальные не большие новшества:
* У хешлистов появилось поле статуса. Рабочую задачу по ним можно создавать только когда хешлист обработан и имеет статус «Готов»
* При создании рабочей задачи можно выбрать её статус (а не только «остановлена» как раньше)
* Возможность сокрытия завершённых рабочих задач в веб-интерфейсе
* Возможность установки отрицательного приоритета рабочей задаче
* Скприт cron.py переименован в hbs.py
* Out-файлы не удаляются из БД и HDD после обработки

Внесены следующие исправления:
* Исправлен баг с UTF8 в процедуре поиска ранее найденных хешей
* Запрещено удаление хешлиста который сейчас находится в работе
* Исправлен баг удаления словарей (файл словаря не удалялся)
* Исправлен баг обнуления приоритета задачи при отмене диалога установки приоритета
* Исправлен баг с \r в хешлистах

Взять данный релиз можно на гитхабе:
https://github.com/hack4sec/hbs-cli (cli-часть)
https://github.com/hack4sec/hbs-web (web-часть)

Топик на форуме команды: http://hack4sec.pro/forum/viewtopic.php?f=10&t=17
Белый Тигр вне форума   Ответить с цитированием
Старый 16.10.2016, 17:41   #5
lotos
 
Регистрация: 10.10.2015
Сообщений: 13
Репутация: 0
По умолчанию

sort -u ?

как долго он будет формировать уникальный лист с 8ккк паролями ?
lotos вне форума   Ответить с цитированием
Старый 16.10.2016, 19:01   #6
Белый Тигр
 
Аватар для Белый Тигр
 
Регистрация: 29.08.2010
Сообщений: 148
Репутация: 25
По умолчанию

Цитата:
sort -u
Да, сортировка и удаление дублей происходят через "sort -u".

Цитата:
как долго он будет формировать уникальный лист с 8ккк паролями ?
Не понял вопроса.
Белый Тигр вне форума   Ответить с цитированием
Старый 16.10.2016, 19:38   #7
lotos
 
Регистрация: 10.10.2015
Сообщений: 13
Репутация: 0
По умолчанию

для чего софт этот, если сортировать листы можно sort -u ?
lotos вне форума   Ответить с цитированием
Старый 16.10.2016, 19:41   #8
Белый Тигр
 
Аватар для Белый Тигр
 
Регистрация: 29.08.2010
Сообщений: 148
Репутация: 25
По умолчанию

Смысл софта описан в первом посте (нижняя часть, про версию 0.1а)
Белый Тигр вне форума   Ответить с цитированием
Старый 16.10.2016, 19:43   #9
profexer
 
Регистрация: 06.01.2011
Сообщений: 117
Репутация: 63
По умолчанию

Цитата:
Это своеобразная web-панель управления для хешкрекинг-сервером "домашней" сборки.
Сортировать можно через sort -u, ходить по сети через wget, считать в уме.
profexer вне форума   Ответить с цитированием
Старый 16.10.2016, 20:17   #10
lotos
 
Регистрация: 10.10.2015
Сообщений: 13
Репутация: 0
По умолчанию

хорошо,по другому задам вопрос с примером , раз тут остроумие включилось.

Код:
$ du -hsm get 
276469  get
почти 300 гигов словарей.
Как долго твой софт будет это сортировать , дабы не бегать по сети через вгет , но просчитать прям щас в уме)))

В моем случае, эти все словари я объеденил в один , отсортировав.
lotos вне форума   Ответить с цитированием
Ответ

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Powered by vBulletin® Version 3.8.5
Copyright ©2000 - 2019, Jelsoft Enterprises Ltd. Перевод: zCarot