如何进行InsectsAwke自动化工具源码分析

这期内容当中小编将会给大家带来有关如何进行InsectsAwke自动化工具源码分析,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。

简介

InsectsAwke是一个比较著名的开源的基于Python开发的漏洞扫描系统。启蒙于Bugscan脱胎于Pocsuite。采用FLASK+MongoDB提供WEB服务。初步具备Por的健壮性。

主要功能

  • 漏洞扫描

    • 通过调用创宇的 Pocsuite 进行扫描,扫描插件通过 Seebug

    • 扫描目标只能是单个 IP 或者 URL,不支持网段扫描(公司是中小型公司,就忘写这块需求了),默认有80余个插件,大多是 Seebug 的免费PoC

    • 任务周期可以选择临时、每日、每周或每月

  • 资产管理   

    • 可以通过各资产库创建漏洞扫描任务,同样资产库只能是单个 IP 或者 URL。

    • 开启端口发现功能后,后端会定时调用 nmap 对资产进行端口扫描,需要扫描的端口可以在设置里进行配置

  • 域名发现功能

    • 即子域名爆破功能,但目前功能尚不完善,只能通过配置字典进行暴力猜解,域名字典可以在设置处进行配置,项目 tests 文件夹内提供了一份子域名字典(字典来源 ring04h 的 wydomain 项目)

安装过程

  • 安装虚拟机 16.04

  • 更新为国内源

  • 获取项目源码

 git clone https://github.com/jeffzh4ng/InsectsAwake.git
  • 安装 Python 及 pip

sudo apt update
sudo apt install python python-pip

  • 安装 MongoDB

    • 安装的是企业版MongoDB,普通的MongoDB是无法支持系统运行的

    • 很多人按照freebuf 的安装不成功,是因为载入的是3.4版本的安装源可是当我们执行 sudo apt-get install -y mongodb-enterp的时候,如果没有指定版本号的话,apt默认安装最新的即3.6版本,所以mongodb-enterprise在安装的时候就会出现问题。这里我们加载的是3.6版本的安装源,所以可以安装成功

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2930ADAE8CAF5059EE73BB4B58712A2291FA4AD5
echo "deb [ arch=amd64,arm64,ppc64el,s390x ] http://repo.mongodb.com/apt/ubuntu xenial/mongodb-enterprise/3.6 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-enterprise.list
sudo apt-get update
sudo apt-get install -y mongodb-enterprise

  • 其他系统安装参考官方手册:

https://docs.mongodb.com/manual/installation/

  • 安装 Python 依赖包

cd InsectsAwake
sudo pip install pip -U
sudo pip install -r requirements.txt
  • 安装nmap

sudo apt install nmap
  • 配置数据库

    sudo mkdir -p  /data/db
    sudo service mongod start
    mongo --host 127.0.0.1:27017

    use InsectsAwake
    db.createUser({user:'you username',pwd:'you password',roles:[{role:'dbOwner',db:'InsectsAwake'}]})
    exit
    • 添加用户

    • 启动数据库

  • 修改扫描器配置

    class Config():
        WEB_USER = 'admin'          // 扫描器登录用户
        WEB_PASSWORD = 'whoami'     // 扫描器登录密码
        WEB_HOST = '127.0.0.1'      // 本地访问
        WEB_PORT = 5000             // Web服务端口
        POCSUITE_PATH = basedir + '/../InsectsAwake/views/modules/scanner/pocsuite_plugin/'
    
    class ProductionConfig(Config):
        DB_HOST = '127.0.0.1'       // 数据库地址
        DB_PORT = 27017             // 数据库端口
        DB_USERNAME = 'testuser'    // 数据库用户
        DB_PASSWORD = 'testpwd'     // 数据库密码
        DB_NAME = 'test'            // 数据库名
    
        // 数据库集合名
        PLUGIN_DB = 'test_plugin_info'
        TASKS_DB = 'test_tasks'
        VULNERABILITY_DB = 'test_vuldb'
        ASSET_DB = 'test_asset'
        CONFIG_DB = 'test_config'
        SERVER_DB = 'test_server'
        SUBDOMAIN_DB = 'test_subdomain'
        DOMAIN_DB = 'test_domain'
        WEEKPASSWD_DB = 'test_weekpasswd'

    比较懒,clone下来直接chmod  -R 777 然后就可以愉快的修改文件了 如何进行InsectsAwke自动化工具源码分析

    • 扫描器配置文件路径:InsectsAwake-Project/instance/config.py

  • 初始化数据库

cd /InsectsAwake/migration
python start.py
  • 运行系统

sudo ./run.sh restart
  • run.sh会出现有关nohup的报错可以参考如何进行InsectsAwke自动化工具源码分析 https://blog.csdn.net/educast/article/details/28273301 进行适当修改

  • 成功

  • 项目默认运行在127.0.0.1:5000 (可以 修改 默认的 WEB_HOST 及 WEB_PORT),无法外网访问,建议配置 Nginx 或者 Caddy 等Web服务代理访问

  • 后记

    • 系统安装后先更新一遍,推荐清华源

    • 安装mongodb-enterprise的时候建议慢慢来一遍成功,否则安装会很麻烦apt各种报错基本等于报废需要重新来过了。。。

    • 刚刚启动run.sh的时候等一下才能看到web页面

       

工作流程

下图为系统运行简单SDL流程图

项目结构

├── InsectsAwake
│   ├── app.py flask blueprint注册
│   ├── __init__.py
│   ├── static   网页静态文件夹
│   ├── templates 网页html模板文件夹
│   └── views  
│       ├── asset_management.py  flask资产管理处理页面
│       ├── authenticate.py   flask网页认证页面,登录与登出
│       ├── dashboard.py   dashboard页面
│       ├── index.py   主页
│       ├── __init__.py
│       ├── lib
│       │   ├── __init__.py
│       │   ├── mongo_db.py  创建和管理mongo数据库
│       ├── modules
│       │   ├── discovery   资产发现
│       │   │   ├── __init__.py  
│       │   │   ├── port_scanner.py   扫描端口和目标服务信息
│       │   ├── __init__.py
│       │   ├── scanner   漏洞扫描
│       │   │   ├── __init__.py
│       │   │   ├── pocsuite_plugin   存放漏洞扫描poc插件的文件夹
│       │   │   ├── pocsuite_scanner.py  调用pocsuites框架对目标进行漏洞扫描
│       │   │   ├── vulnerability_plugin.py 管理漏洞poc插件,向数据库中加入插件信息
│       │   ├── subdomain  子域名爆破
│       │   │   ├── __init__.py
│       │   │   ├── subdomain.py  子域名爆破
│       │   └── week_passwd
│       │       ├── __init__.py
│       │       └── week_http_passwd_test.py  作者还未实现
│       ├── plugin_management.py  flask poc插件管理页面
│       ├── settings.py   flask 平台参数设置页面,如线程数量,字典
│       ├── sql_injection.py  作者还未实现
│       ├── subdomain_brute.py  flask 子域名爆破页面
│       ├── task_management.py  flask 任务管理页面
│       ├── vulnerability_management.py  flask 漏洞扫描结果管理页面 
│       ├── weak_passwd_test.py   falsk弱口令管理页面
├── InsectsAwake.py  主执行文件
├── instance
│   ├── config.py   flask 配置和数据库配置
│   ├── __init__.py
├── LICENSE
├── logs
│   ├── db.log
│   └── log.log
├── migration
│   ├── DataModels
│   └── .py  创建数据库
├── requirements.txt
├── run.sh  
├── tests
│   ├── domain.dict 子域名爆破字典

项目思维导图

如何进行InsectsAwke自动化工具源码分析

主文件分析

def scanner():
    
    调用漏洞扫描模块
    :return: 
    
    config_db  db_name_conf()[]
    scanner_time  int(connectiondb(config_db).find_one()[])
    print()
    scanner_loop_execute(scanner_time)


def manage():
    
    调用flask
    :return: 
    
    app.runflask_app.config.get(), flask_app.config.get())


def discovery():
    
    调用资产发现模块
    :return: 
    
    print()
    scheduler  BlockingScheduler()
    try:
        
        scheduler.add_job(MultiProcess().start_port_scan, , , , )
        scheduler.start()
    except Exception as e:
        print(e)


def subdomain():
    
    调用子域名爆破模块
    :return: 
    
    scanner_time  
    print()
    subdomain_loop_execute(scanner_time)


 __name__  :
    
    开启四个线程执行这4个模块
    
    t1  threading.Threadscanner, ())
    t2  threading.Threadmanage, ())
    t3  threading.Threadsubdomain, ())
    t4  threading.Threaddiscovery, ())
    t1.start()
    t2.start()
    t3.start()
    t4.start()
    t1.join()
    t2.join()
    t3.join()
    t4.join()

子域名爆破模块

该模块与服务器Flask是分开的。Flask负责将前端接受的关于子域名破解的信息存储和更新到数据库中,而核心的子域名暴力破解程序则使用调度器每隔一段时间循环检查数据库中的配置文件,当数据库中有数据满足暴力破解程序运行的条件时,就开始执行程序,对目标进行子域名暴力破解,并将结果存储在数据库中。

简介

InsectsAwake/views/subdomain_brute.py  核心文件,用于对目标进行子域名查找
InsectsAwake/views/modules/subdomain/subdomain.py  flask后端文件,用于接受前端的数据并存储在数据库中

执行函数
def subdomain():
    每30s运行一次子域名爆破程序
    scanner_time  
    print()
    subdomain_loop_execute(scanner_time)

细节函数分析

class DomainsBrute:
    def __init__(self, target_domain, subdomain_dict, domain_id, domain_name):
        
        初始化类和成员变量
        :param target_domain:  目标域名host
        :param subdomain_dict: 子域名爆破字典
        :param domain_id: 域名在数据库中所对应的IP
        :param domain_name: 域名的名字,如百度
        
    def resolver_check(self):
        
        对随机生成一个域名并进行处理,如果这个随机的域名存在就返回解析的结果
        :return: [] or False

    def handle_domain(self):
        
        组成新的二级或者三级域名
        :return: <type >: [u, u, u]
        
    
    def handle_result(self):
        
        获取处理的结果,如果该二级或者三级域名存在,则存入数据库,
        :return:
        

    def save_db(self, result):
        
        将域名爆破结果存储到数据库中test_subdomain
        :param result:
        :return:
        

    def run_multi(self):
        
        多进程解析域名
        :return:
        
        self.handle_domain()  
        scanner_pool  multiprocessing.Pool)  
        self.result  scanner_pool.map(ha_resolver_domain, self.domain_list) 
        scanner_pool.close()
        scanner_pool.join()
        self.handle_result()  

def ha_resolver_domain(domain):
    
    解析域名,返回解析结果
    :param domain:
    :return: {: [, ]} or {}
    
def start_brute(inc_time):
    
    
    :param inc_time:
    :return:
    
    schedule.enter(inc_time, , start_brute, (inc_time,)) 
  
    subdomain_list  connectiondb(config_db).find_one()[] 
     domain_text  connectiondb(domain_db).find(): 
        
         domain_text[]  :  
            domain_list  domain_text[]  
            domain_id  domain_text[]  
            domain_name  domain_text[]  
            print()
            start_date  datetime.now()
            
            connectiondb(domain_db).update_one({: ObjectId(domain_id)}, {: {: }})
             target  domain_list:
                  DomainsBrute(target, subdomain_list, domain_id, domain_name)
                .run_multi()
            
             domain_text[]  :
                 result  connectiondb(subdomain_db).find({: ObjectId(domain_id)}):
                    next_subdomain  eval(result[]).keys()[0]  
                      DomainsBrute(next_subdomain, subdomain_list, domain_id, domain_name)
                    .run_multi()
         
            connectiondb(domain_db).update_one({: ObjectId(domain_id)}, {: {: }})
            scan_time  datetime.now()  start_date
            print(, scan_time.total_seconds())

def subdomain_loop_execute(inc,):

    schedule.enter(inc, , start_brute, (inc,))  
    schedule.run()

稍微修改了一下,现在可以单独使用了https://github.com/cmustard06/subdomain

端口扫描模块

端口扫描模块依然是与falsk框架分开的,是一个独立运行的模块,数据的交互主要还是通过数据库进行的,循周期性运行程序,通过查看数据库的关于端口扫描模块的配置信息,如果配置满足一定条件时,就开始执行程序。该模块使用使用了第三方模块APScheduler 该模块是一个Python定时任务框架,使用起来十分方便。提供了基于日期、固定时间间隔以及crontab类型的任务,并且可以持久化任务、并以daemon方式运行应用。函数实现的是每天14:47执行这start_port_scan这个函数

cheduler.add_job(MultiProcess().start_port_scan, 'cron', day='1-31', hour=14, minute=47)
def nmap_scanner(target_host):
    
    对目标主机的指定断开进行扫描,返回扫描结果
    :param target_host:
    :return: [{: , : , : , : },]
    原函数中存在bug,修改
    port_scanner.scan(target_host, .join( % port  port  eval(target_ports))) 
    

class MultiProcess:
    def __init__(self):
        self.target_list  []
        self.server_db  db_name_conf()[]
        self.asset_db  db_name_conf()[]
        self.processes_count  int(connectiondb(config_db).find_one()[])
        self.asset_id  
        self.asset_name  

    def scan_pool(self):
        
        不同目标多进程端口扫描,将结果更新到数据库中
        :return: 
        

    def start_port_scan(self):
        
        从数据库中取出数据,调用start_pool函数
        :return:

漏洞扫描模块

漏洞扫描模块使用的是知道创宇的开源扫描框架pocsuite,由于该框架在后期升级维护的过程中修改了很多功能,导致如果使用最新版的pocsuite框架运行程序时可能会出现异常,这里采用的是该框架的2.0.4版。比如在测试的时候由于导入下面模块时出现错误,通过查看原函数发现

from pocsuite.lib.utils.password import genPassword

没有genPassword函数,因此手动修改了password.py文件,修改后文件内容如下

Copyright (c)  pocsuite developers (https://seebug.org)
See the file   copying permission

import string
from pocsuite.lib.core.common import getFileItems
from pocsuite.lib.core.data import paths
from random import choice

def getWeakPassword():
    return getFileItems(paths.WEAK_PASS)


def getLargeWeakPassword():
    return getFileItems(paths.LARGE_WEAK_PASS)


def genPassword, string.letters  string.digits):
    return .join([choice(chars)  _  range(length)])

修改完成后继续运行测试程序,运行成功。成果获取到了漏洞扫描结果的数据,如下

(, , , , , (0, ), , )

代码分析

函数分析

    def verify_poc(self, target):
        
        poc验证函数
        :param target:
        :return:

    def start_scan(self):
        
        使用多线程进行漏洞扫描
        :return:
        
    def periodic_tasks(self):
        
        从数剧库中获取任务信息,跟据配置信息周期性扫描目标
        :return:
        
def scanner_loop_execute(inc):
    
    主程序循环执行模块
    :param inc: 
    :return:

数据库模块

数据库结构


  1. # PLUGIN_DB 插件集合

  2. ------------------------------------

  3. plugin_appversion       影响版本

  4. plugin_vultype          漏洞名称

  5. plugin_vuldate          漏洞日期

  6. plugin_filename         文件路径

  7. plugin_name             插件名

  8. plugin_appname          应用名称

  9. plugin_author           插件作者

  10. _id                     ObjectId

  11. ------------------------------------

  12. # TASKS_DB 任务集合

  13. ------------------------------------

  14. task_status             任务状态

  15. end_date                结束时间

  16. scan_target_list        扫描对象(列表)

  17. task_name               任务名称

  18. plugin_id               插件id

  19. _id                     ObjectId

  20. start_date              任务开始时间

  21. task_plan               扫描计划

  22. ------------------------------------

  23. # VULNERABILITY_DB 漏洞集合

  24. ------------------------------------

  25. scan_result             扫描结果

  26. target                  扫描对象

  27. task_id                 任务ID

  28. appname                 应用名称

  29. scan_date               扫描日期

  30. poc_name                插件名称

  31. vulversion              漏洞影响版本

  32. poc_vultype             漏洞类型

  33. task_name               任务名称

  34. plugin_id               插件ID

  35. _id                     ObjectId

  36. ------------------------------------

  37. # ASSET_DB 资产库集合

  38. asset_date              创建日期

  39. scan_option             资产发现

  40. asset_text              资产

  41. asset_name              资产库名称

  42. dept_name               部门名称

  43. admin_name              管理员

  44. _id                     ObjectId

  45. ------------------------------------

  46. # CONFIG_DB 配置集合

  47. ------------------------------------

  48. port_thread             端口扫描线程

  49. scanner_thread          漏洞检测线程

  50. port_list               端口扫描列表

  51. config_name             配置文件名称

  52. subdomain               子域名字典

  53. ------------------------------------

  54. # SERVER_DB 服务集合

  55. ------------------------------------

  56. host                    主机

  57. asset_id                资产库ID

  58. port                    端口

  59. port_server             服务

  60. banner                  指纹(cpe)

  61. scan_date               扫描日期

  62. asset_name              所属资产库

  63. ------------------------------------

  64. # DOMAIN_DB 服务集合

  65. ------------------------------------

  66. domain_text             主域名

  67. scan_option             三级域名扫描

  68. dept_name               域名所属部门

  69. domain_date             创建日期

  70. domain_name             域名名称

  71. _id                     ObjectId

  72. ------------------------------------

  73. # SUBDOMAIN_DB 服务集合

  74. ------------------------------------

  75. date                    扫描日期

  76. domain                  主域名

  77. _id                     ObjectId

  78. result                  子域名

  79. domain_id               主域名ID

  80. domain_name             域名名称

  81. ------------------------------------

  82. # WEEKPASSWD_DB 服务集合

  83. ------------------------------------

  84. date                    扫描日期

  85. target                  检测对象

  86. task_name               任务名称

  87. post_data               登录数据包

  88. status                  检测状态

  89. week_passwd_count       弱口令数量

  90. error_data              失败标记

  91. success_data            成功标记

  92. username                账号

  93. password                密码

  94. week_passwd_result      存在弱口令的结果

  95. _id                     ObjectId

  96. ------------------------------------

  97. `

数据库详情

  • test_asset :该表collection用于存储资产信息,通过该表中的信息可以在后面调用漏洞扫描模块和nmap模块对资产进行扫描

如何进行InsectsAwke自动化工具源码分析

如何进行InsectsAwke自动化工具源码分析

  • test_config:该表用于存放域名字典,需要扫描的端口,开启的进程数量等数据

如何进行InsectsAwke自动化工具源码分析

如何进行InsectsAwke自动化工具源码分析

  • test_domain:该表用于存放域名信息,通过该表中的数据对表中的域名进行子域名爆破

如何进行InsectsAwke自动化工具源码分析

如何进行InsectsAwke自动化工具源码分析

  • test_plugin_info:该表用于存放扫描插件信息,包括插件名称,功能,以及插件存放的路径

如何进行InsectsAwke自动化工具源码分析

如何进行InsectsAwke自动化工具源码分析

  • test_server:该表中存储的是资产信息,包括开放的端口信息以及服务

如何进行InsectsAwke自动化工具源码分析

如何进行InsectsAwke自动化工具源码分析

  • test_subdomain:该表用于存放子域名爆破结果

如何进行InsectsAwke自动化工具源码分析

如何进行InsectsAwke自动化工具源码分析

  • test_tasks:该表用于存储漏洞扫描任务信息

如何进行InsectsAwke自动化工具源码分析

如何进行InsectsAwke自动化工具源码分析

该系统使用的所有模块之间都是通过数据库进行数据交互的,每个模块都是相对独立的运行,单独拿出来做测试也是没有问题的,在进行代码分析时也很友好,一个槽点就是漏洞扫描模块使用的pocsuite开源框架有一些问题,每一次版本的迭代都有新的功能被添加,旧的功能被删除,导致了官方的pocsuite poc验证插件容易出问题,老版本的poc插件无法在新的框架下运行!!

上述就是小编为大家分享的如何进行InsectsAwke自动化工具源码分析了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注亿速云行业资讯频道。

原创文章,作者:306829225,如若转载,请注明出处:https://blog.ytso.com/227427.html

(0)
上一篇 2022年1月10日
下一篇 2022年1月10日

相关推荐

发表回复

登录后才能评论