开发一个网站目录扫描工具是用来检测网站是否有非法目录请求的一个常见需求之一，我们要通过这个扫描工具来找到通过某个域名可以访问到的网站路径，可能对于有些系统来讲，这些目录是被大家忽略的，但是很多黑客人员通过这些路径可以攻击服务器。下面我们就来看看如何通过Python来开发这样一个工具用于扫描我们自己的网站，用来检查是否存在安全漏洞。

简单实现

下面是一个简单的示例代码，演示了如何使用 Python 编写一个基本的网站目录扫描工具。

pythonCopy codeimport requests

def scan_website(url):
    common_directories = ["admin", "login", "images", "css", "js"]  # 常见的目录列表，你可以根据需要扩展

    for directory in common_directories:
        full_url = url + "/" + directory
        response = requests.get(full_url)
        if response.status_code == 200:
            print(f"[+] Found directory: {full_url}")
        elif response.status_code == 403:
            print(f"[-] Access forbidden: {full_url}")
        elif response.status_code == 404:
            print(f"[-] Not found: {full_url}")
        else:
            print(f"[!] Unexpected status code ({response.status_code}) for: {full_url}")

if __name__ == "__main__":
    target_url = input("Enter the target website URL: ")
    scan_website(target_url)

通过上面这个实现，你可以扫描一些网站上常见的目录，例如admin、login等，并且输出这些路径的扫描结果。当然你可以根据自己需要去定义一些常见的访问目录，也可以在扫描结果中添加其他的处理逻辑来达到更高级的实现。

会发现，这里我们输入扫描路径的时候是通过内部数组的方式来进行配置的，那么我们可不可以将其修改为从某个配置文件中进行扫描，下面我们就来看看如何从一个配置文件中读取目录信息并进行扫描。

读取配置文件进行扫描

我们可以从一个配置文件中读取扫描的路径，并且对这些目录进行扫，如下所示。

import requests

def load_wordlist(filename):
    with open(filename, "r") as f:
        return f.read().splitlines()

def scan_website(url, wordlist):
    for directory in wordlist:
        full_url = url + "/" + directory
        response = requests.get(full_url)
        if response.status_code == 200:
            print(f"[+] Found directory: {full_url}")
        elif response.status_code == 403:
            print(f"[-] Access forbidden: {full_url}")
        elif response.status_code == 404:
            print(f"[-] Not found: {full_url}")
        else:
            print(f"[!] Unexpected status code ({response.status_code}) for: {full_url}")

if __name__ == "__main__":
    target_url = input("Enter the target website URL: ")
    wordlist_file = input("Enter the path to the wordlist file: ")
    wordlist = load_wordlist(wordlist_file)
    scan_website(target_url, wordlist)

在这段代码中，我们首先定义了一个load_wordlist函数，用于从指定的文件中加载目录列表。然后，在scan_website函数中，我们遍历这个目录列表，并对每个目录进行扫描。你可以创建一个文本文件，每行包含一个目录路径，例如：

admin
login
images
css
js

然后将该文件传递给程序，程序会读取文件内容并使用其中的目录列表进行扫描。这样，你就可以灵活地使用不同的目录字典来扫描不同的网站。

给出常见网站的的目录字典？

通用目录

- admin
- login
- dashboard
- upload
- download
- images
- css
- js
- public
- private
- backup
- temp
- config
- backup
- tmp
- logs

CMS（内容管理系统）相关

- wp-admin/ (WordPress)
- wp-content/ (WordPress)
- wp-includes/ (WordPress)
- administrator/ (Joomla)
- admin/ (Drupal)
- manager/ (TYPO3)
- admin/ (Magento)
- admin/ (PrestaShop)
- admin/ (OpenCart)
- admin/ (Shopify)
- admin/ (WooCommerce)

常见框架和库

- django-admin/ (Django)
- admin/ (Flask-Admin)
- admin/ (Laravel)
- admin/ (Ruby on Rails)
- admin/ (ASP.NET)
- admin/ (Express.js)

其他配置

- cgi-bin/
- config/
- .git/ (Git泄漏)
- .svn/ (SVN泄漏)
- .htaccess
- .htpasswd
- robots.txt

当然这里给出的只是一些基本的目录字典示例，在实际场景中你可以根据不同的场景和需要扩展或定制这个字典。这样可以让你的扫描工具更加适合渗透测试或漏洞扫描任务。但是需要注意在进行渗透测试时遵守法律和道德准则，确保只对授权的目标进行扫描。

如何获取目录？

可以通过Python爬虫技术来实现这些目录字典的整理，首先我们可以编写一个爬虫程序，对一些制定的网站进行数据爬取，然后通过一些爬虫框架来获取到HTML包含的目录信息。通过解析HTMP的目录信息来获取到制定的目录链接信息，来进行记录。这样通过不断的积累就可以形成一个自己的网站网站目录集合。

那么下面我们就来演示一个小例子来看看如何执行上述的操作。

import requests
from bs4 import BeautifulSoup

def scrape_directory(url):
    directory_dict = set()  # 使用集合存储目录信息，确保每个目录只出现一次

    try:
        response = requests.get(url)
        if response.status_code == 200:
            soup = BeautifulSoup(response.text, "html.parser")
            # 在这里根据网页结构提取目录信息，并存储到字典中
            # 以下示例是从网页中提取所有链接的 href 属性作为目录信息
            for link in soup.find_all("a"):
                href = link.get("href")
                if href.startswith("/"):
                    directory_dict.add(href)
    except Exception as e:
        print("Error:", e)

    return directory_dict

if __name__ == "__main__":
    target_url = input("Enter the target website URL: ")
    directories = scrape_directory(target_url)
    print("Directories:")
    for directory in directories:
        print(directory)

通过上面这个代码就可以获取到网站上的路径信息，这里需要注意，上述代码只是一个演示代码，要实现真正的爬虫技术要比这个复杂的多，可能会涉及到IP代理池、Agent检查等等，所以大家可以在理解思路的前提下自行开发，通过这种方式来修复自己网站上存在的问题。