无界面Linux系统和Windows系统使用selenium爬取CNVD数据

因为CNVD官网采用了反爬机制，所以使用selenium能够更容易的爬取漏洞数据

1、在Windows中使用

注意根据chrome版本下载对应chromedriver

2、在无界面的Linux中使用

因为对于爬虫的识别，无头模式相对于有头模式特征多，所以尽量使用有头模式，在无界面Linux中使用有头模式需要安装Xvfb。对于cnvd，目前使用无头模式即可，可不需要安装xvfb。

yum install Xvfb -y

yum install xorg-x11-fonts* -y

有头模式不能添加add_argument('--headless')，如果使用无头模式则添加这一项。

安装Xvfb后可能会提示“DevToolsActivePort文件不存在”，那么添加options.add_argument('--no-sandbox')。

使用Xvfb启动：

xvfb-run python3 cnvd_download.py

3、对于各式各样的验证码最好的方法就是对接第三方打码平台，使用pytesseract需要pip安装pytesseract库，而且安装tesseract-ocr-w64-setup-v5.2.0.20220712.exe，并且别忘了添加环境变量。

使用ddddocr库识别库比较高，但只试了字母的简单验证码，其他验证码不清楚。

### selenium使用的版本为1.141.0

### Python版本为3.8.12

import os

import random

import sys

import time

from configparser import ConfigParser

from io import BytesIO

import ddddocr

from PIL import Image

# from pytesseract import pytesseract

from selenium import webdriver

from selenium.common.exceptions import NoSuchElementException

# 读取配置文件信息

cf = ConfigParser()

cf.read('config.ini')

sys_path = os.path.abspath(".")

def get_config_data(target):

    cnnvd_filed = {}

    for k, v in cf.items(target):

        cnnvd_filed[k] = v

    return cnnvd_filed

class DownloadCnvd(object):

    def __init__(self):

        # 从配置文件获取下载文件存放目录

        self.download_path = get_config_data('CNVDPATH')['download_path']

        # 从配置文件获取url

        self.url = get_config_data('CNVDURL')['url']

        # 登录CNVD官网的账号邮箱

        self.login_email = get_config_data('CNVDLOGIN')['email']

        # 登录CNVD官网的账号密码

        self.login_password = get_config_data('CNVDLOGIN')['password']

        options = webdriver.ChromeOptions()

        # 配置下载文件存放目录

        prefs = {'profile.default_content_settings.popups': 0,

                 'download.default_directory': os.path.join(sys_path, self.download_path)}

        options.add_experimental_option('prefs', prefs)

        # 修改windows.navigator.webdriver，防机器人识别机制，selenium自动登陆判别机制

        options.add_experimental_option('excludeSwitches', ['enable-automation'])

        # 禁止策略化

        options.add_argument('disable-infobars')

        # 当在Linux中使用xvfb进行有头操作时，此行配置解决DevToolsActivePort文件不存在的报错

        options.add_argument('--no-sandbox')

        #无头模式

        options.add_argument('--headless)

        options.add_argument('--ignore-certificate-errors')

        options.add_argument("--disable-web-security")

        # Linux中运行的配置，浏览器配置文件夹路径

        options.add_argument('--user-data-dir=/home/ubuntu/.config/google-chrome')

        # Windows中运行的配置，浏览器配置文件夹路径

        #options.add_argument(r'--user-data-dir=C:\Users\Leeeee\AppData\Local\Google\Chrome\User Data')

        # Linux中运行的配置， chromedriver的位置

        self.driver = webdriver.Chrome(executable_path='/usr/bin/chromedriver', chrome_options=options)

        #self.driver = webdriver.Chrome(executable_path='chromedriver.exe', chrome_options=options)

        self.driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {

            "source": """

                          Object.defineProperty(navigator, 'webdriver', {

                            get: () => undefined

                          })

                        """

        })

    # 使用pytesseract库进行识别图片验证码，不过识别率感人

    def get_code(self):

        os.remove(code_path)

        element = self.driver.find_element_by_id('codeSpan')  # 定位验证码图片

        # 获取验证码图片在网页中的位置

        left = int(element.location['x'])  # 获取图片左上角坐标x

        top = int(element.location['y'])  # 获取图片左上角y

        right = int(element.location['x'] + element.size['width'])  # 获取图片右下角x

        bottom = int(element.location['y'] + element.size['height'])  # 获取图片右下角y

        # 通过Image处理图像

        code_path = os.path.join(sys_path, self.download_path) + 'img' + '.png'

        self.driver.save_screenshot(code_path)  # 截取当前窗口并保存图片

        im = Image.open(code_path)  # 打开图片

        im = im.crop((left, top, right, bottom))  # 截图验证码

        im.save(code_path)  # 保存验证码图片

        verityCode = Image.open(code_path)

        code = pytesseract.image_to_string(verityCode)

        return code

    # 在Linux中获取验证码图片并识别验证码，使用ddddocr库进行图片验证码识别

    def get_code2(self):

        element = self.driver.find_element_by_id('codeSpan')  # 定位验证码图片

        # 获取图片验证码的请求地址

        img_path0 = element.get_attribute('src')

        url = img_path0

        print(url)

        time.sleep(1)

        # 打开新的页面，url为图片验证码的请求地址，应该是分辨率的问题，在登陆页直接截图获得验证码图片的是白灰方格，不是正常验证码图片，所以。。。

        newTab = f'window.open("{url}");'

        self.driver.execute_script(newTab)

        self.driver.switch_to.window(self.driver.window_handles[-1])

        element2 = self.driver.find_element_by_xpath('/html/body/img')

        left = int(element2.location['x'])  # 获取图片左上角坐标x

        top = int(element2.location['y'])  # 获取图片左上角y

        right = int(element2.location['x'] + element2.size['width'])  # 获取图片右下角x

        bottom = int(element2.location['y'] + element2.size['height'])  # 获取图片右下角y

        code_image = self.driver.get_screenshot_as_png()

        code_png = Image.open(BytesIO(code_image))  # 打开图片

        code_png = code_png.crop((left, top, right, bottom))  # 截图验证码

        code_png.save('code_png.png')

        my_ocr = ddddocr.DdddOcr()

        with open('code_png.png', 'rb') as f:

            code_img_bytes = f.read()

        code = my_ocr.classification(code_img_bytes)

        # 切换标签页为登录页面

        self.driver.switch_to.window(self.driver.window_handles[0])

        print(code)

        return code

    def get_code1(self):

        element = self.driver.find_element_by_id('codeSpan')  # 定位验证码图片

        # 获取验证码图片在网页中的位置

        left = int(element.location['x'])  # 获取图片左上角坐标x

        top = int(element.location['y'])  # 获取图片左上角y

        right = int(element.location['x'] + element.size['width'])  # 获取图片右下角x

        bottom = int(element.location['y'] + element.size['height'])  # 获取图片右下角y

        # img = conn.get(img_url)

        # 通过Image处理图像

        code_path = os.path.join(sys_path, self.download_path)+ 'img' + '.png'  # 生成随机文件名

        # self.driver.save_screenshot(code_path)  # 截取当前窗口并保存图片

        # im = Image.open(code_path)  # 打开图片

        # im = im.crop((left, top, right, bottom))  # 截图验证码

        # im.save(code_path)  # 保存验证码图片

        code_image = self.driver.get_screenshot_as_png()

        code_png = Image.open(BytesIO(code_image))  # 将图片读入内存中

        code_png = code_png.crop((left, top, right, bottom))  # 截图验证码

        code_png.save(code_path)

        my_ocr = ddddocr.DdddOcr()

        with open(code_path, 'rb') as f:

            code_img_bytes = f.read()

        code = my_ocr.classification(code_img_bytes)

        os.remove(code_path)

        print(code)

        return code

    # 点击文件进行下载，一页下载十个文件

    def get_file(self, flag):

        file_count = 10

        if flag == 1:

            file_count = 1

        num = 1

        while num <= file_count:

            file = self.driver.find_element_by_xpath(

                '/html/body/div[4]/div[1]/div/div[2]/table/tbody/tr[{}]/td[1]/a'.format(num))

            file.click()

            num += 1

            time1 = random.random()

            time2 = random.randint(1, 3)

            time.sleep(time1 + time2)

    # 获取“下一页”按钮并点击进行翻页

    def get_next_page(self):

        try:

            page = self.driver.find_element_by_class_name('nextLink')

            page.click()

        except Exception as e:

            return False

        return True

    # 在登录页进行登录

    def login(self):

        # 莫名其妙有时根据ID获取不到邮箱填写框，出错时根据xpath再找一次

        try:

            email = self.driver.find_element_by_id('email')

        except NoSuchElementException as e:

            email = self.driver.find_element_by_class_name('ipt')

        # email = self.driver.find_element_by_xpath('/html/body/div[4]/div/form/div/p[1]/input')

        passwd = self.driver.find_element_by_id('password')

        code = self.driver.find_element_by_id('myCode')

        code_password = self.get_code1()

        email.clear()

        # 怕填写太快，添加延时

        for i in self.login_email:

            email.send_keys(i)

            time.sleep(random.random())

        for i in self.login_password:

            passwd.send_keys(i)

            time.sleep(random.random())

        for i in code_password:

            code.send_keys(i)

            time.sleep(random.random())

        time.sleep(5)

        # 找到登录按钮点击登录

        login = self.driver.find_element_by_xpath('/html/body/div[4]/div/form/div/p[5]/a/span')

        login.click()

        time.sleep(2)

        # 如果捕捉到“验证码错误”，则重新进行填写登录

        try:

            code_err = self.driver.find_element_by_id('myCode_error')

            #重新填写

            self.login()

        except:

            time.sleep(2)

            self.driver.get(self.url)

            return True

    # 如果flag为0则全量下载，如果flag为1则只下载最新的一个文件

    def run(self, flag=0):

        self.driver.get(self.url)

        if self.login():

            while True:

                self.get_file(flag=flag)

                time.sleep(2)

                if flag == 1:

                    break

                result = self.get_next_page()

                if not result:

                    break

            self.driver.close()

            self.driver.quit()

if __name__ == '__main__':

    if len(sys.argv) != 2:

        print('请添加参数 init：初始化规则库 update：更新规则库')

        sys.exit()

    get_cnvd_rule = DownloadCnvd()

    if sys.argv[1] == 'init':

        get_cnvd_rule.run()

    elif sys.argv[1] == 'update':

        get_cnvd_rule.run(1)

    else:

        print('请添加参数 init：初始化规则库 update：更新规则库')

    #get_cnvd_rule = DownloadCnvd()

    #get_cnvd_rule.run()

巴特西

无界面Linux系统和Windows系统使用selenium爬取CNVD数据

最新文章

热门文章