import urllib

import urllib.request

import re

import os

#获得百度学术的第一个搜索结果

def baidusearch(key):

    #百度中的用是gbk编码，像Google中则是utf8编码，因此这里

    #需要先编码

    key=urllib.request.quote(key.encode('gbk'))

    url='''http://xueshu.baidu.com/s?wd={}'''.format(key)

    response=urllib.request.urlopen(url)

    str1=response.read().decode(encoding='utf8')

    #匹配百度学术中的所有搜索结果

    mat=re.compile(r'href="/s\?wd=paperuri\S+"')

    str1=mat.findall(str1)

    #取出第一个搜索结果

    #将前后的href和引号去掉

    str1=str1[0][6:-1]

    #拼接为完整的路径

    str1=r'http://xueshu.baidu.com'+str1

    return str1

#获得搜索结果页面中的可用的下载链接

def getLink(key):

    response=urllib.request.urlopen(baidusearch(key))

    str1=response.read().decode(encoding='utf8')

    #匹配真正的下载地址

    mat=re.compile(r'<a class="dl_item" \S+ \S+"')

    str1=mat.findall(str1)

    #去掉地址的前后多余信息

    if str1:

        for i in range(len(str1)):

            str1[i]=str1[i][41:-1]

    #为了防止链接失效，这里返回所有可下载地址

    return str1

#得到下载链接的响应报文头

def filesize(url):

    request=urllib.request.Request(url)

    response=urllib.request.urlopen(request)

    return dict(response.info())

#下载文件

def dFile(key,path='d:\\'):

    li=getLink(key)

    if len(li):

        for dowpath in li:

            name=dowpath.split('/')[-1]

            try:

                if filesize(dowpath)['Content-Type']=='application/pdf':

                    print('将要从',dowpath,'下载')

                    #输出下载进度

                    def abk(a,b,c):

                        per=a*b/c*100.0

                        if per>100:

                            per=100

                        print('已完成：%.2f%%' %per)

                    #开始下载

                    print(name)

                    urllib.request.urlretrieve(dowpath,os.path.join(path,name),abk)

                    break

            except:

                continue

def main():

    while True:

        key=input('请输入论文名，支持模糊搜索\n')

        path=input('请输入下载路径，例如:c:\，默认为D盘根目录\n')

        if len(path)==0:

            path='D:\\'

        print('开始下载\n')

        dFile(key,path)

        yn=input('下载完成，是否继续：y/n:')

        if yn=='y':

            continue

        else:

            break

#调试模块

if __name__=='__main__':

    main()