/bookstore/book           选取根节点bookstore下面所有直接子节点book

     //book                    选取所有book

     /bookstore//book          查找bookstore下面所有的book

     /bookstore/book[1]        bookstore里面的第一个book

     /bookstore/book[last()]   bookstore里面的最后一个book

     /bookstore/book[position()<3]  前两个book

     //title[@lang]            所有的带有lang属性的title节点

     //title[@lang='eng']      所有的lang属性值为eng的title节点

     属性定位

             //li[@id="hua"]

             //div[@class="song"]

     层级定位&索引

             //div[@id="head"]/div/div[2]/a[@class="toindex"]

             【注】索引从1开始

             //div[@id="head"]//a[@class="toindex"]

             【注】双斜杠代表下面所有的a节点，不管位置

      逻辑运算

             //input[@class="s_ipt" and @name="wd"]

      模糊匹配 ：

           contains

                 //input[contains(@class, "s_i")]

                 所有的input，有class属性，并且属性中带有s_i的节点

                 //input[contains(text(), "爱")]

             starts-with

                 //input[starts-with(@class, "s")]

                 所有的input，有class属性，并且属性以s开头

       取文本

             //div[@id="u1"]/a[5]/text()  获取节点内容

             //div[@id="u1"]//text()      获取节点里面不带标签的所有内容

       取属性

             //div[@id="u1"]/a[5]/@href

 from lxml import etree

 import requests

 url='http://www.haoduanzi.com/category-10_2.html'

 headers = {

         'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',

     }

 url_content=requests.get(url,headers=headers).text

 #使用xpath对url_conten进行解析

 #使用xpath解析从网络上获取的数据

 tree=etree.HTML(url_content)

 #解析获取当页所有段子的标题

 title_list=tree.xpath('//div[@class="log cate10 auth1"]/h3/a/text()')

 ele_div_list=tree.xpath('//div[@class="log cate10 auth1"]')

 text_list=[] #最终会存储12个段子的文本内容

 for ele in ele_div_list:

     #段子的文本内容（是存放在list列表中）

     text_list=ele.xpath('./div[@class="cont"]//text()')

     #list列表中的文本内容全部提取到一个字符串中

     text_str=str(text_list)

     #字符串形式的文本内容防止到all_text列表中

     text_list.append(text_str)

 print(title_list)

 print(text_list)

 - from bs4 import BeautifulSoup

         - 使用方式：可以将一个html文档，转化为BeautifulSoup对象，然后通过对象的方法或者属性去查找指定的内容

           （1）转化本地文件：

               - soup = BeautifulSoup(open('本地文件'), 'lxml')

           （2）转化网络文件：

               - soup = BeautifulSoup('字符串类型或者字节类型', 'lxml')

           （3）打印soup对象显示内容为html文件中的内容

     （1）根据标签名查找

         - soup.a   只能找到第一个符合要求的标签

     （2）获取属性

         - soup.a.attrs  获取a所有的属性和属性值，返回一个字典

         - soup.a.attrs['href']   获取href属性

         - soup.a['href']   也可简写为这种形式

     （3）获取内容

         - soup.a.string

         - soup.a.text

         - soup.a.get_text()

        【注意】如果标签还有标签，那么string获取到的结果为None，而其它两个，可以获取文本内容

     （4）find：找到第一个符合要求的标签

         - soup.find('a')  找到第一个符合要求的

         - soup.find('a', title="xxx")

         - soup.find('a', alt="xxx")

         - soup.find('a', class_="xxx")

         - soup.find('a', id="xxx")

     （5）find_all：找到所有符合要求的标签

         - soup.find_all('a')

         - soup.find_all(['a','b']) 找到所有的a和b标签

         - soup.find_all('a', limit=2)  限制前两个

     （6）select:soup.select('#feng')

         - 根据选择器选择指定的内容

         - 常见的选择器：标签选择器(a)、类选择器(.)、id选择器(#)、层级选择器

             - 层级选择器：

                 div .dudu #lala .meme .xixi  下面好多级

                 div > p > a > .lala          只能是下面一级

         【注意】select选择器返回永远是列表，需要通过下标提取指定的对象

 #!/usr/bin/env python

 # -*- coding:utf-8 -*-

 import requests

 from bs4 import BeautifulSoup

 headers={

          'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',

      }

 def parse_content(url):

     #获取标题正文页数据

     page_text = requests.get(url,headers=headers).text

     soup = BeautifulSoup(page_text,'lxml')

     #解析获得标签

     ele = soup.find('div',class_='chapter_content')

     content = ele.text #获取标签中的数据值

     return content

 if __name__ == "__main__":

      url = 'http://www.shicimingju.com/book/sanguoyanyi.html'

      reponse = requests.get(url=url,headers=headers)

      page_text = reponse.text

      #创建soup对象

      soup = BeautifulSoup(page_text,'lxml')

      #解析数据

      a_eles = soup.select('.book-mulu > ul > li > a')

      print(a_eles)

      cap = 1

      for ele in a_eles:

          print('开始下载第%d章节'%cap)

          cap+=1

          title = ele.string

          content_url = 'http://www.shicimingju.com'+ele['href']

          content = parse_content(content_url)

          with open('./sanguo.txt','w') as fp:

              fp.write(title+":"+content+'\n\n\n\n\n')

              print('结束下载第%d章节'%cap)