python爬取文本中出场次数前30的人物，并生成词云、图表

目录1.目标2.码前须知3.操作流程4.完整代码5.总结
1.目标
ython爬取三演义，生成词云、图表
2.码前须知
项目目标：三人物名称及出现次数-----数据统计分析
提出问题：哪个人物在三演义中出现的次数最多？，我们希望通过数据分析来获得答案。
分析工具：andas,Matlotb
iinstallbs4
iinstalllxml
iinstallandas
iinstallMatlotb
bs4数据解析必备知识点：标签定位,提取标签中的数据值
1.实例化一个BeautifSou对象，并将页面源码数据加载到该对象中,lxml是解析器，固定的参数,下面是举例
#本地html加载到该对象:
f=oen(’.test.html’,‘r’,encoding=‘utf-8’)
sou=BeautifSou(f,‘lxml’)
rint(sou)
#互联网上获取的源码数据(常用)
age_text=sonse.text
sou=BeautifSou(age_text,‘lxml’)
2.通过调用BeautifSou对象中相关的属性或者方法对标签进行定位和提取
bs4具体属性的用法
1.标签，如<><a><div>等等
sou.tagName
例如
sou.a#返回的是html第一次出现的tagName的a标签
sou.div#返回的是html第一次出现的tagName的div标签
2.查找
sou.find(‘div’)用法相当于sou.div
属性定位,<divclass=‘song’>
sou.find(‘div’,class_=‘song’)class_需要带下划线
class_idttr
3.所有符合条件的标签
sou.find_all(‘a’)#返回符合所有的a标签，也可以属性定位
4.select放置选择器类选择器..代表的就是tang
sou.select(’.tang’)
sou.select(‘某种选择器(id,class,标签，选择器)’)
返回的是一个列表
定位到标签下面的标签>表示标签一个层级选择器
sou.select(’.tang>>>a’[0])
空格表示多级选择器
sou.select(‘tang’>a’[0])与上述的表达式相同
常用层级选择器
5.获取标签中间的文本数据
sou.a.textstringget_text()
区别
textget_text():可以获取某一个标签中所有的文本内容，即使不是直系的文本
string:只可以获取直系文本
6.获取标签中的属性值
sou.a[‘hf’]相当于列表操作
3.操作流程
1.爬取数据来源：古诗词网《三演义》
2.编码流程：指定URL–htt:www.shicimingju.combookguoyanyi.html
发起请求–quests
获取响应数据—页面信息
数据解析(通过bs4)--1进行指定标签的定位;2取得标签当中的文本内容
持久化存储–保存文件2.文本词频统计：中文分词库–jieba库，具体的解释已在代码处声明
3.生成词云：wordcloud，具体的解释已在代码处声明
4.生成柱状分析图:matlotb，具体的解释已在代码处声明
–url首页–我们要的是这个目录的标题和点击后的页面内容点击后的页面，发现规律详细页面要获取的内容4.完整代码
frombs4imortBeautifSou
imortquests
imortjieba#优秀的中文分词第三方库
imortwordcloud
imortandasasd
frommatlotbimortylotaslt#1.对首页html进行爬取
url='htt:www.shicimingju.combookguoyanyi.html'
headers={
'User-Agent':'Mozilla5.0(Macintosh;IntelMacOSX10_12_0)AleWebKit537.36(KHTML,keGecko)Chrome69.0.3497.100Safari537.36',
}
f=oen('.guo.txt','w',encoding='utf-8')
age_text=quests.get(url=url,headers=headers).text#2.数据解析
#实例化对象
sou=BeautifSou(age_text,'lxml')
#获得标签
_st=sou.select('.book-mu>>')
#取得标签里的属性
forin_st:
#通过bs4的方法直接获取a标签直系文本
title=.a.string
#对url进行拼接得到详情页的url
detail_url='htt:www.shicimingju.com'+.a['hf']
#对详情页发起请求
detail_age_text=quests.get(url=detail_url,headers=headers).text
#解析详情页的标签内容,重新实例化一个详情页bs对象,lxml解析器
detail_sou=BeautifSou(detail_age_text,'lxml')
#属性定位
div_tag=detail_sou.find('div',class_='chater_content')
#解析到了章节的内容，利用text方法获取
content=div_tag.text
#持久化存储
f.write(title+':'+content+'n')
rint(title,'爬取成功!!!')
rint('爬取文本成功，进行下一步，jieba分词，并生成一个guo.xlsx文件用于数据分析')
#排除一些不是人名，但是出现次数比较靠前的单词
#精确模式，把文本精确的切分开，不存在冗余单词，返回列表类型
words=jieba.lcut(txt)
#构造一个字典，来表达单词和出现频率的对应关系
counts={}
#逐一从words中取出每一个元素
forwordinwords:
#已经有这个键的话就把相应的值加1，没有的话就取值为0，再加1
iflen(word)==1:
continue
efword=="诸葛亮"orword=="孔明曰":
rword="孔明"
efword=="关公"orword=="云长":
rword="关羽"
efword=="玄德"orword=="玄德曰":
rword="刘备"
efword=="孟德"orword=="丞相":
rword="曹操"
else:
rword=word
#如果在里面返回他的次数，如果不在则添加到字典里面并加一
counts[rword]=counts.get(rword,0)+1
#删除停用词
forwordinexcludes:
delcounts[word]
#排序，变成st类型，并使用sort方法
items=st(counts.items())
#对一个列表按照键值对的2个元素的第二个元素进行排序
#Tu从大到小，结果保存在items中，第一个元素就是出现次数最多的元素
items.sort(key=lambdax:x[1],verse=True)
#将前十个单词以及出现的次数打印出来
name=[]
times=[]
foriinrange(30):
word,count=items[i]
rint("{0:<10}{1:>5}".format(word,count))
name.aend(word)
times.aend(count)rint(name)
rint(times)#创建索引
id=[]
foriinrange(1,31):
id.aend(i)
#数据帧，相当于Excel中的一个工作表
df=d.DataFrame({
'id':id,
'name':name,
'times':times,
})
#自定义索引，不然andas会使用默认的索引，这会导致生成的工作表
#也会存在这些索引，默认从0开始
df=df.set_index('id')
rint(df)
df.to_excel('guo.xlsx')
rint("DONE!")
rint('生成文件成功，进行下一步，生成词云')#词云部分
w=wordcloud.WordCloud(
font_ath="C:\Windows\Fonts\simhei.ttf",#设置字体
background_color="white",#设置词云背景颜色
max_words=1000,#词云允许最大词汇数
max_font_size=100,#最大字体大小
random_state=50#配色方案的种数
)
txt="".join(name)
w.generate(txt)
w.to_file("ciyun.ng")
rint("done!")
rint("词云生成并保存成功!!!,进行下一步生成柱状图")
dirath='guo.xlsx'
data=d.ad_excel(dirath,index_col='id',sheet_name='Sheet1')#指定id列为索引
#rint(data.head())#到此数据正常
rint('OK!，到此数据正常')
#柱状图部分
#直接使用lt.bar()绘制柱状图,颜色紫罗兰
lt.bar(data.name,data.times,color="#87CEFA")
#添加中文字体支持
lt.rcParams['font.s-serif']=['SimHei']
lt.rcParams['axes.unicode_minus']=False
#设置标题，x轴，y轴，fontsize设置字号
lt.title('三人物名字前三十名出现的次数',fontsize=16)
lt.xlabel('人名')
lt.ylabel('统计次数')
#因为X轴字体太长，利用rotation将其旋转90度
lt.xticks(data.name,rotation='90')
#紧凑型布局，x轴太长为了显示全
lt.tight_layout()
imgname='guo.jg'#设置图片保存的位置
lt.savefig(imgname)#保存图片
lt.show()
rint('柱状图生成完毕!!!')
rint('所有程序执行完成')
5.总结
尽管我们说《三演义》对汉室、对刘备有很明显的倾向性，但人物出场最多的还是曹操，这个结果会不会让你们惊讶呢？
缺点：其实人物排序也不准，比如都督，如果指周瑜的话，周瑜的排名可能会再靠前