python有哪些好玩的应用实现，用python爬虫做一...【黑马python培训】

更新时间:2019年07月26日 11时12分29秒 来源:黑马程序员论坛

python 爬虫常用模块： Python标准库——urllib模块 功能：打开URL和http协议之类 注：python 3.x中urllib库和urilib2库合并成了urllib库。 其中urllib2.urlopen()变成了urllib.request.urlopen()，urllib2.Request()变成了urllib.request.Request() urllib请求返回网页 urllib.request.urlopen 1 urllib.request.open(url[,data,[timeout,[cafile,[capth[,cadefault,[context]]]]]]) urllib.requset.urlioen可以打开HTTP（主要）、HTTPS、FTP、协议的URL ca 身份验证 data 以post方式提交URL时使用 url 提交网络地址（全程 前端需协议名 后端需端口 http://www.smpeizi.com） timeout 超时时间设置 函数返回对象有三个额外的方法 geturl() 返回response的url信息 常用与url重定向info()返回response的基本信息 getcode()返回response的状态代码 示例： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 #coding:utf-8 import urllib.request import time import platform #清屏函数(无关紧要 可以不写) def clear():     print(u"内容过多 3秒后清屏")     time.sleep(3)     OS = platform.system()     if (OS == u'Windows'):         os.system('cls')     else:         os.system('clear') #访问函数 def linkbaidu():     url = 'http://www.pzzs168.com'     try:         response = urllib.request.urlopen(url,timeout=3)     except urllib.URLError:         print(u'网络地址错误')         exit()     with open('/home/ifeng/PycharmProjects/pachong/study/baidu.txt','w') as fp:         response = urllib.request.urlopen(url,timeout=3)         fp.write(response.read())     print(u'获取url信息，response.geturl()\n:%s'%response.getrul())     print(u'获取返回代码，response.getcode()\n:%s' % response.getcode())     print(u'获取返回信息，response.info()\n:%s' % response.info())     print(u"获取的网页信息经存与idiancai.com") if __name__ =='main':     linkbaidu() Python标准库–logging模块 logging模块能够代替print函数的功能，将标准输出到日志文件保存起来，利用loggin模块可以部分替代debug re模块 正则表达式 sys模块 系统相关模块 sys.argv(返回一个列表，包含所有的命令行) sys.exit(退出程序) Scrapy框架 urllib和re配合使用已经太落后，现在主流的是Scrapy框架

推荐了解热门学科

传智播客是一家致力于培养高素质软件开发人才的科技公司，“黑马程序员”是传智播客旗下高端IT教育品牌。自“黑马程序员”成立以来，教学研发团队一直致力于打造精品课程资源，不断在产、学、研3个层面创新自己的执教理念与教学方针，并集中“黑马程序员”的优势力量，针对性地出版了计算机系列教材50多册，制作教学视频数+套，发表各类技术文章数百篇。

传智播客从未停止思考

传智播客副总裁毕向东在2019IT培训行业变革大会提到，“传智播客意识到企业的用人需求已经从初级程序员升级到中高级程序员，具备多领域、多行业项目经验的人才成为企业用人的首选。”

中级程序员和初级程序员的差别在哪里?
项目经验。毕向东表示，“中级程序员和初级程序员最大的差别在于中级程序员比初级程序员多了三四年的工作经验，从而多出了更多的项目经验。“为此，传智播客研究院引进曾在知名IT企业如阿里、IBM就职的高级技术专家，集中研发面向中高级程序员的课程，用以满足企业用人需求，尽快补全IT行业所需的人才缺口。

何为中高级程序员课程?

传智播客进行了定义。中高级程序员课程，是在当前主流的初级程序员课程的基础上，增加多领域多行业的含金量项目，从技术的广度和深度上进行拓展。“我们希望用5年的时间，打造上百个高含金量的项目，覆盖主流的32个行业。”传智播客课程研发总监于洋表示。




黑马程序员热门视频教程【点击播放】