【python 爬虫】识别网站所用技术

有一个十分有用的工具可以检查网站构建的技术类型——builtwith 模块(只支持python2环境,python3环境报错)。

pip install builtwith

该模块将 URL 作为参数,下载该 URL 并对其进行分析,然后返回该网站使用的技术。

举个例子:

>>> import builtwith
>>> builtwith.parse('http://xxxxxxxxxxxxxxxxxx')
{u'javascript-frameworks': [u'jQuery', u'Moment.js'], u'web-frameworks': [u'Flask', u'Twitter Bootstrap'], u'programming-languages': [u'Python'], u'web-servers': [u'Python']}
>>> 

用的python flask框架写的。

再来看下csdn用的什么技术。(lua语言写的)

>>> builtwith.parse('http://blog.csdn.net/')
{u'javascript-frameworks': [u'jQuery'], u'font-scripts': [u'Font Awesome'], u'web-frameworks': [u'Twitter Bootstrap'], u'programming-languages': [u'Lua'], u'web-servers': [u'OpenResty', u'Nginx']}
>>> 
已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页