【R语言爬虫】网贷天眼数据平台表格数据抓取2

一、需求分析
抓取url:
http://www.p2peye.com/shuju/ptsj/
昨日数据:
字段:排序 平台名称 成交额 综合利率 投资人 借款周期 借款人 满标速度 累计贷款余额 资金净流入

这里写图片描述

二、rvest爬虫实现源代码

rm(list=ls())
gc()
options(scipen = 200)
library('rvest')
timestart<-Sys.time()

url="http://www.p2peye.com/shuju/ptsj/"

#从网站中读取HTML代码
webpage <- read_html(url)

#使用CSS选择器来爬取排名部分
rank_data_html <- html_nodes(webpage,'.num')
#将排名数据转化为文本
rank_data <- html_text(rank_data_html)
#数据预处理:将排名转换为数字格式
rank_data<-as.numeric(rank_data[2:length(rank_data)])

name <- html_nodes(webpage,'.name')
name_data <- html_text(name[2:length(name)])
#数据预处理:去掉'\n'
name_data<-gsub("\n","",name_data)
#数据预处理:去掉多余的空格
name_data<-gsub(" ","",name_data)

total <- html_nodes(webpage,'.total')
total_data <- html_text(total[2:length(total)])

rate <- html_nodes(webpage,'.rate')
rate_data <- html_text(rate[2:length(rate)])

pnum <- html_nodes(webpage,'.pnum')
pnum_data <- html_text(pnum[2:length(pnum)])

cycle <- html_nodes(webpage,'.cycle')
cycle_data <- html_text(cycle[2:length(cycle)])

p1num <- html_nodes(webpage,'.p1num')
p1num_data <- html_text(p1num[2:length(p1num)])

fuload <- html_nodes(webpage,'.fuload')
fuload_data <- html_text(fuload[2:length(fuload)])

alltotal <- html_nodes(webpage,'.alltotal')
alltotal_data <- html_text(alltotal[2:length(alltotal)])

capital <- html_nodes(webpage,'.capital')
capital_data <- html_text(capital[2:length(capital)])

data <- data.frame("排序"=rank_data,"平台名称"=name_data,"成交额"=total_data,"综合利率"=rate_data,
                   "投资人"=pnum_data,"借款周期"=cycle_data,"借款人"=pnum_data,"满标速度"=fuload_data,
                   "累计贷款余额"=alltotal_data,"资金净流入"=capital_data)

###############写出数据到excel
library(xlsx)
write.xlsx(data,"C:\\mydata.xlsx",row.names = F)  
timeend<-Sys.time()
runningtime<-timeend-timestart
print(runningtime) 

这里写图片描述

这里写图片描述

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页