自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

赖德发的博客

征途路上,星辰大海,交流微信:laidefa

  • 博客(77)
  • 资源 (1)
  • 论坛 (1)
  • 收藏
  • 关注

原创 【python mysql】数据库 使用Python操作MySQL

MySQLdb安装:pip install mysql-python加载包 --------------------------------------------------------------------------------import MySQLdbimport MySQLdb.cursors------------------------------------------

2017-06-30 19:29:26 1948

原创 【web服务器搭建】用MAMP和WAMP搭建Web环境

Web环境 Web服务器:Apache、Nginx,处理Web请求 数据库:MySQL,存储和管理数据 后端:PHP Web服务启动后,就可以在浏览器中访问根目录中的网站项目 MAMP:Mac,Apache,MySQL,PHP,https://www.mamp.info/en/ WAMP:Windows,Apache,MySQL,PHP,http://www.wampserver.com/

2017-06-30 17:46:38 2225

原创 【python 文本统计】西游记用字统计

1、数据 xyj.txt,《西游记》的文本,2.2MB 致敬吴承恩大师,4020行(段)2、目标 统计《西游记》中: 1. 共出现了多少个不同的汉字; 2. 每个汉字出现了多少次; 3. 出现得最频繁的汉字有哪些。3、涉及内容: 1. 读文件; 2. 字典的使用; 3. 字典的排序; 4. 写文件4、效果5、源代码# coding:utf8impor

2017-06-30 16:15:22 5010 1

原创 【zookeeper 安装教程】centos 5.8搭建环境

所需软件:VM 虚拟机 centos系统 jdk 1.6或者以上 zookeeper-3.4.6.tar.gz   这里至少需要三台server,不然的话这里zookeeper安装的时候,测试会报至少需要三台server,相关可以查看zookeeper.out(测试环境下)       首先下载jdk的rpm包,分别上传到三个虚拟机上并安装。     1.先查看系统是否存在jdk的相

2017-06-29 16:15:20 835

原创 【linux 定时器】crontab 的用法

基本格式 : *  *  *  *  *  command 分  时  日  月  周  命令 第1列表示分钟1~59 每分钟用*或者 */1表示 第2列表示小时0~23(0表示0点) 第3列表示日期1~31 第4列表示月份1~12 第5列标识号星期0~6(0表示星期天) 第6列要运行的命令 crontab文件的一些例子: 30 21 * * * /usr/local/etc/r

2017-06-23 21:25:27 1188

原创 【linux iptable】iptable练习

#查看帮助iptables -hman iptables列出iptables规则iptables -L -n列出iptables规则并显示规则编号iptables -L -n --line-numbers列出iptables nat表规则(默认是filter表)iptables -L -n -t nat清除默认规则(注意默认是filter表,如果对nat表操作要加-t nat)#清楚所

2017-06-23 21:23:46 1013

原创 【linux ssh免密码登录】linux 免密码登录

**配置主机之间的免密ssh登陆 vi /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.

2017-06-23 19:49:21 828

原创 【linux 软件安装】linux 安装tomcat

安装tomcat1.上传apache-tomcat-7.0.68.tar.gz到Linux上 2.解压tomcat tar -zxvf apache-tomcat-7.0.68.tar.gz -C /usr/local/ 3.启动tomcat /usr/local/apache-tomcat-7.0.68/bin/startup.sh bin/shutdown.sh #停止tomcat

2017-06-23 19:18:48 851

原创 【linux 软件安装】nginx 安装

安装nginxtar -zxvf nginx-1.8.1.tar.gz -C /usr/local/src3.3.编译nginx#进入到nginx源码目录cd /usr/local/src/nginx-1.8.1#检查安装环境,并指定将来要安装的路径./configure --prefix=/usr/local/nginx#缺包报错 ./configure: error: C compil

2017-06-23 19:17:41 430

原创 【linux 命令】Linux 下常用压缩文件的解压、压缩

常用压缩包解压命令整理 Linux 后缀为 .tar.gz 格式的文件-解压 命令:tar zxvf XXXXXX.tar.gzLinux 后缀为 .bz2 格式的文件-解压 命令:bzip2 -d XXXXXX.bz2Linux 后缀为 .tar.bz2 格式的文件-解压 命令:tar jxvf XXXXXX.tar.bz2Linux 后缀为 .tar 格式的文件-解压 命令:tar z

2017-06-23 11:30:39 874

原创 【linux 命令】进程控制

1.查看用户最近登录情况 last lastlog2.查看硬盘使用情况 df3.查看文件大小 du4.查看内存使用情况 free5.查看文件系统 /proc6.查看日志 ls /var/log/7.查看系统报错日志 tail /var/log/messages8.查看进程 top9.结束进程 kill 1234 kill -9 4333

2017-06-21 22:15:17 344

原创 【linux 命令】输入输出重定向及管道

1.新建一个文件 touch a.txt b.txt2.错误重定向:2> find /etc -name zhaoxing.txt 2> error.txt3.将正确或错误的信息都输入到log.txt中 find /etc -name passwd > /tmp/log.txt 2>&1 find /etc -name passwd &> /tmp/log.txt4.追加>>5.将小

2017-06-21 22:13:10 614

原创 【linux 命令】正则表达式

1.cut截取以:分割保留第七段 grep hadoop /etc/passwd | cut -d: -f72.排序 du | sort -n 3.查询不包含hadoop的 grep -v hadoop /etc/passwd4.正则表达包含hadoop grep ‘hadoop’ /etc/passwd5.正则表达(点代表任意一个字符) grep ‘h.*p’ /etc/passwd6.

2017-06-21 22:12:00 522

原创 【linux 命令】解压和打包

1.gzip压缩 gzip a.txt2.解压 gunzip a.txt.gz gzip -d a.txt.gz3.bzip2压缩 bzip2 a4.解压 bunzip2 a.bz2 bzip2 -d a.bz25.将当前目录的文件打包 tar -cvf bak.tar . 将/etc/password追加文件到bak.tar中(r) tar -rvf bak.tar /etc/p

2017-06-21 22:10:56 739

原创 【linux 命令】查找

1.查找可执行的命令: which ls2.查找可执行的命令和帮助的位置: whereis ls3.查找文件(需要更新库:updatedb) locate hadoop.txt4.从某个文件夹开始查找 find / -name “hadooop*” find / -name “hadooop*” -ls5.查找并删除 find / -name “hadooop*” -ok rm {} \

2017-06-21 22:09:16 484

原创 【JDK 安装】linux下jdk安装步骤

1.安装JDK *添加执行权限 chmod u+x jdk-6u45-linux-i586.bin *解压 ./jdk-6u45-linux-i586.bin *在/usr目录下创建java目录 mkdir /usr/java *将/soft目录下的解压的jdk1.6.0_45剪切到/usr/java目录

2017-06-21 22:08:18 452

原创 【linux 命令】权限

创建a.txt和b.txt文件,将他们设为其拥有者和所在组可写入,但其他以外的人则不可写入: chmod ug+w,o-w a.txt b.txt创建c.txt文件所有人都可以写和执行 chmod a=wx c.txt 或chmod 666 c.txt将/itcast目录下的所有文件与子目录皆设为任何人可读取 chmod -R a+r /itcast将/itcast目录下的所有文件与子目录的拥

2017-06-21 22:05:04 284

原创 【linux 命令】用户和组

添加一个tom用户,设置它属于users组,并添加注释信息 分步完成:useradd tom usermod -g users tom usermod -c “hr tom” tom 一步完成:useradd -g users -c “hr tom” tom设置tom用户的密码 passwd tom修改tom用户的登陆名为tomcat usermo

2017-06-21 22:02:53 1219

原创 【linux 命令】系统命令

1.查看主机名 hostname2.修改主机名(重启后无效) hostname hadoop3.修改主机名(重启后永久生效) vi /ect/sysconfig/network4.修改IP(重启后无效) ifconfig eth0 192.168.12.225.修改IP(重启后永久生效) vi /etc/sysconfig/network-scripts/ifcfg-eth06.查看系统信

2017-06-21 22:01:35 403

原创 【linux 命令】文件相关命令

1.进入到用户根目录 cd ~ 或者 cd cd ~hadoop 回到原来路径 cd -2.查看文件详情 stat a.txt3.移动 mv a.txt /ect/ 改名 mv b.txt a.txt 移动并改名 mv a.txt ../b.txt4拷贝并改名 cp a.txt /etc/b.txt5.vi撤销修改 ctrl + u (undo) 恢复 ctrl + r

2017-06-21 21:58:57 446

原创 【linux 常用命令】linux命令大全

说明:安装linux时,创建一个itcast用户,然后使用root用户登陆系统1.进入到用户根目录 cd ~ 或 cd2.查看当前所在目录 pwd3.进入到itcast用户根目录 cd ~itcast4.返回到原来目录 cd -5.返回到上一级目录 cd ..6.查看itcast用户根目录下的所有文件 ls -la7.在根目录下创建一个itcast的文件夹 mkdir /itcast8

2017-06-21 21:55:40 343

原创 【vmware 服务器安装】虚拟机centos6.5安装步骤

步骤一:安装node1,配置node1vi /etc/sysconfig/network-scripts/ifcfg-eth0ONBOOT=yes #是否开机启用修改完成之后reboot步骤二:克隆node2,node3出来步骤三:配置 node2,node3 1、vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=node22,解决克隆后e

2017-06-20 16:01:09 1004

原创 【matlab GUI】GUI listbox的用法

A= get(handles.listbox1,'value'); %A的值代表我们选的是第几个选项switch Acase 1 % 当我们选的是1 时,给变量B赋个什么样的值,依次类推,最后B将是你想要的结果 I=imread('1.jpg'); I0=rgb2gray(I); axes(handles.axes2) BW1=edge(I0,'Roberts

2017-06-15 17:20:40 24215 5

原创 【matlab 图像处理】五种边缘检测算法比较

代码实现I=imread('1.jpg');I0=rgb2gray(I);subplot(231);imshow(I);BW1=edge(I0,'Roberts',0.16);subplot(232);imshow(BW1);title('Robert算子边缘检测')BW2=edge(I0,'Sobel',0.16);subplot(233);imshow(BW2);title(

2017-06-15 17:16:46 12348

原创 【python 淘宝爬虫】python 淘宝店铺名称,旺旺,销售量 抓取

一、需求分析 抓取淘宝店铺名称,旺旺,销售量 二、效果展示 三、实现源代码# encoding: utf-8import sysreload(sys)sys.setdefaultencoding('utf-8')import pandas as pdimport timeimport retime1=time.time()import requestsseller=[]shop=[]

2017-06-15 10:46:07 9514 1

原创 【python 淘宝爬虫】淘宝信誉分抓取

一、需求分析 输入旺旺号,获取淘宝卖家的信用分二、思路 淘宝需要模拟登陆,我们这里抓不到,因此为了绕过登陆,发现了淘一兔,我们可以通过这里,得到淘宝卖家的信用分,结果是一样的。 http://www.taoyizhu.com/输入旺旺号,需要点击查询,等待几秒,得到查询结果,这里我们用selienum 来做三、实现源代码(抓取不能太快,否则抓不到)# encoding: utf-8from s

2017-06-15 10:39:56 8679

原创 【数据科学】当代数据科学家需要掌握的技能

道路通往星辰大海,纵有荆棘不言孤单~

2017-06-15 09:47:01 1421

原创 【python 爬虫】selenium+phontomjs 用法

程序1:输入病员号,查询病员信息# encoding: utf-8from selenium import webdriverimport sysreload(sys)sys.setdefaultencoding('utf-8')from lxml import etreeimport pandas as pdimport timetime1=time.time()driver=we

2017-06-15 09:41:27 1438

原创 【spark 词频统计】spark单词进行计数升级版

下面的代码对文件里的单词进行计数,筛选出现过10次的单词,然后对这些单词中的每个字符出现的次数进行计数。最后,通过collect action操作触发job的执行。这些转换中有两个是stage边界(它们有宽依赖)。代码中的两个reduceByKey转换是生成3个stage的原因:val words = sc.textFile("textFilePath").flatMap(_.split(' '))

2017-06-14 10:07:30 2729

原创 【R语言 可视化】R语言画图增加次要刻度线

dose<-c(20,30,40,45,60)drugA<-c(16,20,27,40,60)plot(dose,drugA,xlim = c(0,70))library(Hmisc)minor.tick(nx=5,ny=5)

2017-06-13 10:13:50 5274

原创 【python 数据可视化 】饼图,箱线图,条形图,直方图,折线图,散点图

# coding:UTF-8import matplotlib.pyplot as pltimport numpy as npimport pandas as pdimport matplotlib.dates as mdates##画直线plt.plot([1,2,3,4,5],[1,2,3,4,5])plt.show()##numpy 导入数据,切片,索引a=np.loadtxt(

2017-06-13 10:12:21 7255

原创 【R语言 社交网络】R语言关系网络图+ PageRank算法实现

例子1:library(plyr)set.seed(10)rm(list=ls())library(igraph)g<-random.graph.game(n=10,p.or.m=1/3,directed=TRUE)com = walktrap.community(g, steps = 6)V(g)$sg = com$membership + 1V(g)$color = rainbow

2017-06-13 10:07:56 7919 2

原创 【spark 学习笔记】Spark学习笔记精华(1)

好记性不如烂笔头,顺便就开始用手机练习打字了,也分享给感兴趣的朋友学习下。1.take可以查看RDD中前面几个元素,而且代价很小。rdd.take(5)2.可以用takeSample对数据进行采样,它的第一个参数表示是否允许重复采样。rdd.takeSample(true,3)3.top返回数据集中按给定ordering方式排序的最大的k条记录,许多场景都要用到它,比如对每条记录打分之后,检查得分

2017-06-13 10:05:19 631

原创 【spark RDD】RDD编程

%spark/*创建RDD*/val data0=sc.parallelize(Array(1,2,3,3))/*************************************对一个数据的RDD进行转换操作************************************************//*map*/val data1=data0.map(x=>x+1)//每个元素

2017-06-13 10:03:46 1217

原创 【spark 数据框】Spark数据框dataFrame

%spark/*DataFrame*/val data=sc.parallelize(List(("Alice",21),("Bob",24))) val people=data.toDF("name","age")people.show()/*增加一列*/val df1=(1 to 5).map(i=>(i,i*2)).toDF("single","double")df1.show()

2017-06-13 10:02:28 1388

原创 【R 可视化】R 画关系网络图

rm(list=ls())library(igraph)#1.用igraph创建图表g<- graph(c(1,2, 1,8,1,9,1,10,2,4,2,5,2,6,2,3,3,7,3,11,3,12,3,1), directed=T)com = walktrap.community(g, steps = 6)V(g)$sg = com$membership + 1V(g)$color

2017-06-13 10:01:25 11386

原创 【spark 累加器】spark 累加器求1+2+3+4+5+......+100

%sparkval accum = sc.accumulator(0)val num=1 to 100sc.parallelize(num).foreach(x => accum += x)val total_sum=accum.valueprintln(total_sum)accum: org.apache.spark.Accumulator[Int] = 0num: scala.co

2017-06-13 09:59:43 1205

原创 【R语言 函数】R语言聚合函数总结

> rm(list=ls())> > > # 聚合函数学习> data(iris)> ##tapply 分组求和> (aa<-tapply(iris$Sepal.Length,iris$Species,sum)) setosa versicolor virginica 250.3 296.8 329.4 > > ##rowsum 分组求和

2017-06-13 09:58:00 7592

原创 【R语言 算法设计】信用贷款余额计算

#####设置rm(list = ls())options(scipen =20)########################step0:读取数据##########################data<-read.table("E:\\贷款余额\\信用贷款.txt",sep="\t",header=T)#########################step1:数据处理#####

2017-06-13 09:55:43 1690

原创 【算法 机器学习】R语言做朴素贝叶斯和决策树算法

data:2016-02-19author:laidefa########################朴素贝叶斯#####################################目标:利用朴素贝叶斯预测苹果是好的坏的rm(list=ls())gc()library(plyr)library(reshape2)#训练集train.apple<-data.frame(size=

2017-06-13 09:53:12 2564

gbdt和xgboost算法详解

该文档详细介绍了机器学习算法中的GBDT和XGboost 两大神器

2018-01-24

开心果汁的留言板

发表于 2020-01-02 最后回复 2020-03-22

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除