自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

赖德发的博客

征途路上,星辰大海,交流微信:laidefa

  • 博客(19)
  • 资源 (1)
  • 论坛 (1)
  • 收藏
  • 关注

原创 【 python pymongo】使用pymongo的例子

MongoDB优点 MongoDB是一个为当代web应用而生的noSQL数据库,它有如下优点:1、文档型存储。可以把关系型数据库的表理解为一个电子表格,列表示字段,每行的记录其实是按照列的字段顺序排列的值得元组。而存储在MongoDB中的文档被存储为键-值对的形式,值却可以是任意类型且可以嵌套。之前在用关系型数据库的时候,我们把产品信息打散到不同的表中,要通过关系表或者使用join拼接成复

2018-01-31 21:10:59 618

原创 【redis 安装和启动】centos 下安装和启动redis

安装rediswget http://download.redis.io/releases/redis-3.2.1.tar.gztar -zxvf /redis-3.2.1.tar.gzcd redis-3.2.1make && make install启动redis$ ./redis-server redis.conf进入redis$ cd src$ ./redis

2018-01-30 17:54:38 281

原创 【python 多线程】线程与进程的关系

主要内容1、线程与进程的关系2、GIL全局解释器锁3、thread和threading4、Lock 和 Rlock的区别一、线程与进程的关系 根据上图可以看出,进程包含线程。也就是说默认情况下 一个进程肯定会有一个线程的。多线程也就是在一个进程里面开出多个线程。多进程里面也可以包含多线程。多进程之间是不可以直接通讯的。但是由于多线程是被同一个进程包裹,故多线程中资源

2018-01-30 17:00:01 408

原创 【python supervisor】在服务器端,如何一直运行你的python代码

方法1:nohup 命令nohup python *.py &方法2:使用supervisor保持python进程运行Supervisord是一个守护进程的工具,当进程意外终止或服务器掉电起来后,希望进程能够自动运行,supervisord可以很好的为我们做这件事情。同时supervisord也自带监控界面,可以通过浏览器灵活的查看、操作。安装:ubantu:s

2018-01-26 16:47:23 12683 2

原创 【linux pip安装】python包管理工具 pip 安装

下载文件wget https://bootstrap.pypa.io/get-pip.py --no-check-certificate执行安装python get-pip.py这就安装好了

2018-01-24 17:52:35 411

原创 【python 随机数】Python里面如何生成随机数?

主要知识点: 随机整数:random.randint(a,b):返回随机整数x,a包含范围的随机整数 random.randrange(start,stop,[,step]):返回一个范围在(start,stop,step)之间的随机整数,不包括结束值。0-1之间的随机浮点数 随机实数:random.random( ):返回0到1之间的浮点数指定范围的随机浮点数 rando

2018-01-24 11:34:27 1993

原创 python 数据分析 高效的学习路径

一、数据分析师应该具备哪些技能数据分析人才热度也是高居不下,一方面企业的数据量在大规模的增长,对于数据分析的需求与日俱增;另一方面,相比起其他的技术职位,数据分析师的候选者要少得多。 要明确学习的路径,最有效的方式就是看具体的职业、工作岗位对于技能的具体需求。 我们从拉勾上找了一些最具有代表性的数据分析师职位信息,来看看薪资不菲的数据分析师,到底需要哪些技能。其实企

2018-01-23 09:49:43 5719

原创 【tensorflow CNN】构建cnn网络,识别mnist手写数字识别

#coding:utf8"""构建cnn网络,识别mnistinput conv1 padding max_pool([2,2],strides=[2,2]) conv2 x[-1,28,28,1] 卷积 [5,5,1,32] -> [-1,24,24,32]->[-1,28,

2018-01-19 15:28:03 381

原创 【tensorflow 全连接神经网络】 minist 手写数字识别

主要内容: 使用tensorflow构建一个三层全连接传统神经网络,作为字符识别的多分类器。通过字符图片预测对应的数字,对mnist数据集进行预测。# coding: utf-8from tensorflow.examples.tutorials.mnist import input_dataimport tensorflow as tfimport matplotlib.pyplot

2018-01-19 15:12:38 900

原创 【spark 读写数据】数据源的读写操作

通用的 Load/Save 函数在最简单的方式下,默认的数据源(parquet 除非另外配置通过spark.sql.sources.default)将会用于所有的操作。Parquet 是一个列式存储格式的文件,被许多其他数据处理系统所支持。Spark SQL 支持对 Parquet 文件的读写还可以自动的保存源数据的模式val usersDF = spark.read.load("e

2018-01-18 15:27:40 690

原创 【mysql 删除大表中的数据】如何删除100G以上的大表中的数据

两个删除策略: 1、慢的方法是写脚本定时任务带where的delete语句 慢慢删除 范围定小一点 锁的时间很短 客户端无感; 2、快的方法就是找个业务空的时候 新建表 程序往新表中插入 然后把老表中需要的记录让新表中插入;看到mysql文档有一种解决方案:https://dev.mysql.com/doc/refman/5.0/en/delete.html简单的翻译下:

2018-01-17 15:43:30 11005

原创 【mysql 数据表恢复】误删整张表数据,需要紧急回滚

应用案例误删整张表数据,需要紧急回滚闪回详细介绍可参见example目录下《闪回原理与实战》example/mysql-flashback-priciple-and-practice.mdtest库tbl表原有数据mysql> select * from tbl;+----+--------+---------------------+| id | name | addt

2018-01-12 16:11:55 7608

原创 【tensorflow 计算图】tensorflow 核心--计算图和线性回归模型

您可能会认为TensorFlow Core程序由两个独立部分组成:构建计算图。运行计算图。tensorflow 版本线性回归模型import numpy as npimport tensorflow as tf# Model parametersW = tf.Variable([.3], tf.float32)b = tf.Variable([-.3], tf.floa

2018-01-09 15:15:41 348

原创 【Tensorflow 安装URL】TensorFlow Python包的URL

一些安装机制需要TensorFlow Python包的URL。您指定的值取决于三个因素:操作系统Python版本仅CPU与GPU支持Python 2.7仅CPU:https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-1.1.0-cp27-none-linux_x86_64.whlGPU支持:https

2018-01-09 14:20:59 1199

原创 【hive 非等值连接】Hive 中 Map Join 的适用场景:非等值连接

一、需求分析 1: 有一个极小的表 2: 需要做不等值join操作(a.x 这种操作如果直接使用join的话语法不支持不等于操作,hive语法解析会直接抛出错误 如果把不等于写到where里会造成笛卡尔积,数据异常增大,速度会很慢。甚至会任务无法跑成功~二、mapjoin的计算原理 MAPJION会把小表全部读入内存中,在map阶段直接拿另外一个表的数据和内存中表数据做匹配。这种情

2018-01-09 14:06:07 1113

原创 【hive 安装】Hive1.2.1_HA集群部署安装

1、准备工作# 基础准备工作# hivewget http://mirrors.cnnic.cn/apache/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gztar -zxvf apache-hive-1.2.1-bin.tar.gzmv apache-hive-1.2.1-bin /www/hive# 创建/www/hive的软连接/opt

2018-01-09 13:54:38 892

原创 【mysql 清空数据】清除mysql表中数据

主要命令 有两种,一种是delete 方式,一种是 truncate table 方式。delete from 表名;truncate table 表名;不带where参数的delete语句可以删除mysql表中所有内容, 使用truncate table也可以清空mysql表中所有内容。 效率上truncate比delete快, 但truncate删除后不记录mysql日志,不可以恢复数据

2018-01-05 11:00:57 2710

原创 【深度学习 CNN】卷积神经网络模型--VGGNet(CNN )

VGGNet 网络结构诞生自牛津大学视觉几何组(Visual Geometry Group),也因此依照传统以作者VGG命名而来。算法思想:从网络设计思路来看,VGGNet是继承了AlexNet 的思路,以AlexNet 为基础,尝试建立了一个层次更多、深度更深的网络。其网络结构一样可以有8个层次所构成。也是5层卷积层,3层全连接层。最主要的区别在于,VGGNet的每个卷积网层并不是只做一次卷积操作

2018-01-04 16:10:40 1178

原创 【mysql 累加、累减】MySQL累积求和,累加变累减

主要内容: 1、累加求和 2、累加变累减(挪位思想)创建表CREATE TABLE cum_demo(id INT,money INT,PRIMARY KEY (id));插入数据insert into cum_demo(id,money)values (1,10),(2,20),(3,30),(4,40);id money1 102 203 304 40累加求和方

2018-01-02 16:21:25 11925 1

gbdt和xgboost算法详解

该文档详细介绍了机器学习算法中的GBDT和XGboost 两大神器

2018-01-24

开心果汁的留言板

发表于 2020-01-02 最后回复 2020-03-22

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除