自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

赖德发的博客

征途路上,星辰大海,交流微信:laidefa

原创 【数仓 概念理解】数据仓库建设:数据分层

数据分层的目的是更好的管理数据,对数据能有一个更加清晰的掌控。数据分层使的数据具有清晰的数据结构,便于进行数据血缘追踪,能够把复杂问题简单化,减少重复开发,屏蔽原始数据的异常和业务的影响。每个企业或组织由于各自业务、规范、目标不尽相同,分层的策略可能会有一些区分,通用的数据分层结构如下图所示。 D...

2020-10-14 09:18:32 39 0

原创 【NLP 自然语言处理】自然语言处理技术难点和挑战

一、**NLP 技术对标注数据依赖性较高,难以在标注数据稀缺的任务、语言或领域内发挥作用。**此前小米首席 NLP 科学家王斌在接受 InfoQ 采访时也曾表 示,获得大规模的高质量标注数据永远是个难题。当前主流方法的效果取决于标注数据的规模和质量。为解决这一问题,可以采用基于大规模无监督数据的预...

2020-10-14 09:15:52 105 0

原创 【python docker部署】docker 部署 Flask服务

Docker是一个用于开发,发布和运行应用程序的开放平台。Docker使您能够将应用程序与基础架构分开,从而可以快速交付软件。借助Docker,您可以以与管理应用程序相同的方式来管理基础架构。通过利用Docker的方法来快速交付,测试和部署代码,您可以大大减少编写代码和在生产环境中运行代码之间的延...

2020-09-30 13:07:39 49 0

原创 【linux 内存占满】linux 内存排查技巧

1、执行 free -h 查看内存使用情况 (base) [root@HK-AI sinoma]# free -h total used free shared buff/cache available Mem: 31G 24G 766M 121M 6.2G 6.3G Swap: 15G 0B...

2020-09-30 08:52:32 80 0

原创 【python 读取hbase数据】happybase 轻松读取hbase数据集

HappyBase是开发人员友好的Python库,可与Apache HBase进行交互。HappyBase设计用于标准HBase设置,并为应用程序开发人员提供了Pythonic API以与HBase进行交互。在表面之下,HappyBase使用Python Thrift库通过其Thrift网关连接到...

2020-09-27 18:54:45 66 0

原创 【pip 错误】No module named ‘pip._internal‘ 解决

pip 坏了,先执行 python -m pip install --upgrade pip cmd下,输入如下命令: curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py python get-pip.p...

2020-09-27 18:33:16 44 0

原创 【XGBoost 时间序列预测】XGBoost做时间序列预测

XGBoost是用于分类和回归问题的梯度提升集成方法的一个实现。XGBoost是为表格式数据集的分类和回归问题而设计的,也可以用于时间序列预测。通过使用滑动时间窗口表示,时间序列数据集可以适用于有监督学习。下面我们一起来学习下: 1、xgboost安装: pip install xgboost ...

2020-09-05 14:30:41 227 0

原创 【python 3.7.5 求解二次规划】MATLAB函数quadprog的python 实现

matlab 使用quadprog 函数,求解线性规划,二次规划等问题。那么如何保持跟matlab 相同的参数,python使用习惯呢,下面定义一个函数,符合matlab用户的使用习惯。简单例子如下: import numpy as np import cvxopt def quadprog(...

2020-09-02 11:12:54 157 0

原创 【cvxopt 二次规划求解】python3.x安装凸优化cvxopt包求解二次规划

python 版本:3.7.5 一、Windows 平台安装: 1、下载cvxopt-1.2.5-cp37-cp37m-win_amd64.whl 文件 https://www.lfd.uci.edu/~gohlke/pythonlibs/#cvxopt 2、下载 numpy-1.19.1+mk...

2020-08-25 15:19:37 143 0

原创 【python openopc】python3安装OpenOPC教程

Python安装OpenOPC OPC是一个工业数据读写标准,用户开发OPC客户端,进行连接OPC服务器,访问开放的数据接口,进行读写数据。 下面我们进行python3 连接 opc windows平台: 以管理员身份运行cmd 在以管理员身份运行的cmd窗口中输入命令 pip install ...

2020-08-18 13:53:09 310 0

原创 【python 共享文件夹】python开启共享文件夹服务

进入cmd命令: cd D:\深度学习\数据集 python -m http.server 6789 执行命令 python -m http.server 端口号,我这里演示指定端口号为: 6789 ,执行完成 在浏览器上访问:http://127.0.0.1:6789/ 这个搭建是不是非...

2020-06-20 16:47:47 476 0

原创 【redis 过期清理】10分钟了解下redis key过期如何清理

在Redis中,对于过期key的清理主要有惰性清除,定时清理,内存不够时清理三种方法,下面我们就来具体看看这三种清理方法。 (1)惰性清除 在访问key时,如果发现key已经过期,那么会将key删除。 (2)定时清理 Redis配置项hz定义了serverCron任务的执行周期,默认每次清理时间为...

2020-06-09 09:06:05 392 0

原创 【python 可视化】精美展示你的机器学习项目

1、包介绍 Streamlit是一个开放源代码的Python库,可轻松构建用于机器学习和数据科学的精美自定义Web应用程序。 要使用它,只需导入它,然后编写几行代码,然后使用运行脚本即可。Streamlit监视每次保存时的更改,并在编码时实时更新应用程序。代码从上到下运行,始终从干净状态开始,不需...

2020-06-02 09:51:28 269 0

原创 【模型 图片展示】OSError: `pydot` failed to call GraphViz.Please install GraphViz

1、安装包 pip install pydot-ng pip install graphviz pip install pydot 2.安装了以上模块,但是还是报错误,发现GraphViz的可执行文件没有,需要下载可执行文件。 下载地址: win10下载地址 下载安装好之后,配置环境变量...

2020-05-28 13:51:37 134 0

原创 【python 获取本地mac地址】python获取本地ip、mac地址

python 获取 本地mac 地址,本地ip地址 # -*- encoding=utf-8 -*- # 获取本机mac地址 import uuid def get_mac_address(): mac=uuid.UUID(int = uuid.getnode()).hex[-12:] ...

2020-05-18 17:28:50 262 0

原创 【python 加速方法】破剑式-numba 提高python速度

python一直被病垢运行速度太慢,但是实际上python的执行效率并不慢,慢的是python用的解释器Cpython运行效率太差。“一行代码让python的运行速度提高100倍”这绝不是哗众取宠的论调。 下面我们来看个例子: 从1一直累加到1亿。 import time def foo(x,y...

2020-04-26 16:38:53 429 0

原创 【回归算法 评价指标】MAE,MSE,RMSE,R-square计算函数

回归算法,经常需要用到一些评估指标,它们分别是MAE,MSE,RMSE,R方,python实现如下: # -*- coding: utf-8 -*- import math import numpy as np import pandas as pd # 回归评估指标计算,平均绝对误差,均方误...

2020-04-22 09:16:49 561 0

原创 【强化学习--Qlearning】快速入门Q-learning强化学习思想

强化学习是一类算法,是让计算机从什么都不懂,脑袋里一点想法都没有,通过不断地尝试,从错误中学习,最后找到规律,学习到达到目标的方法。这就是一个完整的强化学习过程。 如为了实现自走的路径,并尽量避免障碍,设计一个路径。 如图所示,当机器人在图中的任意网格中时,怎样让它明白周围环境,最终到达目标位置。...

2020-04-19 13:00:18 318 0

原创 【tensorflow2.0 图片数据】tensorflow中准备图片数据的常用方案

在tensorflow中准备图片数据的常用方案有两种,第一种是使用tf.keras中的ImageDataGenerator工具构建图片数据生成器。 第二种是使用tf.data.Dataset搭配tf.image中的一些图片处理方法构建数据管道。 第一种方法更为简单 from keras.prepr...

2020-04-09 09:30:12 579 0

原创 【GPU linux环境搭建】10分钟了解下centos 下 GPU搭建过程

主要内容 1、深度学习显卡驱动安装 2、cudatoolkit安装 3、cudnn安装 4、验证安装成功 一、基本环境信息 显卡:GeForce GTX 1660 操作系统:CentOS 7.4 二、基础环境验证 验证系统是否能正常识别 GPU lspci | grep -i nvidia ...

2020-03-22 14:12:20 885 0

原创 【mysql 时间戳】mysql时间戳timestamp类型 时间不对

mysql数据库的系统时区,其实是分两种的,一种是mysql的全局时区,另外一种是当前会话的时区,如果当前会话不指定时区,就默认使用全局时区。 执行如下命令,用于查看当前MySQL设置的时区信息: show variables like "%time_zone%"; +---...

2020-03-21 10:50:04 736 0

原创 【深度学习 模型压缩】10分钟了解下模型压缩的常用方法

一、什么是模型压缩? 模型压缩的目标是保证模型预测效果的前提下,尽可能地降低模型的大小 二、为什么要进行模型压缩? 1. 模型压缩后,模型很小,进行推断的运算量小,利于在移动端部署。 2. 诸如Bert等深度学习的参数太多了,模型太大了,消耗的计算资源过多,进一步加大了深度学习爱好者们的“贫富差...

2020-03-17 11:12:13 700 1

原创 【python 算法接口】FastAPI如何编写POST请求部分

FastAPI 定义请求体,需要 Pydantic 模型。你需要从pydantic中导入BaseModel。 import BaseModel from pydantic 创建数据类型然后,声明你的数据模型为一个类,且该类继承 BaseModel. # 创建数据模型 class Item(Bas...

2020-03-16 10:49:06 4397 2

原创 【python 算法接口】使用FastAPI框架快速构建高性能的api服务

一、FastAPI 干啥的? FastAPI 是用来构建 API 服务的一个高性能框架。 二、为什么选择 FastAPI ? FastAPI 是一个现代、高性能 web 框架,用于构建 APIs,基于 Python 3.6 及以上版本。 最大特点:快!性能极高,可与 NodeJS, Go 媲美。 ...

2020-02-25 17:28:46 2820 0

原创 【python 全局解释锁】10分钟理解CPython的全局解释锁GIL

一、什么是GIL? 全局解释器锁[Global Interpreter Lock]是计算机程序设计语言解释器用于同步线程的一种机制,它使得任何时刻仅有一个线程在执行。即便在多核处理器上,使用 GIL 的解释器也只允许同一时间执行一个线程,常见的使用 GIL 的解释器有CPython与Ruby MR...

2020-02-23 15:18:42 388 0

原创 【tensorflow 使用错误】tensorflow2.0 过程中出现 Error : Failed to get convolution algorithm

如果在使用 tensorflow 过程中出现 Error : Failed to get convolution algorithm ,这是因为显卡内存被耗尽了。 解决办法: 在代码的开头加入如下两句,动态分配显存 physical_device = tf.config.experimental....

2020-02-23 15:02:02 669 1

原创 【gitlab 上传代码】gitlab 推送本地代码到远程仓库

1、安装git。 2、新建项目,只勾选私有,或者公开,注意不要勾选readme 3、添加和配置SSH公钥 cd ~/.ssh 如果提示 “ No such file or directory”,手动的创建一个 .ssh文件夹即可 mkdir ~/.ssh git config --global...

2020-02-21 20:17:38 616 0

原创 【Anaconda 安装】10分钟快速搭建Linux下python环境

1、进入root,mkdir software 2、cd software 3、下载anaconda3软件,下载地址:https://repo.continuum.io/archive/index.html 下载Anaconda3-2019.10-Linux-x86_64.sh 4、安装Anac...

2020-02-20 10:03:07 270 0

原创 【python 机器学习】机器学习算法之CatBoost

主要内容: 一、算法背景 二、CatBoost简介 三、CatBoost的优点 四、CatBoost的安装与使用 五、CatBoost回归实战 六、CatBoost调参模块 七、CatBoost 参数详解 一、算法背景: 2017年俄罗斯的搜索巨头 Yandex 开源 Catboost 框架。Ca...

2020-01-08 14:19:49 521 0

原创 【python 机器学习】正态分布检验以及异常值处理3σ原则

正态曲线呈钟型,两头低,中间高,左右对称因其曲线呈钟形,因此人们又经常称之为钟形曲线。 使用K-S检验一个数列是否服从正态分布、两个数列是否服从相同的分布。 下面介绍 Python 中常用的几种正态性检验方法: scipy.stats.kstest 异常值是指样本中的个别值,其数值明显偏离其余...

2020-01-07 11:24:54 4293 1

原创 【深度学习 误差计算】10分钟了解下均方差和交叉熵损失函数

常见的误差计算函数有均方差、交叉熵、KL 散度、Hinge Loss 函数等,其中均方差函数和交叉熵函数在深度学习中比较常见,均方差主要用于回归问题,交叉熵主要用于分类问题。下面我们来深刻理解下这两个概念。 1、均方差MSE。 预测值与真实值之差的平方和,再除以样本量。 均方差广泛应用在回归问题中...

2020-01-02 21:01:20 231 0

原创 【python 机器学习】机器学习算法之LightGBM

算法介绍: LightGBM 由微软2017年提出,主要用于解决 GDBT 在海量数据中遇到的问题,以便其可以更好更快地用于工业实践中。从 LightGBM 名字我们可以看出其是轻量级(Light)的梯度提升机(GBM),其相对 XGBoost 具有训练速度快、内存占用低的特点。 实际上,XGBo...

2019-12-31 16:58:38 238 0

原创 【机器学习 非线性回归模型】10分钟了解下8种常见的非线性回归模型

线性回归模型请看上篇文章,本篇文章介绍的是非线性回归模型 线性回归模型链接 在目前的机器学习领域中,最常见的三种任务就是:回归分析、分类分析、聚类分析。那么什么是回归呢?回归分析是一种预测性的建模技术,它研究的是因变量(目标)和自变量(预测器)之间的关系。回归分析在机器学习领域应用非常广泛,例如,...

2019-12-29 22:06:27 3288 0

原创 【matlab 圆周率计算】matlab 求圆周率的两种算法实现比较

%author:laidefa %data:2014-09-19 %丘德诺夫斯基公式求圆周率 function mpi=qdnfsj(m) i=m; s=13591409; for n=1:i A=(factorial(6*n)(13591409+54514013*n))/(...

2019-12-29 22:05:20 9123 0

原创 【机器学习 线性模型】10分钟了解下6种常见的线性模型

在目前的机器学习领域中,最常见的三种任务就是:回归分析、分类分析、聚类分析。那么什么是回归呢?回归分析是一种预测性的建模技术,它研究的是因变量(目标)和自变量(预测器)之间的关系。回归分析在机器学习领域应用非常广泛,例如,商品的销量预测问题,交通流量预测问题。下面介绍几种常见的线性回归模型。 常用...

2019-12-29 12:08:47 590 0

原创 【python 数据可视化】美丽漂亮的画图神器--pyecharts

今天我们介绍下pyechats 的用法和一个简单的例子。 安装: pip install pyecharts 步骤1:导入相关包: # 导入包 import pandas as pd from pyecharts.charts import * from pyecharts import op...

2019-12-28 14:21:47 289 0

原创 【机器学习 模型调参】GridSearchCV模型调参利器

导入模块sklearn.model_selection from sklearn.model_selection import GridSearchCV GridSearchCV 称为网格搜索交叉验证调参,它通过遍历传入的参数的所有排列组合,通过交叉验证的方式,返回所有参数组合下的评价指标得分,...

2019-12-26 12:35:34 471 0

原创 【深度学习 走进tensorflow2.0】TensorFlow 2.0 常用模块tf.config

本篇文章将会教大家如何 合理分配显卡资源,设置显存使用策略。主要使用tf.config模块进行设置。下面我们一起了解下具体用法和例子。 一、指定当前程序使用的 GPU 例如,在一台具有 4 块 GPU 和一个 CPU 的工作站上运行以下代码: import tensorflow as tf gp...

2019-12-21 12:00:04 339 0

原创 【深度学习 项目实战】一个简单的LSTM实现时间序列预测

我们将通过一个简单实例来讲解LSTM建模过程以及模型的使用方法。实例描述如下,我们有一个整数序列[10, 20, 30, 40, 50, 60, 70],整数序列中共有7个数字,我们的目的或者说我们要解决的问题是,利用已有的这个整数序列来建立模型,用模型预测整数序列的下一个数字应该是多少?也就是整...

2019-12-19 12:22:12 1223 2

原创 【深度学习 项目实战】Keras深度学习多变量时间序列预测的LSTM模型

本篇文章将介绍基于Keras深度学习的多变量时间序列预测的LSTM模型。 项目名称:空气污染预测 一、主要内容: 如何将原始数据集转换为可用于时间序列预测的内容。 如何准备数据并使LSTM适合多变量时间序列预测问题。 如何进行预测并将结果重新缩放为原始单位。 二、数据下载 在本教程中,我们将使用...

2019-12-19 10:47:09 378 0

提示
确定要删除当前文章?
取消 删除