自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

很吵请安静

Too young too simple

  • 博客(709)
  • 论坛 (1)
  • 收藏
  • 关注

原创 Only Size-1 Arrays Can Be Converted To Python Scalars Error

参考https://www.pythonpool.com/only-size-1-arrays-can-be-converted-to-python-scalars-error-solved/

2021-07-14 15:29:38 21

原创 雅克比迭代与高斯赛德尔迭代法

雅克比迭代和高斯赛德尔迭代法可以用来求线性方程组的近似解,与雅克比迭代不同的是,高斯赛德尔迭代法在第k+1次迭代求 xik+1x_{i}^{k+1}xik+1​时,会用到 x1k,x2k..xi−1kx_{1}^{k},x_{2}^{k}..x_{i-1}^{k}x1k​,x2k​..xi−1k​ 的值。假设有如下的线性方程组:a11⋅x1+a12⋅x2+…+a1n⋅xn=b1a21⋅x1+a22⋅x2+…+a2n⋅xn=b2⋮=⋮an1⋅x1+an2⋅x2+…+ann⋅xn=bn.\begin{al

2021-06-05 16:45:09 106

原创 Uplift modeling for clinical trial data 论文阅读

P(Y=1∣X1,…,Xm,G=T)−P(Y=1∣X1,…,Xm,G=C)=PT(Y=1∣X1,…,Xm)−PC(Y=1∣X1,…,Xm)\begin{array}{l}P\left(Y=1 \mid X_{1}, \ldots, X_{m}, G=T\right) \\\quad-P\left(Y=1 \mid X_{1}, \ldots, X_{m}, G=C\right) \\\quad=P^{T}\left(Y=1 \mid X_{1}, \ldots, X_{m}\right)-P^{C}

2021-06-05 14:09:51 46

原创 cpp虚函数

当基类指针指向一个子类对象,通过这个指针调用子类中和基类同名成员函数的时候,基类声明为虚函数时机会调用子类的成员函数,不声明就会调用基类。举个例子#include <iostream>using namespace std;class A { public : virtual void foo() = 0; // { // cout << "class_A" << endl; //

2021-05-27 22:36:47 37

原创 vscode-coderunner 将c++ build文件生成到指定目录

"cpp": "cd $dir && g++ -std=c++11 $fileName -D LOCAL -o /xx/$fileNameWithoutExt && /xx/$fileNameWithoutExt",/xx 指绝对路径

2021-05-27 20:29:25 88 1

原创 vscode tf2.0无法自动补全问题

workspace的setting中加上"python.autoComplete.extraPaths": ["/Users/xx/opt/anaconda3/envs/tensorflowcpu_env/lib/python3.7/site-packages/"]注意后面是个数组,之前参考了这个链接,起始没必要(改__init__文件)https://github.com/tensorflow/tensorflow/issues/32982...

2021-04-06 11:23:52 124

原创 Initializing libiomp5.dylib, but found libiomp5.dylib already initialized.

加上import osos.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

2021-04-02 15:51:04 39

原创 ValueError: Object arrays cannot be loaded when allow_pickle=False

ValueError: Object arrays cannot be loaded when allow_pickle=False添加如下代码np_load_old = np.loadnp.load = lambda *a, **k: np_load_old(*a, allow_pickle=True, **k)

2021-04-02 14:39:34 36

原创 VsCode py代码标红

代码没问题,但是会被标红打开workspace, 在settings中加入"python.linting.pylintArgs": ["--generate -members"]

2021-03-14 13:23:03 415

原创 hive合并多个数组

hive> select split(concat_ws(',',array("john", "james"), array('peter'), array("sam","peter")), ",") as a;OK["john","james","peter","sam","peter"]https://stackoverflow.com/questions/53958869/hiveql-merge-array-columns

2021-02-22 23:49:51 1465

原创 Hive grouping sets、cube 、rollup

背景假设有如下数据with query1 as ( select stack (5, 'A', 'x', '1', 1, 'B', 'x', '1', 2, 'C', 'x', '0', 3, 'D', 'y', '0', 4, 'E', 'y', '0', 5 ) as (a,b,c,d))假设a、b、c、d是数据中的四种属性现在想通过group by 操作统计出这四种属性不同组合的结

2020-12-06 16:27:21 369

原创 Hive in、exists 和 left semi join

with query1 as ( select stack(4, 'A', 1, 'B', 2, 'C', 3, 'D', 4) as (k,v)),query2 as ( select stack(4, 'A', 5, 'B', 6, 'E', 7, 'F', 8) as (k,v))数据:A:B:从保留A中k在query2中出现的数据1.常规写法select t1.k as k, t2.v as vfrom ( select k,

2020-12-05 12:54:16 746

原创 Hive case when 两种写法

case when uid = 1 then 1 when uid = 2 then 2 else 3end as new_uidcase uid when 1 then 1 when 2 then 2 else 3end as new_uidbtw: case when不同条件之间是互斥的,下层的when条件肯定不满足上层所有when的条件

2020-12-02 23:14:12 1429

原创 maven项目 java.lang.NoClassDefFoundError

pom的dependency的scopeprovided–> 改为 compile 或者注释掉,因为后者为默认值

2020-11-30 17:18:53 817

原创 更新pom后下载对应的包

下面三种方法都可以mvn install mvn packagemvn dependency:resolve参考https://stackoverflow.com/questions/8563960/maven-command-to-update-repository-after-adding-dependency-to-pom

2020-11-28 13:09:37 151

原创 hive生成连续日期或数字

with subquery as ( select split(space(datediff('2020-11-30','2020-11-01')), ' ') as x) select date_add('2020-11-01', idx) as new_datefrom subquery t lateral view posexplode(x) pe as idx, ele

2020-11-19 20:25:09 1056 1

原创 Linux vim升级到8并支持python3

git clone https://github.com/vim/vim.gitcd vim#make distclean # if you build Vim beforemake -j8sudo make installcp src/vim /usr/bin如果遇到no terminal library found checking for tgetent()... configure: error: NOT FOUND! You need to install a terminal

2020-11-11 16:54:18 199

原创 c++匿名函数前的[]

摘自 stackoverflowhttps://stackoverflow.com/questions/39789125/what-does-mean-before-functionIt means that the lambda function will capture all variables in the scope by reference.To use other variables other than what was passed to lambda within it, we c

2020-11-07 00:28:25 196

原创 Mac下配置maven

1.下载mvnhttp://maven.apache.org/download.cgi2.解压到/Library 目录下tar -zxf souce destination3.配置.bash_profile没有的话先创建一个touch ~/.bash_profile编辑open ~/.bash_profile添加JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-15.jdk/Contents/HomePATH=$PATH:$JAVA

2020-09-20 13:31:28 995

原创 c++创建对象方式

#include<iostream>using namespace std;class people{public: people(string name, int age){ _name = name; _age = age; } people(); ~people(){ cout << "class people end" << endl; } void getA

2020-09-12 16:08:45 127

原创 Hive使用with...as建立子查询

基本格式with sub_query_name1 as ( select xx from xxx), -- 注意这里用逗号分割sub_query_name2 as ( --注意这里没有as,上面一个as跟多个sub_query select xx from xx)select --正式查询语句,与上面的with as直接没有符号分割 xxfrom xx注意事项sub_query直接用逗号分割,一个sub_query用圆括号扩起来with 只能使用一次,后面

2020-08-30 17:00:51 1247

原创 Hive用直接传入的数据生成表

需求想通过fixed的数据直接生成一个hive 表,不是select from其他表的那种。类似pandas 生成dataframedata = pd.DataFrame([[1,2,3], [4,5,6]], columns=['a','b','c'])在Hive中可以通过stack来实现,stack APIhttps://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-stack(v

2020-08-30 12:06:31 109

原创 Vscode coderunner运行环境问题

现象conda装了各种包,coderunner运行py项目显示环境有问题解决办法打开setting文件添加如下信息,输入“code-runner”会自动补全,修改python对应的环境路径即可"code-runner.executorMap":{ "javascript": "node", "java": "cd $dir && javac $fileName && java $fileNameWithoutExt",

2020-08-27 00:24:18 1187

原创 Vscode终端python环境不一致问题

现象mac终端下可以使用conda环境,VS终端下输入python启动的是自带的py2解决办法打开全局setting.json(不是.vscode下的那个)添加如下(path后面为空str) "terminal.integrated.env.osx": { "PATH": "" }保存重启即可...

2020-08-27 00:20:39 1412

原创 Hive条件count

记住一件事count时, null不coutsum 时,null不统计,相当于0条件count1.用ifcount(if(substr(uid,0,1)='4',uid,null))if(条件,条件成立值,条件不成立值)2.用case whencount(case when substr(uid,0,1)='4' then uid else null end)count(case when substr(uid,0,1)='4' then uid end )case when可以

2020-08-26 01:06:53 786 1

原创 广告竞价-广义第二出价

定义广义第二出价(GSP)是暗拍的一种(明拍就是电视上常看到的实时举牌叫价),竞拍一次报价,一次竞价出结果,竞拍方互相不知道对方的出价,商品最终以竞拍者出价的第二高的价格卖出,目前各大互联网公司的广告竞价系统基本都是基于GSP来做的。为什么GSP成为主流?1.广告平台视角:A和B竞拍一些商品,第一次A出价100获胜,第二次A出价99又获胜,接下来的竞价中,A通常会继续压低自己的价格,因为基于前两次竞价A大致能感觉到B出价不高,在后续的竞拍中继续压低自己的价格,给广告平台带来损失;2.竞拍方视角:可以

2020-08-10 00:17:25 976

原创 深入理解XGBoost

目标函数的基本形式模型对于某个样本的预测值:fkf_{k}fk​是基学习器,最终模型是多个基学习器最初的目标函数可以写成y^i(t−1)\hat{y}_{i}^{(t-1)}y^​i(t−1)​:是前t-1个集成学习器对样本的预测值ft(xi)f_{t}\left(\mathbf{x}_{i}\right)ft​(xi​):是当前学习器对样本的预测值Ω(ft)\Omega\left(f_{t}\right)Ω(ft​):是第t个学习器的正则项对目标函数进行泰勒二阶展开gi=∂y^(t.

2020-08-09 23:25:46 539

原创 深入理解GBDT

基本概念概述Gradient Boosting Decision Tree,梯度提升决策树。GBDT是一个Boosting算法 , Boosting算法将弱分类器集成成一个强分类器,相比于bagging:boosting算法中当前的分类器会受到之前的学习器的影响,比如adaboost当前学习器中样本的权重是前n轮学习器改变后的结果,比如GBDT中当前学习器要拟合东西是前n个学习器产生的残差。而bagging算法中每一个学习器都是相对独立的,不会受到其他学习器的影响。GBDT 相当于 Grad

2020-08-09 23:05:25 412 2

原创 逻辑回归——你想知道的全在这里

概述逻辑回归是一个假设样本服从伯努利分布,利用极大似然估计和梯度下降求解的二分类模型,在分类、CTR预估领域有着广泛的应用。公式推导逻辑回归是用来解决分类问题用的,与线性回归不同的是,逻辑回归输出的不是具体的值,而是一个概率。除去了sigmoid函数的逻辑归回和线性回归几乎是一样的。有人说逻辑回归不是回归,因为输出的不是回归值。也可理解为逻辑回归是先求回归函数,再将结果通过逻辑函数转化一下得到最终的结果。基本步骤:构造hypothesis构造损失函数通过损失函数最小化求目标函数的各个参数

2020-08-09 22:27:53 204

原创 VSCode在制定行内搜索

command + p打开setting, add "editor.find.autoFindInSelection": "multiline"

2020-08-07 09:06:39 277

原创 VSCode代码补全问题

插件环境啥的都没问题,代码补全的时候只能补全全一些基本的c++关键字,解决方法如下:设置中搜索IntelliSense->修改IntelliSenseEngine(default改为Tag Parser)

2020-08-02 17:39:26 1966 1

原创 pandas对不同类型的column进行fillna

因为dataframe中数据有不同类型,统一fillna可能会造成统一列数据类型不同的错误,有两种方法方法1:逐一判断for col in df: if df[col].dtype=="object":.....方法2:用select_dtypesdf=df.select_dtypes(include='object').fillna('') ...

2020-06-25 21:17:01 700

原创 Keras 搭建神经网络的简单pipeline

整体流程大概是:定义好用到特征——搭建好网络——定义一些回调函数比如earlystopping,——编译模型——给模型喂数据进行训练——预测结果原始数据通常为csv文件特征定义用tensorflow的feature_column函数完成对特征的转换,在这一步只是指明对将来喂入数据中的某个特征要做什么样的处理,这一步还没接触到真正的数据,相当于预定了一个处理框架。from tensorflow import feature_column对于数值特征,直接用numeric_column处理age

2020-06-24 20:10:44 483

原创 Jupyter设置proxy

需要读取外网服务器时,需要走代理,本机代理走的是1080端口,可以将jupyter的代理设置到该端口上。方法1:临时修改在终端进行设置,再在该终端上启动jupyter,起来的notebook即可走代理。set HTTP_PROXY=http://127.0.0.1:1080set HTTPS_PROXY=http://127.0.0.1:1080更通用的方法set HTTP_PROXY=http://<user>:<password>@<proxy server&

2020-06-23 19:21:59 1341 1

原创 tf.keras.losses.SparseCategoricalCrossentropy

交叉熵损失函数tf.keras.losses.SparseCategoricalCrossentropy( from_logits=False, reduction=losses_utils.ReductionV2.AUTO, name='sparse_categorical_crossentropy')y_pred为N维向量(N为类别的个数),label为单个数字,如果label也是one-hot之后的值,需要使用CategoricalCrossentropy损失函数。参数:

2020-06-23 10:06:07 6612 1

原创 将conda环境导入Jupyter

#conda下先进入需要导入的环境cenvconda activate cenv#安装ipykernel(cenv)$ conda install ipykernel#创建jupyter kernel (cenv)$ ipython kernel install --user --name=<jupyter kernel name>刷新jupyter页面即可看到导入的环境...

2020-06-22 11:11:55 687

原创 ImportError: cannot import name create_prompt_application

用ipython创建kernel时出现下面问题参考该方法:https://github.com/jupyter/jupyter_console/issues/158sudo pip install prompt-toolkit==1.0.15

2020-06-22 11:09:00 568

原创 Memory-based和Model-based推荐系统

以下理解参考该文章:memory-based-vs-model-based-recommendation-systemsMemory-based: 主要通过计算近似度来进行推荐,比如user-based和item-based协同过滤,这个两个模式中都会首先构建用户交互矩阵,然后矩阵的行向量或者列向量可以用来表示用户和item,然后计算用户或者物品的相似度来进行推荐。这里叫Memory是可能是因为要事先把交互矩阵载入到内存中进行计算吧。Model-based:主要是对交互矩阵进行填充,预测用户购买某个

2020-06-15 16:18:01 532

原创 NCF(Neural Collaborative Filtering)——协同过滤与神经网络的结合

Neural Collaborative Filtering paper关于协同过滤协同过滤简而言之就是物以类聚人以群分,在真实场景中,通常会获得一张用户物品交互表,其实就是一个矩阵M,M[i][j]=1M[i][j]=1M[i][j]=1则表示用户iii购买了物品jjj,=0=0=0表示没有购买。主要分为以下两种:user-based协同过滤...

2020-06-13 20:29:39 801 1

原创 VSCode:Cannot edit in read-only editor

File ->preference->输入run code->找到Run code configuration,把whether to run code in Intergrated Terminal 勾上重启VSCode即可

2020-06-12 13:24:06 2836

空空如也

很吵请安青争的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除