阿里云推荐算法（阿里云算法岗offer）

本篇文章给大家谈谈阿里云推荐算法，以及阿里云算法岗offer对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

微信号：cloud7591
如需了解更多，欢迎添加客服微信咨询。
复制微信号

本文目录一览：

• 1、python机器学习 与阿里云pai有什么不同
• 2、一个域名解析到多个不同的IP，阿里云解析的算法是怎样的
• 3、阿里云二面：zookeeper一致性算法
• 4、阿里云 opds SQL如何安装

python机器学习 与阿里云pai有什么不同

阿里云机器学习PAI-快速上手指南

What is 机器学习

机器学习指的是机器通过统计学算法，对大量的历史数据进行学习从而生成经验模型，利用经验模型指导业务。目前机器学习主要在以下一些方面发挥作用：

营销类场景：商品推荐、用户群体画像、广告精准投放

金融类场景：贷款发放预测、金融风险控制、股票走势预测、黄金价格预测

SNS关系挖掘：微博粉丝领袖分析、社交关系链分析

文本类场景：新闻分类、关键词提起、文章摘要、文本内容分析

非结构化数据处理场景：图片分类、图片文本内容提取OCR

其它各类预测场景：降雨预测、足球比赛结果预测

当然，机器学习的应用范围和领域非常广泛，不可能全部穷举，还有更广阔的空间需要开发者去探索。

Why 阿里云机器学习PAI

上手简单：通过对底层的分布式算法封装，提供拖拉拽的可视化操作环境。让数据挖掘的创建过程像搭积木一样简单。

提供最丰富的算法：PAI包含特征工程、数据预处理、统计分析、机器学习、深度学习框架、预测与评估这一整套的机器学习算法组件，共100余种。

一站式的机器学习体验：PAI除了提供模型训练功能，还提供了在线预测以及离线调度功能，让机器学习训练结果和业务可以无缝衔接。

支持主流深度学习框架：PAI已经包含了Tensorflow、Caffe、MXNet这三款主流的机器学习框架，底层提供M40型号的GPU卡进行训练。

一个域名解析到多个不同的IP，阿里云解析的算法是怎样的

如果你说的是同一个域名，不同线路下解析出不同的结果，那么这个是支持的，它是根据来源ip，进行线路区分，分配解析到不同的ip上

阿里云二面：zookeeper一致性算法

上次跟学弟学妹们聊完了Spring相关的一些知识点，学弟学妹们还是挺开心的，但是上次有学弟在跟我留言，在出去面试的时候被面试官问了个一脸蒙逼急的问题：

zookeeper你用过吗？作为注册中心它是怎么如何保证CP的呢？

为了对的起学弟学妹们的信赖这次跟大家具体聊聊zookeeper中的一致性选举算法 Paxos算法

言归正转，基础就跟大家聊到这里了，开始直接开始正文吧！！！

首先需要理解的是算法中的三种角色

一个提案的决策者(Acceptor)会存在多个，但在一个集群中提议者(Proposer)也是可能存在多个的，不同的提议者(Proposer)会提出不同的提案。

Paxos算法整个选举的过程可以分为两个阶段来理解。

这个阶段主要是准备阶段发送提议

当前阶段要是真正的发送接收阶段又被称为Accept阶段

看到这里可能很多学弟都是一脸懵逼，什么鬼？为了加深理解，让整个过程更加的透明，还是举例说明一下吧！！！

假设现在我们有三台主机服务器从中选取leader（也可以选择其他的更多的服务器，为了比较方便容易理解这里选少一点）。所以这三台主机它们就分别充当着提议者(Proposer)、决策者(Acceptor)、Learners（群众）三种角色。

所以假设现在开始模拟选举，三台服务分别开始获取N（具有全局唯一性的、递增的提案编号 N）的值，此时 serverOne(主机1) 就对应这个 ProposerOne(提议者1)、serverTwo(主机2)对应ProposerTwo(提议者2)、serverThree(主机3)对应ProposerThree(提议者3)。

为了整个流程比较简单清晰，过程中更好理解。他们的初始N值就特定的设置为 ServerOne（2）、ServerTwo（1）、ServerThree（3），所以他们都要发送给提议（Proposal）给决策者(Acceptor)，让它们进行表决确定

同时每个 提议者(Proposer)向其中的两个决策者(Acceptor)发送提案消息。所以 假设 ：

ProposerOne(提议者1)向 AcceptorOne(决策者1)和AcceptorTwo(决策者2)、

ProposerTwo(提议者2)向AcceptorTwo(决策者2)和AcceptorThree(决策者3)、

ProposerThree(提议者3)向AcceptorTwo(决策者2)和AcceptorThree(决策者3)、

发送提案消息。为了流程结构简单就向其中的2台发送提案，但是也是已经超过半票了，当然也可以多选几个主机，多发送提案，只是流程就复杂了一点不好理解了。注意点就是一定要超过半票。

那么整个图可以如下所示：

所以根据上面的图开始走第一阶段

按照上面我们假设的流程开始执行流程

ProposerOne(提议者1)向 AcceptorOne(决策者1)和AcceptorTwo(决策者2)

ProposerTwo(提议者2)向AcceptorTwo(决策者2)和AcceptorThree(决策者3)

ProposerThree(提议者3)向AcceptorTwo(决策者2)和AcceptorThree(决策者3)

由于之前ProposerTwo(提议者2)向AcceptorTwo(决策者2)和AcceptorThree(决策者3)发出提议时，没有超过半数投票。所以会从新获取最大N值（具有全局唯一性的、递增的提案编号 N），这个时候ProposerTwo(提议者2)本地获取的N值为 4 所以会再次发起一轮投票

到此第一阶段的工作就已经完成了，整个流程都是文字较多，看起需要多看几遍。同时我也给大家画了一个流程图如下：

由于上面已经走完第一阶段，那么接下来肯定就是第二阶段的流程了

同时整体第二阶段可以分为两块来理解，第一块是正式提交提议，第二块是表决确定阶段

第一阶段执行完得到的结果：

第一块：

第二块：

整个Paxos算法过程还是比较难理解，为了讲明白这里面的流程都是按最简单的例子来的。这里面也可以有更多的机器发起更多的提议。但是整个流程那就更难理解了。

理解Paxos算法需要按上面的两个阶段来理解。第一阶段是做什么，得到了什么结果，第二阶段又是基于第一阶段的结果执行怎样的一个选举流程，这个是大家需要思考的重点。

这里主要是跟大家分享的是Paxos算法这个选举过程，也有很多其他的优化版本比如 Fast Paxos、EPaxos等等。

在zookeeper中的选举算法就是用的 Fast Paxos算法，为什么用Fast paxos？

所以在zookeeper中，只有一台服务器机器作为leader机器，所以当客户端链接到机器的某一个节点时

zookeeper中的一些知识点就分享到这里了，因为这里面还有很多很多东西，比如Session 、Znode、Watcher机制 、ACL、三种状态模式 还zookeeper怎么实现分布式事务锁等等。没有办法一次性跟大家聊完。

这次主要还是想让学弟学妹了解清楚Zookeeper中的一致性的算法是怎么保证。

针对面试来说能完全的跟面试官讲明白这个一致性算法，那你就已经走在前面了。整个过程还是比较复杂的，需要自己不断的多看多画图理解。

在这个互联内卷的时代，只有懂得比别人多才能走的比别人远。

最后希望我的学弟学妹们都能有一个好的校招结果！！！

阿里云 opds SQL如何安装

这里的distinct表示去重，也可以用group by实现， 两者的区别在于distinct会读取所有的记录，而group by是在分组之后每组只返回一条记录，也就是说后者读取的条数要少很多，效率会更高一些，因此可以将上述代码改为：

create table validate_set as

select

user_id,

wm_concat(',',brand_id) as brand

from(

select user_id,brand_id

from t_alibaba_bigdata_user_brand_total_1

where type = '1' and visit_datetime '07-15'

group by user_id,brand_id

)a

group by user_id;

训练集和测试集建立好之后，我们可以通过以下命令来计算测试集的推荐数目：

select sum(regexp_count(brand,',')+1) from t_tmall_add_user_brand_predict_dh;

其中REGEXP_COUNT是ODPS的一个自建函数，它的用法如下：

bigint regexp_count(string source, string pattern[, bigint start_position])

表示计算 source 中从 start_position 开始，匹配指定模式pattern 的子串的次数。比如我们有一条输出结果是：100 1,2,3,4，通过计算其中的,数（3）+1=4就计算出推荐的个数了。

UDF计算重复条数

UDF(User-Defined Function)(用户定义函数)，是用户根据实际应用的需要而自行开发的函数。在 Eclipse 中的项目下新建 UDF。填入 Package 名称为：chanvee.udf，和 UDF 类名：CountHits，点击确认。插件会自动帮我们生成chanvee.udf包用于写 UDF 代码，和test.chanvee.udf包用于本地测试。

编辑CountHits.java文件，注意下文的Long不能替换为long类型，否则在ODPS上运行会报Method Not Found错误：

package chanvee.udf

import java.util.Arrays;

import java.util.HashSet;

import java.util.Set;

public class CountHits extends UDF {

public Long evaluate (String a,String b){

if(a == null || b == null) {

return 0L; //异常值

}

SetString set1 = new HashSetString();

SetString set2 = new HashSetString();

set1.addAll(Arrays.asList(a.split(",")));

set2.addAll(Arrays.asList(b.split(",")));

Long hits = 0L;

for(String s : set2){

if( set1.contains(s) )

hits++;

}

return hits;

}

}

本段函数的主要工作是在a串和b串去重后，计算它们中重复元素的个数。接下来在本地测试下 UDF 。在test.jark.udf包中有两个文件TestCountHits.java和TestUDFBase.java。由于如果 UDF 的输入参数是多个的话，本地测试默认的分隔符是逗号，与我们brand中的逗号冲突了。所以修改下TestUDFBase.java文件的第15行的分隔符为空格（当然也可以其他符号）：

private final static String ODPS_SEPARATOR = " ";

同时修改第72行，去掉(String)，原因是Long型不能强制转换成String：

return callMeth.invoke(UDFClass, input_parameter.toArray()) + "\n";

在TestCountHits.in文件中输入测试样例：

123456,444,555,666 123456,666,777,888

888,999 111,222

111,111,222,222 111,222,222,333

运行TestCountHits.java后，在TestCountHits.out文件中得到测试结果（样例）：

2

2

在确认 UDF 没有问题后，准备上传。将Package chanvee.udf打成 jar 包，命名为chanvee_udf.jar，置于C:/TOOLS下，执行以下命令:

create resource jar C:/TOOLS/chanvee_udf.jar

create function count_hits chanvee.udf.CountHits jark-udf.jar

上述命令作用分别是将用户 jar 包上传到 ODPS 和在 ODPS 上注册函数并命名为count_hits。现在使用ls functions命令就能看到我们刚刚注册的函数了。

现在，我们就能像调用一般内建函数一样调用我们自己的count_hits函数了。计算推荐集和验证集中的重复条数，有下面代码：

select sum(count_hits(a.brand,b.brand)) hits from t_tmall_add_user_brand_predict_dh a

join validate_set b on a.user_id = b.user_id;

上面演示了一般 UDF 的创建使用过程，其他类似的 UDF 都可以参考以上过程构建。UDF 是 SQL 的一大工具 ，很多规则算法都可以用过 UDF 方便地实现。

计算评估值

我们知道准确率的计算公式：precision=hitspnums, 其中 pnum 代表推荐的条数。

召回率的计算公式：recall=hitsrnums, 其中 rnum 为验证的条数。

F1：

F1=2∗hitspnum+rnum

为了计算方便，我们用full outer join连接验证集和推荐集，并将计算出的 hits、pnums、rnums 放到临时表里:

select sum(count_hits(p.brand,r.brand) hits,

sum(regexp_count(p.brand,',')+1) pnums,

sum(regexp_count(r.brand,',')+1) rnums

from t_tmall_add_user_brand_predict_dh p

full outer join validate_set r on p.user_id = r.user_id

有了这三个值后，就可以用上面的公式轻松计算出评测值了。

select (hits/pnums) precision, (hits/rnums) recall,(2*hits/(pnums+rnums)) F1

from (

select hits , pnums , rnums

from ...

)a;

综合一下，有如下代码：

create table evaluation as

select (hits/pnums) precision , (hits/rnums) recall , (2*hits/(pnums+rnums)) F1 ,

hits , pnums , rnums , getdate() eval_time

from (

select sum(count_hits(p.brand,v.brand) hits,

sum(regexp_count(p.brand,',')+1) pnums,

sum(regexp_count(v.brand,',')+1) rnums

from t_tmall_add_user_brand_predict_dh p

full outer join validate_set r on p.user_id = r.user_id

)a;

我们将评测值写到了evaluation表中，可供组员查看分析。运行一次上面代码后，若以后再进行评测，可以将第一行改成insert into/overwrite table evaluation后直接运行，这样可以与上次的结果进行比较。

现在已有的模型算法就可以在本地测试调优后，再上传到线上进行评估了。

关于阿里云推荐算法和阿里云算法岗offer的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。