推荐系统排序算法--NFM模型
在CTR预估中，为了解决稀疏特征的问题，学者们提出了FM模型来建模特征之间的交互关系。但是FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系，因此学者们通过Deep Network来建模更高阶的特征之间的关系。因此 FM和深度网络DNN的结合也就成为了CTR预估问题中主流的方法。有关FM和DNN的结合有两种主流的方法，并行结构和串行结构。两种结构的理解以及实现如下表所示：
今天介绍的NFM模型(Neural Factorization Machine)，便是串行结构中一种较为简单的网络模型。
我们首先来回顾一下FM模型，FM模型用n个隐变量来刻画特征之间的交互关系。这里要强调的一点是，n是特征的总数，是one-hot展开之后的，比如有三组特征，两个连续特征，一个离散特征有5个取值，那么n=7而不是n=3.
可以看到，不考虑最外层的求和，我们可以得到一个K维的向量。对于NFM模型，目标值的预测公式变为：
其中，f(x)是用来建模特征之间交互关系的多层前馈神经网络模块，架构图如下所示：
mbedding L***er 和我们之间几个网络是一样的，embedding 得到的vector其实就是我们在FM中要学习的隐变量v。
Bi-Interaction L***er 名字挺高大上的，Bi是Bi-linear的缩写，这一层其实是一个pooling层操作，它把很多个向量转换成一个向量，，其实它就是计算FM中的二次项的过程，因此得到的向量维度就是我们的Embedding的维度。最终的结果是：
Hidden L***ers就是我们的DNN部分，将Bi-Interaction L***er得到的结果接入多层的神经网络进行训练，从而捕捉到特征之间复杂的非线性关系。
在进行多层训练之后，将最后一层的输出求和同时加上一次项和偏置项，就得到了我们的预测输出：
NFM模型将FM与神经网络结合以提升FM捕捉特征间多阶交互信息的能力。根据论文中实验结果，NFM的预测准确度相较FM有明显提升，并且与现有的并行神经网络模型相比，复杂度更低。
NFM本质上还是基于FM，FM会让一个特征固定一个特定的向量，当这个特征与其他特征做交叉时，都是用同样的向量去做计算。这个是很不合理的，因为不同的特征之间的交叉，重要程度是不一样的。因此，学者们提出了AFM模型（Attentional factorization machines），将attention机制加入到我们的模型中。
论文： Neural Factorization Machines for Sparse Predictive Analytics
什么叫NFM WFM,为什么对讲机不用WFM
1. NFM即窄带调频，Narrow（窄）。WFM即宽带调频，Wide（宽）。
2. 窄带调频的频道间隔为12.5KHZ，宽带调频的频率间隔为250KHZ。因为窄带调频占用的频带窄，同样的频率范围内（如两米业余段144-146MHZ带宽为2MHZ）就可以容纳更多的频道，所以对讲机不用WFM。
3. WFM是听高保真调频广播用的。
推荐系统(二)-NFM、AFM和DeepFM模型
1、背景
1.1 widedeep
首先来介绍一下widedeep模型，模型结构如下图
模型中，wide部分负责记忆，deep部分负责扩展(泛化性)。一些重要特征往往放在wide的浅层，一些隐性的特征可以放在deep部分借助于embedding的学习和隐***叉来学习特征之间的交互。
1.2 FNN
和wide deep出发点一样， 一些线性模型LR很难学到非线性表达， 非线性模型比如FM, GBDT又很难学到所有的特征组合方式。那么，如何利用DNN去自动学习到特征表达，自动去学习到特征之间的交叉呢？
首先需要对category特征进行一个one-hot编码。
l1, l2层都是隐藏层，那么， dense real l***er 就可以看作一个embedding层， 每个field 分别 对应一个embedding的过程。通常，使用FM去初始化这些参数往往能够更快地收敛，***限制避免训练过程中陷入局部最小，以及得到更好的结果。可以看到，FNN其实就是widedeep模型的deep部分，但是 FNN有用FM进行一个参数初始化的过程 。
1.3 PNN模型
上一篇文章介绍了PNN模型
PNN的结构的思想相比于WideDeep模型核心改动地方在对于embedding后的dense feature，增加了两两交叉的功能，widedeep是embedding feature全部输入到隐藏层了。不同field经过Embedding后的特征做点击运算其实就相当于FM，那么PNN认为首先需要确保学习到这些交叉特征，再去额外交给DNN去学习更复杂的交叉特征。那么PNN结构其实相当于FM+DEEP。
再说下网络细节: Embedding l***er 和Wide Deep模型是一样的， 不同field特征映射到了一个embedding的空间上，这时，不是所有的特征直接送到一个NN网络里面去，这里分成两个部分 z 和p 。
z部分直接就是原始的embedding特征不变;
P部分是embedding特征两两做内积运算，达到FM的效果，接下来z和p拼接成一个vector， 送到一个NN网络里面，最后softmax输出概率值。
1.4 DeepFM
DeepFM相对于wide deep模型的改进在于，wide部分替换为了FM
2、方案
2.1 NFM Neural Factorization Machines for Sparse Predictive Analytics∗
FM的参数是这样的，
而NFM相当于在Deep部分增加了一个Bi-Interaction L***er.该B-interaction L***er 得到的是一个和embedding维数相同的向量。然后后面接几个隐藏层输出结果。
Bi-Interaction L***er
的输入是整个的嵌入向量， 是特征取值， 特征对应的嵌入向量。(这里是和PNN中只是简单相乘然后线性变化的***不同。）中间的操作表示对应位置相乘(element-wise product)
2.2 AFM Attentional Factorization Machine
AFM是NFM模型的一个改进， 在传统FM模型中，使用二阶交叉特征得到非线性表达能力，但是不是所有的特征交叉都会有预测能力，很多无用的特征交叉加入后反而会相当于加入了噪声。
因此，在这个模型中，加入了Attention Net 机制，aij表示特征i,j交叉的权重。计算方式如下: 经过一个attention net的隐藏层，得到该特征交叉的权重
假设输入有n个feature，那feature之前的交叉一共有n*(n-1)/2个，传统FM计算的方式如下：
xi, xj分别表示第i个和第j个feature，vi和vj表示每个feature对应的隐向量，AFM相当于在FM的基础上为每个交叉的特征学习了一个额外的权重。其计算公式如下：
aij是feature i和feature j 交叉的额外的权重，这部分采用一个简单的MLP通过梯度下降的方式优化loss来学习到，具体计算公式如下：
其中h, W和b都是模型的权重参数，这样，特征交叉的权重参数a就可以很容易计算出来。AFM的最终计算公式如下：
前面的为线性部分，后面的为引入attention的特征交叉部分。
3、总结
FNN 是使用FM作为初始化embedding，
PNN 是在embedding和DNN直接多了一层product l***er。
AFM 比FM多了attention；
DeepFM 和 NFM 还是有所区别，浅层部分使用了FM，深度部分使用的是简单的DNN，
而 NFM 是相当于FM接上MLP 串联 的结构。
4、参考文献
Jun Xiao et all. “Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks,” In IJCAi, 2017.
芯片的榜样“大型盾构机”，从被封锁到垄断全球
自新中国成立70多年来，我国始终走在一条布满荆棘的 科技 发展的道路上， 科技 水平正经历着从无到有，从弱到强的过程。 两弹一星、载人航天、C919大型客机等一系列的科研成果，标志着我国正逐渐发展为一个 科技 强国 。随着国际形势的变化以及全球化进程的推进，我国在与其他国家的交流中不断学习成长，突破了一个又一个的 科技 难关。
然而，国与国之间的交流是一柄双刃剑。在我们不断汲取营养成长的同时，也在逐渐向国外展示着我们蕴含的能量，引来了许多不怀好意的目光。 正处于领先地位的国家自然希望能长久保持这种状态，于是种种手段都向我们袭来：关税政策、强制收购、合作***令等。 尤其是最近，特朗普下令封锁大部分芯片相关企业与华为的合作，一石激起千层浪，互联网上讨论不断。看衰华为、看衰我国芯片事业者大有人在。
诚然，对于目前的中国来说， 芯片技术是一个短期内难以攻克的险关 。就仿佛两个高手同台竞技，结果我们上来就被人扼住了喉咙。然而这并非是一个死局，无论是外部环境，还是我们自身素质，都有对于我们的有利环境。
从外部来说，“外国”并非只有一个国家，我们也并不是和“外国”为敌； 国际半导体协会曾于9月19日发出警告，如果继续对中芯国际进行封锁，可能会影响世界半导体格局。 姑且不论这个警告能带来多少真实的帮助。但这起码表示，我们并非是孤立无援的。
从内部来说，更加艰苦的环境我们都经历过， 历史 上这么多“30年研发不出来”、“50年都研究不明白”、“中国根本造不出来”的科研难关，也都被我们一一攻克了，两弹一星、载人航天这种国之重器姑且不论，圆珠笔笔芯这种太小家子气的产品我们也略过不说，单就工业领域就有太多可以证明的案例。
接下来我要分享一个与如今情况差不多的案例，希望能给你带来一些启发。 芯片的榜样“大型盾构机”，从被封锁到垄断全球。
我国现在有一款出口量占世界3分之2的重工机械——盾构机，不仅能为我国带来不菲的经济收入，还能使我国收获许多国家的友谊 。然而在上世纪90年代，我国却只能依赖国外进口， 并且进口价格高达3.6亿之多，是目前我国出口价格的数倍。我国在这样的环境下，花了20年时间，突破了层层技术封锁，并且大量进行技术创新，反夺了3分之2的国际市场，还在这个过程中收购了几家国际巨头企业。中国盾构机反败为胜的传奇，从被封锁到垄断全球，这一切究竟是怎么做到的呢？
事情要从1953年说起，当时我国正处于***个五年计划，想要顺利实施就必须先修路，而我国当时很多地方都是山路，几乎没有几条真正的公路 ，因此要在山区修公路，就必须要开山劈动，而开山劈动就必须要挖掘隧道 。在所有的解决方案里， 用机器修隧道是靠谱的做法，而当时只有我国没有的盾构机是最靠谱***用的机器。
在这里给大家科普一下，挖隧道是一件巨大的工程，我们不可能像愚公移山一样完全借助人力，不然我们现在可能最发达的交通工具就是公交车了。 挖隧道这样的大工程是需要大型机器的，那就是隧道掘进机，而盾构机是隧道掘进机中的一种，我们国家将用于岩石地层的称为TBM，用于软土地层的称为盾构机，只是大家习惯上都统称为盾构机。
再回到我们盾构机的故事。我国在最开始挖隧道的时候，采用的是人海战术， 比如直接找人挖开山洞，比如采用钻爆法等等 。这一系列简单粗暴的方法都没有使得修公路变得快速高效，而且工人常常因工受伤。
直到20世纪90年代，我国意识事情的紧迫性， 首次从德国以7.2亿元人民币的高价引进了两台掘进机，用于挖掘西康铁路的秦岭隧道。这份巨额的投入等价于当时144万名教师的工资，3.6亿斤猪肉，是我国一整年收入的千分之一。 尽管经济牺牲巨大，但却给我们带来了很大的价值。
只是在这个价值凸显之前，我们也是一把辛酸泪。当时获得这两台盾构机的时候，秦 岭隧道挖掘的工期已经比较紧张了，挖掘任务采用的是人歇机不歇的施工规划，也就是工人采用8小时轮班制，但是机器要一天24小时都运转。 这样做的直接后果导致盾构机不断出现故障。
出现故障就必须要德国的专业维修工程师，不仅维修价格高，而且时间和路程都不方便。 关键是德国维修工程师在维修的时候，是***止我们的工程师在场，这严格的技术封锁让我们即尴尬又气愤。 最令人无奈的事情是派遣来的工程师如果有假期或者其他私人事情是不会及时过来维修的，这就会导致我们当时的工人时不时地被迫停工。
当机器一旦停工一天，就会造成巨大的经费浪费。当时我国国力弱小，根本承担不起这样的浪费。只是奈何没有这样的技术，只能憋屈和心痛无比，但仍然无济于事 。真是技术封锁让人有了卡脖子的感觉。但也正是有了此次无比难受和心痛的经历，必须要拥有一台盾构机成了我国当时每个人的信念。
所以我国将土压平衡盾构关键技术研制，列入了国家863计划，而这个计划为我国的盾构机自主之路奠定了基础，尽管当时科研经费严重不足。
好在最后我们西康铁路秦岭隧道任务也是完成了，秦岭隧道提前一年实现了通车。
故事讲到这里其实就差不多了。盾构机当时的现状和今天芯片的情况差不多。那么盾构机是如何实现逆袭之路的呢？在讲述它的逆袭之路之前，我们先要弄明白 盾构机当时的条件和背景：一个是和盾构机研发相关的盾构机研发难题，一个是和盾构机研发相关的政策背景——国家863计划。
盾构机是利用推进系统中的液压设备提供动力，作用于最前端的刀盘，接着挖开土层或者坚石，等到挖开隧道后，再用衬砌拼装系统，用于管道铺设的管片升举、平移等步骤放到预定的位置。 这个衬砌拼装系统就相当于工地的举重机一样好用。其掘进效率和速度都高于以往的钻爆法。根据资料显示，在当时的隧道平均日进尺率可以高出钻爆法3到8倍。
盾构机的长度可达数百米。它可以简单分成三个部分——切口环、支撑环和盾尾。 而在每个部分内部，都有一个复杂的系统和设备支撑，这些系统和设备协同作用，可以让盾构机从开挖到推进、到撑开、到铺管等环节一次完成。所以，有了这台机器以后，工人只需要在机器内施工，就可以把所有的前期流程都完成。
这样好用的挖隧道神器好研发吗？非常难！
首先，为了顺利挖掘，工人必须要判断出地下泥土的复杂程度，而不同的地方土质不一样，这就 导致了盾构机的功能多样性，比如有泥水盾构机，有岩石盾构机等。
其次不同的地方面积空间不一样，所以使用的盾构机的大小也是不一样的，大的隧道使用小的盾构机会大大降低效率，不得不二次挖掘；而小的地方使用大的，估计山体就崩塌了。 这样看来，盾构机其实有点像一次性用品，除非有两个完全一样的地方，这肯定是有可能的。
但实际情况是。大部分的盾构机都是需要量身定做的， 这其中涉及到的学 科技 术除了地质和测量，还有土木、机械、力学、液压、电气控制等等多门学科 ，比如激光是测量导向以及纠正作用的，液压是液压系统用于运输管片等物体使用的……这里我men就不做过多赘述。毕竟像这样无法模组化的大型机器，不能简单地进行组装，只能依照开挖隧道的直径进行量身订作。因此， 它的研发难度是非常大的，而我国当时是零技术，零基础，更是难上加难。
国家863计划全名：《高技术研究发展计划（863计划）纲要》，是王大珩、王淦昌、杨家墀、陈芳允四位科学家在1986年向国家提出的，目的是追踪世界先进水平，发展中国高技术的建议，并且这个提议得到了国务院的正式批准。
这个计划和《中国2025制造》有些相像， 都是在我国高 科技 的发展上起到了很大的助推作用。由此看来，我们今天所有的 科技 成果，其实都是这些政策一步步引导过来的。
我们每一步的发展都是在国家和科学家长久坚持下来才能得以实现的。
有了国家863计划，有了国家的支持， 2003年10月，一支十八人组成的盾构机研发团队成立了，这也是在向世界宣告——盾构机，我们来了！
这是令人热血的时刻，让人铭记的事情！因为有了这样坚定的开端，才有了后来我们研发成功的盾构机。提到这里不得不自豪一下，就算是 目前为止，世界上只有美国、日本、德国以及我国5个国家才有能力研发这样高端的盾构机！ 可见我国当时在一穷二白之下，研发盾构机的信心有多么的坚定不移。
2008年我国成功研制出首台复合式盾构机，实现了技术突破。
这台盾构机的成功研制，打开了我国辉煌的盾构机逆袭之路，接着不到两年时间， 在2010年12月，中国又生产出大直径断面的盾构机，在当时已经是处于世界领先的位置。
随后是我国在盾构机技术和创新上的不断更新和突破。在2013年12月，我国研制出了首台大型的矩形断面盾构机，为我国城市隧道和地下停车场的建设立下汗马功劳；2016年7月17日，世界首创的马蹄形盾构机在郑州经济开发区成功下线，标志着我国在异形盾构领域处于世界领先水平；2017年4月，我国成功研制出组合式盾构机，这种盾构机能够适应复杂地层的掘进工作。 此后更是不断生产出越来越大型的矩形盾构机，屡创世界纪录。
2018年，我国自主研制出***直径泥水盾构机——春风号，在深圳春风隧道始发并正式投入使用，这标志着我国盾构的设计制造正式迈向高端化。2 020年6月，世界***土压平衡矩形盾构机“南湖号”正式在嘉兴市下线，并投入使用。
盾构机技术解封为我国带来了蝴蝶效应，产生的影响力普遍且巨大，国际盾构机巨头再也无法阻挡我们的脚步。
首先是国外的盾构机价格在这十几年从***的七亿，直接降到现在的五千万每台，这是蝴蝶效应最直接的体现了。
其次，过去技术远超我们的国际盾构机的巨头们如今在面对这种现状却没有了应对能力。
最后，我国盾构机企业开启了国际并购路线，使我国的盾构机出口数量大幅提升。
2007年7月，国际上***秀超前的完整系列隧道盾构机公司，同时拥有最超前核心技术和优秀品牌效应的法国NFM公司，被我国的北方重工集团董事长通过绝对控股的方式并购了。7年后，也就是2014年，我国再次并购了一家超强的盾构机企业，那就是世界五百强企业——美国卡特彼勒公司的全资子公司：卡特彼勒加拿大隧道设备有限公司。这家公司在国际隧道施工领域的地位不容小觑，是大家公认的机械化施工技术霸主，而并购它的是我国的辽宁三三工业。
《中国工程机械工业年鉴》数据显示，在2012年的时候，我国盾构机出口量是69台，在此之后，每年的出口数量不断攀升，等到2019年的时候，我国盾构机的出口数量为160台，在当时占全球的三分之二市场份额。
在那些时候我国还没有今天这样强大，谁能想到一个没有基础没有技术的国家会取得如此成就呢？ 因此我国盾构机企业这样的发展速度是令外人瞠目、国人惊喜的。从中可见我国盾构机科研人员的实力和智慧是其他国家难以比拟的。
技术的进步使我们摆脱了技术封锁，还能在国际贸易上获得一定的地位，价格的优势，使我们能够征伐全球，同时也提升了我们的全球竞争力，而这个过程只用了二十多年，如此短的时间有这样的成就是令人刮目相看的。
这艰苦奋斗的二十多年，既是我国对高新 科技 孜孜不倦的追索，也是我国为加强国家实力克服重重困难的见证。在 探索 科学的道路上我们走得格外艰辛，但又格外充实 。外部因素的阻碍给我们带来了非常沉重的压力，但是在压力下，我们也得到了更好成长。如今，曾经阻碍我们的关卡被我们一一突破，我们，挺过来了！在我们仍未成长起来的时候，我们尚且不怕封锁。如今，我们已成长为巨人 ，面对芯片以及其他 科技 的扼制，我们更不应该害怕和悲观。
当然，如果我们面对的压力和承受的痛苦仅仅来源于外部，也许会好一些，但我们也无法忽视来源于国内的压力和痛苦。在国内，对于我国正被封锁的多项 科技 技术，有一部分人不理解乃至吐槽，甚至故意带节奏， 尤其是最近芯片的压力，这部分人的吐槽和带节奏使得一部分不自信的人开始悲观起来，总是觉得我国的高 科技 技术不行，不如西班牙，不如美国诸如之类的 。其实这样的做法很明显是把我国的 科技 水平放到了全世界的对立面，这样的做法本身就很不公平，因为任何一个国家的 科技 水平都无法对标全世界的 科技 水平。
关于芯片这样的关键技术，我们总会突破的，就像盾构机技术一样，在破开封锁之后，发展非常迅速。 还有之前被嘲笑的圆珠笔笔芯，我们不也是只花了几年就做出来自己的笔芯了吗？成长的过程是痛苦的，等这个过程结束后，我们再回头看看，细细品味，这些都是宝贵的成长经历。
只有理智的看待问题，才能更好解决问题。再回到盾构机上，我国依然是存在一些不足的，它的部分核心零件，比如刀盘、电机、输送部件等都是进口的。然而这并不是说我国无法制造这些零件，只是出于性能和价格考虑，使用进口产品是更加高效的选择。认真想一想，如果所有东西都国产化了，真的是一件好事情吗？
怕是不见得吧？因为一个市场是需要很多人一起做，才能越做越大，自己一家独大，市场只会越来越小，这也是为什么国家一直反对垄断市场的原因，放到国际上也是一样的道理。所以事情要理智看待，冷静对待。
况且 现在是全球化时代，本身产业链都是互相的，我国在各个高 科技 领域也一直都是奋起追赶，从未停歇。 我们要努力攻克核心的高 科技 技术，争取做到不再被卡脖子。而在这个状态实现之前，我们要学会放宽心，学会相信国家，学会相信默默奉献的科学家们。这里和大家共勉：不为外撼，不以物移，而后可以任天下之大事。
nfm的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于内分泌失调长痘痘怎么调理女、nfm的信息别忘了在本站进行查找喔。