第一百二十八章 伯特的诞生 (4-2)

“哎呀，态度嘛，真帮不上什么忙社长也别怪我。”

姜倾雪给了他一个白眼。

“不过，社长，如果只是学术上，我可是能给你提供一点帮助了。”苏飞笑着说道：“我可是acl的满分。”

他特地在满分上重了下音，模彷姜倾雪的动作，同样地挑了挑眉，有点挑衅的意思。

姜大校花：“……”

怎么感觉这人有点小欠呢？

和顾亦如相处了一段时间，把那绿茶的气人本事倒是学了不少。

硬了硬了，拳头硬了。

“学术上，你现在的确是比我优秀一些。”

姜倾雪很不愿意承认，但还是假装平澹地说道，顺便在“现在”二字上重了下音。

苏飞看到自家社长那非常不自然的语气，忍俊不禁。

“很好笑？”

姜倾雪微笑着看着苏飞。

“没有的事，我只是想起高兴的事情。”

苏飞差点笑弯了腰，这一脸不甘心又像小孩子一样不服气的样子，太可爱了。

苏飞get到了一个点，想看可爱的姜大校花，首先要把她破防，让她摘下冷澹的面具，激起好胜心。

姜倾雪冷哼一声，头也不回地走去了电梯方向，连宿舍商店的胖胖专柜都没有看一眼，足可见得她是真有些郁闷了。

今天的胜负……算苏飞胜。

苏飞失笑地摇了摇头，上楼前去了趟宿舍商店，买了两块面包和一瓶酸奶。

…

…

苏飞回到宿舍后，先是冲了个澡，洗去了一身的疲惫。

虽然他昨天通宵了，但凭借24点的精神力，他仍然感觉蛮有元气的，而今天在acl学术会议上的收获更是令他振奋不已，他很清楚，自己的下一篇论文的雏形已经出来了。

苏飞深吸了一口气，坐到了桌前，他把今天在学术会议上所学习到的归纳整理到了一个小本本上，elmo的删减法与变形金刚编码器解码器的解构，以此来搭建一个全新的预训练模型。

苏飞快速地在小本本上写写画画，脑海深处源源不断地涌出灵感，一遍遍冲刷着他的思想。

苏飞首先想到的是韩国小哥的那个学习elmo的删减法，不能过度删减，因此……

“根据注意力机制的位置信息和elmo的单层结构特性，应该可以把整个解码器部分删减，编码器完全留下，结构上可以这样……”

苏飞大笔一挥先把变形金刚删了一大半，随后根据麻省理工学子的解构方法进行小范围地修修改改，直到把大致的模型结构图画好。

“既然舍弃了变形金刚端到端算法的优势，那么就无法做机器翻译这种任务了，但其他任务能正常进行就无伤大雅……”

苏飞颇为认真地自言自语道。

想要把变形金刚做成预训练模型，那就必然要割舍一些功能，这一点苏飞倒是早有准备。

“但是如果要做预训练模型，如何才能让它训练词向量或者图向量本身……”

苏飞的笔一下子就顿住了。

这就是问题所在了，学会上也暂时没人提出相关理论……如果提出了这个相关的理论，那变形金刚的预训练化怕是已经被别人摘去了。

苏飞也不相信有人特么的能这么快。

苏飞猜测这个问题的解决方案大概率是和变形金刚的遮盖mask机制有关。

思路既然有了……不清楚过程的话，一张灵感激发卡！

苏飞现在可是豪横得很，1000积分的灵感激发卡那是眼睛也不眨一下。

苏飞毫不犹豫地使用了灵感激发卡，随着灵感激发卡的澹澹光芒涌入苏飞的脑海，他原本停滞下来的灵感就如同脱缰的野马一般，庞大的信息流在他的脑海中炸裂开。

学霸从谈恋爱开始提示您：看后求收藏（百发小说网http://www.baifabohui.com），接着再看更方便。