導(dǎo)讀問(wèn)題1：BeamSearch生成的句子基本都一樣，是否有方法擴(kuò)展生成句子的多樣性。解決方法：通過(guò)分組加入相似性懲罰，具體可以參考論文Diversebeams....問(wèn)題1：Beam Search生成的句子基本都一樣，是否有方法擴(kuò)展生成句子的多樣性。

解決方法：通過(guò)分組加入相似性懲罰，具體可以參考論文 Diverse beam search：https://arxiv.org/pdf/1610.02424.pdf。

具體方法：選擇Beam size為B，然后將其分為G組，每一組就有 B/G 個(gè)beam，每個(gè)單獨(dú)的組內(nèi)跟 beam search很像，不斷延展序列，同時(shí)引入一個(gè) dissimilarity項(xiàng)來(lái)保證組與組之間有差異。

組內(nèi)與 beam search 很像：從t-1到 t 時(shí)刻，不斷的減少搜索空間（如同beam search一樣）。

組間差異：對(duì)于t=4時(shí)刻，我們先對(duì)第一組輸出y（t=4），然后我們開(kāi)始對(duì)第二組輸出y（t=4），但是第二組y（t=4）的score不僅取決于第二組之前的y（t=3），也取決于其與第一組的相似程度。以此類推，在t=4時(shí)刻對(duì)于第三組的輸出，我們從上圖可以看到其score的打分標(biāo)準(zhǔn)。這兒對(duì)于其 dissimilarity 項(xiàng)的計(jì)算采用的辦法是 hamming diversity，這個(gè)理解起來(lái)很簡(jiǎn)單，比如這個(gè)時(shí)刻可能輸出的詞在上面的組出現(xiàn)過(guò)，我們就對(duì)這個(gè)詞的分?jǐn)?shù)-1，如果這個(gè)時(shí)刻可能輸出的詞在上面組沒(méi)有出現(xiàn)過(guò)，我們就對(duì)這個(gè)詞的分?jǐn)?shù)不懲罰。

NLP競(jìng)賽 · 從傳統(tǒng)詞向量到預(yù)訓(xùn)練模型--文本分類任務(wù)的快速上分大法

? 7月13日開(kāi)課，限時(shí)0.01元福利秒殺

? 限額10名，速搶>>https://www.julyedu.com/course/getDetail/458

問(wèn)題2：RLayer Normalization 和 Batch Normalization的區(qū)別，padding對(duì)這兩者有影響嗎，對(duì)哪一維有影響。

Batch Normalization 是對(duì)這批樣本的同一維度特征做歸一化， Layer Normalization 是對(duì)這單個(gè)樣本的所有維度特征做歸一化。區(qū)別：LN中同層神經(jīng)元輸入擁有相同的均值和方差，不同的輸入樣本有不同的均值和方差；

BN中則針對(duì)不同神經(jīng)元輸入計(jì)算均值和方差，同一個(gè)batch中的輸入擁有相同的均值和方差。

所以，LN不依賴于batch的大小和輸入sequence的長(zhǎng)度，因此可以用于batchsize為1和RNN中sequence的normalize操作。padding會(huì)對(duì)Batch Normalization的seq_len這個(gè)維度有影響，計(jì)算的時(shí)候會(huì)把padding也算進(jìn)去。

問(wèn)題3：pytorch.Dataloader 報(bào)錯(cuò)出現(xiàn)數(shù)據(jù)維度不一樣怎么解決。

在構(gòu)建dataset重寫的__getitem__方法中要返回相同長(zhǎng)度的tensor。

可以使用向量補(bǔ)全的方法來(lái)解決這個(gè)問(wèn)題，把不同長(zhǎng)度的向量補(bǔ)全成等長(zhǎng)的。

NLP競(jìng)賽 · 從傳統(tǒng)詞向量到預(yù)訓(xùn)練模型--文本分類任務(wù)的快速上分大法

? 7月13日開(kāi)課，限時(shí)0.01元福利秒殺

? 限額10名，速搶>>https://www.julyedu.com/course/getDetail/458

問(wèn)題4：無(wú)序數(shù)組，找topK，要求比快排快。

解題思路：堆排序，復(fù)雜度 nlogk

1.取列表前k個(gè)元素建??個(gè)?根堆。堆頂就是?前第k?的數(shù)。

2. 依次向后遍歷原列表，對(duì)于列表中的元素，如果?于堆頂，則忽略該元素；如果?于堆頂，則將堆頂更換為該元素，并且對(duì)堆進(jìn)??次調(diào)整；

3.遍歷列表所有元素后，倒序彈出堆頂。

問(wèn)題5：Bert里面mask的用處。

預(yù)訓(xùn)練的時(shí)候在句子編碼的時(shí)候?qū)⒉糠衷~mask，這個(gè)主要作用是用被mask詞前后的詞來(lái)去猜測(cè)mask掉的詞是什么，因?yàn)槭侨藶閙ask掉的，所以計(jì)算機(jī)是知道m(xù)ask詞的正確值，所以也可以判斷模型猜的詞是否準(zhǔn)確。進(jìn)而更好地提升Bert詞向量的雙向編碼能力。

問(wèn)題6：對(duì)于兩個(gè)詞怎么算他們的相似度，用基于word embedding的方式。

歐氏距離、曼哈頓距離、馬氏距離、余弦距離、漢明距離等等。

問(wèn)題7：Leetcode—最大子序列和。

---

進(jìn)大廠是大部分程序員的夢(mèng)想，而進(jìn)大廠的門檻也是比較高的。刷題，也成為面試前的必備環(huán)節(jié)。

七妹給大家準(zhǔn)備了“武功秘籍”，七月在線干貨組繼19年出的兩本書《名企AI面試100題》和《名企AI面試100篇》后，又整理出《機(jī)器學(xué)習(xí)十大算法系列》、《2021年最新大廠AI面試題 Q3版》兩本圖書，不少同學(xué)通過(guò)學(xué)習(xí)拿到拿到dream offer。

為了讓更多AI人受益，七仔現(xiàn)把電子版免費(fèi)送給大家,希望對(duì)你的求職有所幫助。如果點(diǎn)贊和點(diǎn)在看的人數(shù)較多，我會(huì)后續(xù)整理資料并分享答案給大家。

以下4本書，電子版，添加VX：julyedufu77（或七月在線任一老師）回復(fù)“088” 領(lǐng)??！