導(dǎo)讀?原創(chuàng)作者|三金寫在前面目前短視頻行業(yè)越來越火爆，推薦算法、廣告算法引擎已經(jīng)成為了各個(gè)大廠的核心業(yè)務(wù)系統(tǒng)。在此背景下，字節(jié)跳動(dòng)的搜索團(tuán)隊(duì)就主要負(fù)責(zé)抖音、今日....

?原創(chuàng)作者 | 三金

寫在前面

目前短視頻行業(yè)越來越火爆，推薦算法、廣告算法引擎已經(jīng)成為了各個(gè)大廠的核心業(yè)務(wù)系統(tǒng)。在此背景下，字節(jié)跳動(dòng)的搜索團(tuán)隊(duì)就主要負(fù)責(zé)抖音、今日頭條、西瓜視頻等產(chǎn)品的搜索算法創(chuàng)新和架構(gòu)研發(fā)工作。今天小編給大家介紹便是搜索團(tuán)隊(duì)的算法工程師崗位。

01 崗位介紹

崗位名稱：

算法工程師（搜索廣告方向）

工資待遇：

35K-65K

崗位要求：

1）出色的發(fā)現(xiàn)、分析、建模、解決問題的能力；良好的團(tuán)隊(duì)合作意識(shí)和溝通能力；關(guān)注用戶體驗(yàn)；

2）扎實(shí)的代碼能力、數(shù)據(jù)結(jié)構(gòu)和基礎(chǔ)算法功底，熟悉Linux開發(fā)環(huán)境，熟練使用C 和Python語言；

3）熟悉至少一種主流深度學(xué)習(xí)編程框架(TensorFlow/PyTorch/MXNet)，熟悉常用的深度學(xué)習(xí)算法 ；

工作地點(diǎn)：

上海/北京

從上述崗位介紹可以發(fā)現(xiàn)，算法工程師（搜索廣告方向）薪酬較高，且可選工作地點(diǎn)為國內(nèi)最發(fā)達(dá)的兩座城市。對(duì)于崗位要求而言，其要求較為模糊，例如要求“熟悉常用的深度學(xué)習(xí)算法”，而并沒有寫明要求熟悉與該崗位相關(guān)的推薦算法等。值得注意的是該崗位沒有學(xué)歷背景要求，意味著本科生也可以進(jìn)行投遞。

02 面經(jīng)干貨

面經(jīng)來源：小紅書（ID：茶語西瓜客）

A、一面

1. 編程題：關(guān)于二分查找。

AI面試指南參考答案：

編程題建議著重刷Leetcode HOT 100題庫以及《劍指Offer》。

2. 編程題：完成一個(gè)函數(shù)，輸入A、 B兩個(gè)等長(zhǎng)的0-1序列，返回max(j-i)使得sum(A[i:j]) == sum(B[i:j])

AI面試指南參考答案：

編程題建議著重刷Leetcode HOT 100題庫以及《劍指Offer》。

3. 講一講簡(jiǎn)歷上的項(xiàng)目。

AI面試指南參考答案：

首先要一句話介紹背景，然后介紹項(xiàng)目是怎么做的，最后介紹效果如何。此外還注意項(xiàng)目的創(chuàng)新點(diǎn)、衡量指標(biāo)、你的貢獻(xiàn)等。

4.如何判斷模型是否出現(xiàn)了過擬合，如何判斷線上效果不好是過擬合導(dǎo)致的還是數(shù)據(jù)分布不一致導(dǎo)致的。

AI面試指南參考答案：

1）過擬合即模型訓(xùn)練和驗(yàn)證數(shù)據(jù)集上都表現(xiàn)得很好，但是在測(cè)試數(shù)據(jù)集上卻表現(xiàn)得很差。

2）進(jìn)行數(shù)據(jù)重采樣，例如上采樣，若效果仍不好，則說明是過擬合導(dǎo)致的，反之則是數(shù)據(jù)分布不一致。

5.如何抑制過擬合?

AI面試指南參考答案：

1）從數(shù)據(jù)入手進(jìn)行數(shù)據(jù)增強(qiáng)，從而學(xué)習(xí)到更多的特征，減少噪聲的影響；

2）降低模型的復(fù)雜度，例如使用dropout、Eearly Stopping、剪枝等方法；

3）使用正則化方法，例如L1正則化、L2正則化；

4）使用集成方法，例如Bagging方法。

6.L1、L2哪一個(gè)使權(quán)重產(chǎn)生稀疏化?

AI面試指南參考答案：

L1使權(quán)重產(chǎn)生稀疏化。從導(dǎo)數(shù)角度來看，L1正則求導(dǎo)后，損失函數(shù)在0處是極小值，所以優(yōu)化的時(shí)候會(huì)更容易得到權(quán)重等于0，而L2正則求導(dǎo)后，極小值不在0處。

B、二面

1. 編程題:不用二分、不用牛頓迭代，求解開根號(hào)問題？

AI面試指南參考答案：

使用梯度下降方法，其迭代公式如下所示，其中x為初始值，lr為學(xué)習(xí)率：

2.旋轉(zhuǎn)不降數(shù)組，找到第一個(gè)不大于target值的數(shù)字的下標(biāo)。

AI面試指南參考答案：

思路：二分查找法

3.文本匹配如何改進(jìn)效果，從哪里入手？

AI面試指南參考答案：

選擇合適的模型，例如BERT。利用BERT模型對(duì)文本進(jìn)行向量化表示, 解決Word2Vec一詞多義的問題, 使用Transformer編碼器對(duì)文本進(jìn)行特征提取, 獲取文本內(nèi)部信息, 并考慮兩個(gè)文本之間的多層次交互信息, 最后由拼接向量推理計(jì)算出兩個(gè)文本之間的語義匹配度。

4.文本分類如何進(jìn)一步改進(jìn)模型？

AI面試指南參考答案：

不同的文本分類場(chǎng)景使用不同的模型，目前BERT是文本分類任務(wù)最常用的模型。對(duì)于BERT的改進(jìn)可以從以下幾個(gè)方面進(jìn)行：

1）從預(yù)訓(xùn)練模型進(jìn)行改進(jìn)，即采用不同的預(yù)訓(xùn)練模型，例如ALBERT、RoBERT等，一方面可以加快模型訓(xùn)練速度，使其收斂更快，另一方面通常可以使模型達(dá)到更好的效果；

2）改進(jìn)[Mask]策略，從而使結(jié)果更加精準(zhǔn)。例如，原始的BERT使用的是subword維度，改進(jìn)后的BERT WWM(Google)是按照whole word維度進(jìn)行mask，能夠進(jìn)一步學(xué)習(xí)詞之間的關(guān)系。

3）在保持BERT模型分類性能的同時(shí)，進(jìn)行模型壓縮，從而減少推斷時(shí)間以及內(nèi)存開銷。例如通過知識(shí)蒸餾的方法訓(xùn)練小模型。

5. WGAN的推土機(jī)損失

AI面試指南參考答案：

WGAN使用的是推土機(jī)距離（wasserstein_loss），即目標(biāo)值與預(yù)測(cè)值乘積的均值。

C、三面

1.項(xiàng)目介紹，有哪些難點(diǎn)，怎么解決的？

AI面試指南參考答案：

考察項(xiàng)目的熟悉度。

2.使用Int8量化時(shí)，如何防止數(shù)值溢出？

AI面試指南參考答案：

1）在計(jì)算卷積的時(shí)候，使用Int32作為中間值。因?yàn)镮nt8進(jìn)行乘加操作后結(jié)果不會(huì)超出Int32范圍。

2）通過線性映射的方法，即在帶偏置的層中，先將Int8轉(zhuǎn)為Float32計(jì)算出結(jié)果，再轉(zhuǎn)為Int8。

3.ALBERT相對(duì)于BERT有哪些優(yōu)點(diǎn)與改進(jìn)。

AI面試指南參考答案：

ALBERT是輕量級(jí)BERT，ALBERT采用了一種因式分解的方法從而大幅度減少了BERT的模型參數(shù)，解決了參數(shù)過多超出內(nèi)存導(dǎo)致無法將網(wǎng)絡(luò)加深、加寬的問題。

4.優(yōu)化BERT本身結(jié)構(gòu)進(jìn)而實(shí)現(xiàn)加速的模型。

AI面試指南參考答案：

1）DistilBERT：在BERT的基礎(chǔ)上用知識(shí)蒸餾技術(shù)訓(xùn)練出來的小型化BERT。

2）ALBERT ：輕量級(jí)BERT，采用了一種因式分解的方法，從而大幅度減少了BERT的模型參數(shù)；

3）TINYBERT：在DistilBERT的基礎(chǔ)上做了改進(jìn)——針對(duì)Transformer結(jié)構(gòu)的知識(shí)蒸餾以及針對(duì)pre-training和fine-tuning兩階段的知識(shí)蒸餾。

5. BERT模型蒸餾是如何做的？

AI面試指南參考答案：

1）精調(diào)階段蒸餾。例如在Distilled BiLSTM中，教師模型采用精調(diào)過的BERT-large，學(xué)生模型采用BiLSTM ReLU進(jìn)行蒸餾，蒸餾的目標(biāo)是hard labe的交叉熵和logits之間的MSE。

2）蒸餾隱層知識(shí)。例如BERT-PKD是從教師模型的中間層提取知識(shí)，從而避免了蒸餾最后一層導(dǎo)致過擬合的風(fēng)險(xiǎn)。

3）預(yù)訓(xùn)練階段進(jìn)行蒸餾。例如DistillBERT是在預(yù)訓(xùn)練階段進(jìn)行知識(shí)蒸餾，新增加了一個(gè)損失函數(shù)——cosine embedding loss。

4）蒸餾注意力矩陣。例如MiniLM只蒸餾最后一層，并且只蒸餾教師、學(xué)生兩個(gè)矩陣的KL散度。

6.判重項(xiàng)目，非Bert模型與Bert模型是如何結(jié)合的，bagging嗎？

AI面試指南參考答案：

兩種模型一般是如何結(jié)合的？

可以通過模型融合的方法，例如

1）簡(jiǎn)單的加權(quán)融合；

2）通過集成學(xué)習(xí)的方法。

7.模型集成有哪些手段，各自的優(yōu)缺點(diǎn)是什么，有哪些應(yīng)用的場(chǎng)景。

AI面試指南參考答案：

1）Boosting方法：訓(xùn)練基分類器使用串行的方式，即分而治之，大部分情況下，經(jīng)過 boosting 得到的結(jié)果偏差（bias）更小，缺點(diǎn)是數(shù)據(jù)不平衡導(dǎo)致分類精度下降，訓(xùn)練比較耗時(shí)。例如Adaboost 和 Gradient boosting。

2）Bagging方法：訓(xùn)練基分類器使用并行的方式，即集體投票決策，大部分情況下，經(jīng)過 bagging 得到的結(jié)果方差（variance）更小，缺點(diǎn)數(shù)據(jù)樣本量小的時(shí)候性能表現(xiàn)較差，而且有時(shí)未必能保證基分類器之間相對(duì)獨(dú)立，例如隨機(jī)森林。

8.時(shí)間序列模型有哪些?

AI面試指南參考答案：

1）使用RNN來做CTR預(yù)估的模型。其中RNN適用于有序列(時(shí)序)關(guān)系的數(shù)據(jù)，CTR預(yù)估重點(diǎn)用于學(xué)習(xí)組合特征。

2）DeepFM模型。該模型兼顧了低階和高階特征，可以處理搜索廣告中與時(shí)間序列相關(guān)的數(shù)據(jù)。

9.場(chǎng)景題：抖音場(chǎng)景下，措建一個(gè)搜索廣告系統(tǒng)，如何平衡一個(gè)廣告的商業(yè)價(jià)值和用戶體驗(yàn)?zāi)兀?/p>

AI面試指南參考答案：

主要從兩個(gè)方面考慮：1、讓用戶不用思考；2）不能引發(fā)用戶的防備。

例如打開APP之前的廣告展示，時(shí)間不能太長(zhǎng)，廣告內(nèi)容可以與用戶經(jīng)常搜索的內(nèi)容相關(guān)。

10.如何優(yōu)化廣告搜索場(chǎng)景中的“相關(guān)性”？

AI面試指南參考答案：

通過用戶行為、用戶信息、時(shí)空信息、用戶的輸入、視頻文字理解等海量特征來找出符合用戶需求的結(jié)果。

11.代碼題：正則表達(dá)式匹配

AI面試指南參考答案：

1）思路一：回溯法，搜索全部場(chǎng)景匹配。

2）思路二：動(dòng)態(tài)規(guī)劃。

相似例題參考：https://blog.csdn.net/kayle1995/article/details/106487236

03 結(jié)語

看完上面的面經(jīng)，你覺得難度系數(shù)幾顆星呢？小編提醒，在這份面經(jīng)干貨中，三次面試都有問到編程題，由此可見刷題的重要性！建議大家著重刷Leetcode HOT 100題庫以及《劍指Offer》。

此外，大家對(duì)自己簡(jiǎn)歷上的項(xiàng)目一定要十分熟悉，面試官可能會(huì)根據(jù)項(xiàng)目進(jìn)行深入提問，特別是技術(shù)路線、衡量指標(biāo)等細(xì)節(jié)。

最后，希望屏幕前的你能夠成功上岸！

私信我領(lǐng)取目標(biāo)檢測(cè)與R-CNN/數(shù)據(jù)分析的應(yīng)用/電商數(shù)據(jù)分析/數(shù)據(jù)分析在醫(yī)療領(lǐng)域的應(yīng)用/NLP學(xué)員項(xiàng)目展示/中文NLP的介紹與實(shí)際應(yīng)用/NLP系列直播課/NLP前沿模型訓(xùn)練營(yíng)等干貨學(xué)習(xí)資源。