中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

在面試的過程中，我們總可能遇到這樣或者那樣的困難和疑問，這個時候，我們不妨多看看別人的面經(jīng)。這篇文章里，作者就分享了自己面試復(fù)盤總結(jié)，包括面試前準(zhǔn)備、面試中表現(xiàn)及面試后思考，一起來看看吧。

此篇文章，旨在為個人24年年后復(fù)工第一面的全面總結(jié)回顧，包括面試前準(zhǔn)備、面試中表現(xiàn)及面試后思考，以期幫助自我成長，也期望將此次寶貴的面試過程分享出來，幫助更多產(chǎn)品er輕松拿捏面試，尤其為那些爭取大模型相關(guān)崗位、字節(jié)跳動公司崗位的產(chǎn)品er們提供一些參考~

注：本次分享，并無任何冒犯面試官、HR、字節(jié)等公司的意圖，旨在客觀回顧、分析整場面試經(jīng)歷，為自己、為他人提供一個借鑒與參考~

一、面試過程回顧

1. 面試崗位：字節(jié)跳動-大模型評測平臺產(chǎn)品崗（投的不是這個崗，后被轉(zhuǎn)到這個崗面，但HR全程無告知，我自己發(fā)現(xiàn)JD不一樣，但HR給我的回復(fù)是：面試官一樣、面試流程一樣。//我就不做過多評價了…大家自行體會HR的專業(yè)性~）；
2. 面試時間：3.5晚7:00（面試官推遲了2次時間后定的時間）
3. 面試總時長：50min+（40min面試官想結(jié)束了，被我硬拖了10多分鐘…）
4. 本場面試問題及過程回顧（字?jǐn)?shù)過多…可跳過直接看【面試總結(jié)】）：以下是面試經(jīng)過：

（1）面試官沒有主動自我介紹，關(guān)于遲到+推遲時間也沒有任何解釋——這在我所有面試?yán)?，都是比較罕見的（可能我面的還不夠多，或者過于理想化）。

建議其它面試者面對這種情況，也不要慌亂，把這種歸為“正?！鼻闆r處理即可~

（2）面試的第一個問題不是自我介紹，而是問我對面的什么崗位了解不？需要我給你講講不？

這里有些小插曲，我以為這句話的意思是，他已經(jīng)知道我起初投的崗和要面的崗并不是一個這個前提，所以過來問我準(zhǔn)備好沒有、是否要他講講之類的。但我的一些回答，現(xiàn)在想想…直接注定了這場面試的失敗。

我說我起初投的AIGC的，JD比較泛，后面轉(zhuǎn)到這個評測崗，我認(rèn)為我過往經(jīng)歷也挺合適的，我也挺感興趣的，所以就也準(zhǔn)備著了。我說我仔細(xì)看了這個JD，而且一直準(zhǔn)備的就是這個崗，我大致知道，不用詳細(xì)介紹了…（實際可以讓他介紹一下，我為什么沒讓他介紹呢？我一直尋思著，這就開始了么，怎么不讓我自我介紹呢？）。

這里，通過面試官的表情和行為，馬后炮地猜測一下面試官的心理：面試者起初投遞的并不是這個崗位，我還要面她這個崗…這不是浪費時間么？我還有很多活沒干完…

（3）他讓我直接說一個最近的項目。額..自我介紹呢？我沒有順著他，我還是簡單地做了個自我介紹（我不知道這樣對不對，但我還是想做一個自我介紹）?！@里在他那估計也是扣分項，不聽他的問題。

（4）自我介紹完了之后。面試官說，好，那你說一個你做的項目吧。

我說好，我說我做的xxx產(chǎn)品，我跟他說我先講一下這個產(chǎn)品是什么，然后我說我再展開講為什么做、我怎么做的、結(jié)果如何。他沒吭聲，我就繼續(xù)講~

在我講完這個產(chǎn)品是什么，以及在用STAR法則展開講到我具體產(chǎn)品規(guī)劃完，該到產(chǎn)品設(shè)計的時候，他開始打斷，認(rèn)為我講的過于宏觀，不聽了。

——1個項目介紹5min時間，應(yīng)該不算長吧？我自己面試前練習(xí)過，整個項目介紹也就5-6min。

——所以，在講產(chǎn)品規(guī)劃時，即使是宏觀的東西，也要講的具體，比如調(diào)研了多少份報告、走訪了多少個客戶，遠(yuǎn)比你說“運用xxx方法論”…更有信服力。

（5）okay，那我停。聽他問問題。

他問（Q1）：你這個產(chǎn)品里面有幾個模型？都是啥模型？模型怎么工程化到產(chǎn)品里面的？以及產(chǎn)品的指標(biāo)是準(zhǔn)確率還是什么？如何評估的？

我答：我們產(chǎn)品里面的模型主要有文本分類、圖像分類模型，文本分類模型我們是多個二分類模型，圖像分類是一個多分類模型，像涉穩(wěn)、涉政、涉恐這些，客戶核心關(guān)注的一些涉政的 標(biāo)簽，我們也會拆到3個層級，模型個數(shù)具體也沒細(xì)數(shù)，一共有16個模型吧，一共16個。

然后我們這個產(chǎn)品的評估指標(biāo)分為兩個層次，一個是業(yè)務(wù)層面的指標(biāo)，比如線索發(fā)現(xiàn)準(zhǔn)確率；一個是模型層面的指標(biāo)，像精確、召回、F1值這些。

關(guān)于線上業(yè)務(wù)準(zhǔn)確率效果指標(biāo)如何評估的，我們是這么做的：

先根據(jù)業(yè)務(wù)需求制定評估指標(biāo)，然后對模型基于前期準(zhǔn)備的測試集進(jìn)行測試，然后采用人工評估和自動化評估相結(jié)合的方式對模型效果進(jìn)行評估，評估完之后，對一些業(yè)務(wù)效果不好的case進(jìn)行分析，然后后續(xù)基于此進(jìn)行優(yōu)化。

然后關(guān)于模型效果指標(biāo)的評估，我們主要是在模型出廠正式上線前進(jìn)行精確、召回、f1的離線評估。像我們這個場景，我們線上業(yè)務(wù)指標(biāo)主要考慮的是精確率，因為沒辦法評估召回。

他打斷問到（Q2）：你們和客戶說準(zhǔn)確率指標(biāo)，模型的這些指標(biāo)，客戶認(rèn)嗎？為何不能評估召回？不是測試集上就能評么？

我答：我說客戶認(rèn)的。像一些違法犯罪的分類準(zhǔn)確率，文本分類、圖像分類這些，客戶已經(jīng)被“教育”的很好了，被培訓(xùn)的很好了，客戶都知道的，而且在我們這個場景里，模型指標(biāo)基本上就等同于業(yè)務(wù)指標(biāo)了。

我解釋為何線上場景不能評估召回率的原因：我說海量的信息，因為不能預(yù)判到底有多少違法犯罪，所以只能評估精確率。但是在模型效果評估層面，就可以評估精確、召回和f1了，因為測試樣本是有限的。

他繼續(xù)問到（Q3）：你說你們產(chǎn)品是網(wǎng)絡(luò)內(nèi)容安全領(lǐng)域，那你們處理的內(nèi)容是啥內(nèi)容？以及這個內(nèi)容治理的整個鏈路是什么？

我答：我們這個產(chǎn)品里面的內(nèi)容，主要是網(wǎng)絡(luò)上采集到的文本數(shù)據(jù)、圖片數(shù)據(jù)、還有短視頻數(shù)據(jù)，我們使用的模型有文本分類、圖像分類模型還有一些關(guān)鍵詞策略模型，包括涉穩(wěn)、涉恐、涉政、涉違法犯罪這些，然后給文本、圖片打上相應(yīng)的標(biāo)簽。

整個內(nèi)容的治理鏈路就是：先從網(wǎng)上采數(shù)據(jù)，然后過模型對數(shù)據(jù)進(jìn)行分類，打上相應(yīng)的類別標(biāo)簽，然后進(jìn)行信息預(yù)警，體現(xiàn)在業(yè)務(wù)前臺上就是信息預(yù)警。

他說，好的。他問（Q4）：那你們這個信息預(yù)警的線上效果如何觀測？

我答：我說，線上效果一方面是我這邊會去使用產(chǎn)品，發(fā)現(xiàn)問題；另一方面是收集客戶反饋給我們的問題，然后分析問題原因，然后去針對性解決。如果是數(shù)據(jù)層面的比如數(shù)據(jù)質(zhì)量差，我們就相應(yīng)的解決數(shù)據(jù)問題，比如數(shù)據(jù)量不夠，還是標(biāo)注的質(zhì)量不夠，就相應(yīng)的去解決。如果數(shù)據(jù)沒問題，是算法層面的原因，那就優(yōu)化算法，由算法工程師去優(yōu)化。

他問（Q5）：你們有沒有線上反饋打分的機(jī)制？

我答：我們這個xx產(chǎn)品，目前沒有這個機(jī)制，沒做，因為是基于產(chǎn)品當(dāng)下的一個重心資源情況，決定先不做這塊，但未來會考慮做這方面的功能，人機(jī)協(xié)同嘛。但是我在百度做的幾個產(chǎn)品，像xxx、xxx產(chǎn)品，發(fā)現(xiàn)了一些問題上報給客戶之后，客戶那邊的問題處置流轉(zhuǎn)系統(tǒng)里面，會有相應(yīng)的人工反饋、人工打分的機(jī)制，反饋給我們，我們基于這些問題去優(yōu)化。

他答：奧。他繼續(xù)問（Q6）：那你知道什么是過擬合嗎？

我答：知道。過擬合的一個原因，主要是樣本分布不均衡導(dǎo)致的，比如一個分類模型，有的樣本類別數(shù)據(jù)特別多，有的類別樣本特別少，那這樣訓(xùn)出來的模型就會過擬合。過擬合可以在模型訓(xùn)練前，將訓(xùn)練數(shù)據(jù)樣本盡量搞成均衡分布的，就可以解決這個問題了。（我忘記答什么是過擬合了，答非所問了）

他問（Q7）：那如果像一些模型，刻意給他訓(xùn)成過擬合了，你怎么識別？

我答：（此處空白了一會）。額，這個一般都是算法去優(yōu)化。

他問（Q8）：那到底什么是過擬合？

我答：就是模型在一部分?jǐn)?shù)據(jù)集上效果表現(xiàn)的非常好，準(zhǔn)確率能有98%、99%，但是在另一部分?jǐn)?shù)據(jù)集上測試，效果就很差，比如可能只有50%，甚至50%都不到。

他說：嗯是的。他繼續(xù)問（Q9）：那你這個都是小模型的一些評估，大模型的評估知道嗎？我看你那個xx功能里，寫了大模型。有對比過大模型和小模型的效果嗎？

我答：知道，我們那個xx里，就用了大模型，我們主要對客戶指定網(wǎng)站上的一些文章，然后運用大模型對其進(jìn)行總結(jié)和要點提煉，生成日報月報，報送給我們的訂閱客戶們。我們在進(jìn)行技術(shù)選型時，是有對比大模型效果和小模型效果的，比如百度的那個NLP抽取模型什么的，但是最終考慮到我們這個場景針對的都是一些長文本，對模型能力要求很高，所以就最終還是選擇了大模型。

他接著問（Q10）：小模型和大模型評估，都有準(zhǔn)確、召回這些指標(biāo)，這些都是基本的。那除了這些，大模型評估和小模型評估有哪些差異？知道嗎？

我答：嗯，是的。首先不論是大模型還是小模型，其評估過程都是類似的，都需要評估指標(biāo)，然后設(shè)計評估方案，然后進(jìn)行評估。但是大模型評估和小模型評估還是有非常大的差異的，差異我認(rèn)為主要有這樣幾個方面：

第一，大模型因為其本身能力特點，泛化能力特別強(qiáng)，所以其評估任務(wù)之一 就是要評估他的通用性、泛化能力。

第二，大模型的評估非常耗資源，而且會需要一些專門的評估工具會評估平臺來評估。

第三，大模型的安全性和倫理也是需要重點考慮的，我覺得。

也就是總的來說，大模型和小模型評估的差異在于，大模型需要評估泛化能力，以及評估難度更大、評估指標(biāo)和評估體系復(fù)雜，需要考慮很多東西，還有安全性隱私性問題等等。

他答：嗯。繼續(xù)問（Q11）：那你覺得大模型評估都應(yīng)該包括哪些方面？

我答：嗯，剛剛說的通用泛化能力、安全性問題、還有就是在一些特定領(lǐng)域任務(wù)上的效果。比如我們那個運用大模型生成月報的功能，就需要針對具體的業(yè)務(wù)場景來評測。像通用泛化能力評估，可以用一些比如說像一些權(quán)威的數(shù)據(jù)集，比如GLUE、superGLUE這些英文的常見的NLP任務(wù)評估集，有問答的、情感分析的、分類的等等，在這個上可以去評通用泛化能力。

他答/問：嗯呢是的，GLUE，嗯 superGLUE（點頭了）。那像一些榜單，C-Eval，我插話了：我說是的，C-Eval這些榜單。他問：那你怎么保證或怎么識別，他們的一些結(jié)果可能是過擬合的？

我答：嗯，首先這個好像也沒辦法避免，因為超大規(guī)模的模型，我們也沒辦法保證哪些語料他們訓(xùn)模型用過了，哪些訓(xùn)模型時候沒用過。

他問（Q12）：你現(xiàn)在離職還是在職？看你在xxx工作了1年半不到。

我說：我離職了，我xx離職的，我是主動辭職的，兩家公司，都是我主動辭的，不是被裁的。

他問（Q13）：xx看起來挺大的一個國企還是央企，為什么離職呢？

我答：這里我主要圍繞著個人規(guī)劃和公司提供的平臺不符合，但也很感激前公司，這樣去回答的。我提到了上中下游。

他問(Q14)：什么是上游、中游、下游？

我說：以這個模型這個鏈路為例。上游就是模型生產(chǎn)商，中游就是提供模型平臺的這樣的廠商，鏈接供需雙方的廠商，而上游是像政務(wù)、電商、出行這些應(yīng)用。而我自己一直想鍛煉的是自己平臺化的能力這塊，目標(biāo)崗位就是這樣的。

他說：奧也就是，大模型平臺能力唄？

我：（emmmm）（心想，什么跟什么?。浚┼?，對。

他說（Q15）：我們也聊了四十多分鐘了，你有什么想要問我的么？

我說：那我想問一個比較具體的問題，就我剛剛回答的不太好的那個問題，怎么去識別過擬合？過擬合有什么特征？

他答：此處省略50字，他說了挺多，在解釋過擬合的現(xiàn)象（和我前面說的基本沒差，就是一些任務(wù)上表現(xiàn)很好，一些任務(wù)上表現(xiàn)的效果很差….）最終好像扯到了大模型一些榜單的結(jié)果并不可信，然后他們都是根據(jù)自己的業(yè)務(wù)來具體評，那些榜單也會去參考，但自己也會去評估。搞一些黑盒測試、盲評、眾包、甚至是一些沒有標(biāo)準(zhǔn)的評估方法….

我緊接著又問了一個問題：想知道咱們這個目標(biāo)崗位做的產(chǎn)品，是對內(nèi)部的還是對外的。（額…針對上個問題，我貌似沒有說謝謝面試官之類的，忘了）。

他答：暫時是for內(nèi)部的，評大模型的業(yè)務(wù)效果，針對字節(jié)的各種業(yè)務(wù)，比如說抖音的一些特效，生成的圖片的效果。

我問：那模型是字節(jié)自研的，還是外部模型也會評估？

他答：都有，會根據(jù)實際情況，比如像一些開源的Midjourney，SD這些也會去評。根據(jù)具體的業(yè)務(wù)情況來評。

我又追著問：我說那這個業(yè)務(wù)指標(biāo)都是業(yè)務(wù)PM來主要負(fù)責(zé)唄，平臺化PM會去制定么？

他答：平臺化PM也會去跟業(yè)務(wù)對接什么的嘛，肯定也是要制定的。

我又說：這里我講了挺多，主要是想突出自己過往的經(jīng)歷既有業(yè)務(wù)PM經(jīng)驗，也有平臺型產(chǎn)品經(jīng)驗，但面試官貌似不是很感冒，明顯感到聽不進(jìn)去…

他：一直揉頭發(fā)，liao額頭上的頭發(fā)。（我感覺到，他好像沒太聽懂….有點不耐煩了…）ernie？

我：百度的文心大模型啊，ernie。

他：行。那我們回去商量下，后面有結(jié)果告訴你。我：好的面試官。他：那今天就先這樣。

我：好的面試官。他：辛苦了。我：您也辛苦了，謝謝面試官。他：拜拜。我：拜拜。

二、面試感受與總結(jié)

1）整場面試體驗差

雙方愉悅的面試體驗，是求職者與面試官所希望得到的。但現(xiàn)實中，往往也會出現(xiàn)面試不愉悅的情況，面試也是看緣分和氣場。所以我們也不要因為一次面試，就懷疑自己的能力。負(fù)面的事情，能從中學(xué)到對自己有益的事情，也是收獲、也是成長~

2）本場面試問題匯總（崗位是大模型評測平臺產(chǎn)品崗位）：

1. 介紹項目；
2. 你們產(chǎn)品xxx，有多少個模型？模型指標(biāo)是如何評價的？
3. 什么這個產(chǎn)品治理的內(nèi)容是什么，以及內(nèi)容治理的治理鏈路是什么？
4. 是過擬合？如何發(fā)現(xiàn)過擬合？
5. 大模型評測與小模型評測異同？
6. 對目標(biāo)崗位的理解
7. 離職原因
8. 你有什么想問我的么？

3）面試不足與改進(jìn)

不足①：答非所問。比如面試官沒讓自我介紹，我卻做了自我介紹。這可能是個例情況，但要避免答非所問。比如問我對目標(biāo)崗位是否了解，我不應(yīng)該扯那么多，什么投的不是這個之類的……完全是給自己不合適找依據(jù)……

不足②：問題回答語言不夠精煉、且空洞套話易引起反感、且前后存在矛盾。許多問題準(zhǔn)備不充分，或平時積累不深入。比如“過擬合問題如何發(fā)現(xiàn)？”（雖然我答上了什么是過擬合，但對于怎么發(fā)現(xiàn)回答的不好）。再比如項目介紹被打斷，根本原因在于說的太寬、太空泛，無數(shù)字實例，不夠打動人。比如產(chǎn)品指標(biāo)，我一開始僅回答了一個產(chǎn)品的過程性指標(biāo)（信息預(yù)警準(zhǔn)確率），雖說這個模塊也單獨對外使用，但實際我們的核心指標(biāo)是線索最終落地的核查率。就好比電商產(chǎn)品的北極星指標(biāo)是GMV，我只答了中間某個環(huán)節(jié)的指標(biāo)，說著說著發(fā)現(xiàn)自己說漏了，開始找補(bǔ)……

不足③：心態(tài)問題。因為是字節(jié)崗，我看的比較重，所以在準(zhǔn)備這場面試，而且是第1場面試，我付出了太多時間和精力（兩個禮拜，每天10+小時學(xué)習(xí)），太想好好表現(xiàn)了，以至于看到面試官一上來就愁眉苦臉、眉頭緊鎖，我瞬間就不想答了。

不足④：有些問題回答深度不足，其實可以答的更好。比如一個簡單的問題3：治理的是什么內(nèi)容？我直接答的是內(nèi)容是指網(wǎng)絡(luò)上采集的圖片、視頻…一個內(nèi)容模態(tài)維度。實際完全可以有：內(nèi)容來源維度、內(nèi)容形態(tài)維度、數(shù)量維度、頻次維度（這個回答相較于上面那個回答，哪個好、哪個壞，高下立刻而見）。

治理的內(nèi)容主要是：網(wǎng)絡(luò)上實時采集的賬號、群組、網(wǎng)站等信源發(fā)布的圖片、文本、視頻模態(tài)數(shù)據(jù)，數(shù)量上：每日需要入庫治理xx消息數(shù)據(jù)、xx賬號數(shù)據(jù)、xx群組數(shù)據(jù)；

關(guān)于治理：包括統(tǒng)一的數(shù)據(jù)入庫前的數(shù)據(jù)去重、臟數(shù)據(jù)剔除等清洗等常規(guī)治理，還包括利用各類算法模型對文本、圖片進(jìn)行打標(biāo)等實時和離線治理這種復(fù)雜的數(shù)據(jù)治理…

不足⑤：這點我認(rèn)為是面試官的不足。（如他在講到他們內(nèi)部在嘗試一些“眾包”等沒有標(biāo)準(zhǔn)的評測方式。可以理解，但也不能這么說吧，任何評估都是有標(biāo)準(zhǔn)的，沒有隨心所欲評估的……）

4）面試收獲與成長

通過本次面試前期的準(zhǔn)備，以及本場面試，雖然結(jié)果不理想，但也有許多收獲和成長~

① 前期學(xué)習(xí)準(zhǔn)備的許多關(guān)于大模型及評測的知識，還有面試常規(guī)Q&A，雖然本次面試沒有被問到，但也不會浪費；

比如：

1. 機(jī)器學(xué)習(xí)7大經(jīng)典算法及其優(yōu)劣勢、深度學(xué)習(xí)3大算法模型原理及其優(yōu)劣勢；
2. chatGPT的訓(xùn)練過程，GPT的演進(jìn)歷程；
3. 微調(diào)、RAG與langchain的概念、優(yōu)劣勢；
4. SD原理；
5. 大模型評測框架、大模型評測數(shù)據(jù)集、大模型評測平臺；
6. 大模型應(yīng)用的長文本限制問題如何解決；
7. 基于大模型的自動化評測；
8. 關(guān)于平臺化產(chǎn)品的理解。

② 心態(tài)和經(jīng)驗層面的進(jìn)步

面試就像一場約會，更重要的是雙方匹配、氣場合、緣分到位。面試這個過程是企業(yè)在挑選你的過程，也是你在挑選企業(yè)的過程。

面試未通過，并不意味著你這個人就不行，面試遇到的一些突發(fā)情況等都會影響最終結(jié)果（比如我恰好面試那天姨媽期身體不適等），一次面試代表不了你整個人的全貌。所以，整理好心態(tài)，總結(jié)經(jīng)驗教訓(xùn)，再次出發(fā)就好~

③ 在準(zhǔn)備面試問題層面的經(jīng)驗。

比如我面的是崗位A，在面試前，一定要自己提前準(zhǔn)備好除了離職原因、個人規(guī)劃、自我介紹這些常規(guī)問題外，一定要深挖簡歷上與目標(biāo)崗位相近或相似的經(jīng)歷：以大模型評測崗為例，你不僅要準(zhǔn)備目標(biāo)崗位（大模型評測）相關(guān)的東西（宏觀+拆分），還要橫向“對比”，比如大模型v.s.小模型、大模型評測v.s.小模型評測。

此外，還有一些高頻問題，比如：

1. 你產(chǎn)品的核心指標(biāo)是什么？以及你們是如何制定的？為什么這么制定？你們是如何評估的？評估效果如何？下一步動作是什么？——這個問題，一定要先進(jìn)行拆解，核心指標(biāo)（北極星指標(biāo)）是什么？然后一層層拆解，漏斗的每層指標(biāo)分別是什么？有邏輯性地將產(chǎn)品指標(biāo)問題回答清楚、簡練基礎(chǔ)上完整。
2. 你們產(chǎn)品的競品有哪些？（你不僅要回答出競品有1、2、3、4…還要回答出與競品的優(yōu)劣勢比較，以及相應(yīng)的應(yīng)對措施回答才算完整）；
3. 你有沒有遇到什么困難，你是如何解決的？
4. 如何收集和管理需求？
5. 與研發(fā)等的沖突等問題如何解決？
6. AI產(chǎn)品的必問問題：你產(chǎn)品哪里用了什么AI技術(shù)，解決了什么業(yè)務(wù)問題？以及為何非得是AI？

以上，共勉~加油~