紅點(diǎn)創(chuàng)投的投資人TOMASZ TUNGUZ日前撰文，討論了概率論與機(jī)器學(xué)習(xí)的關(guān)系，提出了管理用戶信任的建議。他認(rèn)為，設(shè)置合適的用戶對(duì)系統(tǒng)容量的期望至關(guān)重要，要判斷那種統(tǒng)計(jì)錯(cuò)誤類型（這里的“錯(cuò)誤類型”是統(tǒng)計(jì)術(shù)語，包括一類錯(cuò)誤和二類錯(cuò)誤）。
失去信任要比失去軟件的用戶或買家來得更快，比如這個(gè)軟件沒有保存我的數(shù)據(jù)、數(shù)據(jù)庫損壞、網(wǎng)站安全系數(shù)頻繁下降。數(shù)據(jù)完整性是每個(gè)公司存儲(chǔ)數(shù)據(jù)所面臨的挑戰(zhàn)。機(jī)器學(xué)習(xí)SaaS初創(chuàng)企業(yè)面臨著另一種信任風(fēng)險(xiǎn)——一種以概率引入的風(fēng)險(xiǎn)。
當(dāng)年，內(nèi)森預(yù)測(cè)2008年巴拉克·奧巴馬（Barack Obama）的成功選舉，每個(gè)地區(qū)的準(zhǔn)確率幾乎達(dá)到100％時(shí)，概率論可謂是大放異彩。真實(shí)世界與可能的預(yù)測(cè)一致。然而八年后的這次選舉，概率沒能預(yù)測(cè)對(duì)新總統(tǒng)的人選。
在2008年和2016年的分析中，預(yù)測(cè)可能是正確的。2008年的成功預(yù)測(cè)使人們對(duì)數(shù)據(jù)更加信任，然而在2016年，結(jié)果卻發(fā)生了變化，預(yù)測(cè)反倒不準(zhǔn)了。這種現(xiàn)象很自然。
置信系數(shù)和2類錯(cuò)誤
許多機(jī)器學(xué)習(xí)系統(tǒng)也依賴概率。程序員將閾值編碼到機(jī)器學(xué)習(xí)模型中，系統(tǒng)使用該閾值來決定概率是否可以得出結(jié)論，有時(shí)這被稱置信系數(shù)。例如，該圖像包含貓的最小概率、sacre blue 被翻譯為“哦，我的天哪！”而不是sacre blue的概率 、高峰時(shí)間的范懷克的速度比從新澤西州到曼哈頓的帶百匯要快的概率。
在計(jì)算機(jī)系統(tǒng)推薦之前，這些最小概率應(yīng)該是多少？ 80％？ 90％？ 95％？ 增加概率和減少誤報(bào)數(shù)量或類型1錯(cuò)誤。這樣您在搜索貓時(shí)，結(jié)果中出現(xiàn)貓鼬的數(shù)量就會(huì)更少。
但是，過多的增加信任閾值會(huì)引起類型2錯(cuò)誤。有可能系統(tǒng)斷言圖像不包含貓，但經(jīng)過進(jìn)一步的檢查，你可以看到有一個(gè)有貓的圖片。
如何管理這種風(fēng)險(xiǎn)
機(jī)器學(xué)習(xí)SaaS公司必須找到平衡。讓機(jī)器學(xué)習(xí)系統(tǒng)可以合理的寬松、適當(dāng)?shù)膰?yán)格。如果產(chǎn)品掉到一個(gè)極端，產(chǎn)品可能會(huì)失去用戶的信任，最終失去業(yè)務(wù)。
如何最好地管理這種風(fēng)險(xiǎn)？聊天機(jī)器人surge告訴我“人/機(jī)器人”交互的一個(gè)原則。設(shè)置合適的用戶對(duì)系統(tǒng)容量的期望至關(guān)重要。低估和超額投放都會(huì)導(dǎo)致不信任。
第二種方法是確定哪種類型的錯(cuò)誤對(duì)用戶更為有利。在電子郵件垃圾郵件檢測(cè)中，就需要更好地從郵件中分離出沒用的垃圾郵件。
這些下一代機(jī)器學(xué)習(xí)產(chǎn)品都將依賴于用戶信任的建立。在某些時(shí)候，這些產(chǎn)品必須明確什么時(shí)候的概率足夠好，才能將營銷預(yù)算轉(zhuǎn)移到新的廣告系列，分類圖片，翻譯，分類垃圾郵件或升級(jí)錯(cuò)誤。
這類產(chǎn)品決定選擇一定要謹(jǐn)慎。ML系統(tǒng)的信心得分直接關(guān)系到用戶對(duì)產(chǎn)品的信任程度。
