智慧城市,讓生活更美好
編輯導語:隨著現(xiàn)代科技的不斷發(fā)展進步,智慧城市的建設(shè)也在不斷發(fā)展,本篇文章作者分享了有關(guān)智慧城市的內(nèi)容,從智慧城市的概念、背景和發(fā)展歷程、特點以及項目架構(gòu)設(shè)計等內(nèi)容都一一講述,感興趣的一起來看一下吧。
一、如何理解智慧城市/智慧城市是什么
提到智慧城市,常會想起上海2010年世博會“Better city, Better life.城市,讓生活更美好”。關(guān)于智慧城市,其實沒有一個共識性的定義,想從這兩點談?wù)剬χ腔鄢鞘袃?nèi)涵的理解。
1. 從AI+行業(yè)理解
我們在談?wù)揂I+、智慧化概念的時候,說的是以人工智能技術(shù)升級傳統(tǒng)行業(yè)。那智慧城市就是以人工智能技術(shù)升級城市公共服務(wù)。
麥肯錫的《智慧城市:數(shù)字科技打造宜居家園》報告中包括了出行、安全、健康、能源、水、垃圾、經(jīng)濟發(fā)展和住宅、參與和社區(qū)。不同廠商智慧城市解決方案覆蓋的行業(yè)范圍大有差異。
2. 從政府職能理解
《新型智慧城市發(fā)展報告2017》對智慧城市的定義是“智慧城市系統(tǒng)應(yīng)是一個全面、精確、實時把老百姓需求與城市管理決策對接在一起的決策輔助系統(tǒng),是一個政府、社會、公眾三方參與的可持續(xù)的商業(yè)模式”。
我理解政府職能可以粗略劃分為決策和服務(wù)兩大類,智慧城市涉及G端、B端、C端三端用戶,是把C端用戶、B端企業(yè)和G端政府精準對接的輔助決策系統(tǒng)。
如何對宏觀和產(chǎn)業(yè)做出更精準的決策;如何服務(wù)好企業(yè),降低信息不對稱性讓企業(yè)少跑腿;如何服務(wù)好普通市民,讓市民生活便利,更美好,實現(xiàn)更精細化的管理決策。比如阿里云城市大腦解決方案中頂層按G端、B端、C端分為優(yōu)政-政府治理(G端)、惠民-城市服務(wù)(G端)和興業(yè)-城市產(chǎn)業(yè)(G端)。
二、智慧城市的背景和歷程/為什么會有智慧城市
2017年國家提出數(shù)字中國戰(zhàn)略,2018年各省份制定數(shù)字經(jīng)濟、數(shù)字城市、數(shù)字政府等未來多年戰(zhàn)略規(guī)劃。密集出臺了《關(guān)于促進智慧城市健康發(fā)展的指導意見》、《國家智慧城市頂層設(shè)計指南》、《新型智慧城市評價指標(2016年)》等。大體政策歷程可以參考華潤《智慧城市白皮書城市建設(shè)運營數(shù)字化轉(zhuǎn)型》。
圖片來源:《智慧城市白皮書城市建設(shè)運營數(shù)字化轉(zhuǎn)型》
《華為AI賦能智慧城市白皮書》將智慧城市發(fā)展歷程劃分為試點探索(2012-2014)、落地實施(2014-2016)、發(fā)展轉(zhuǎn)型(2016-2020)、新篇章(2020至今)四個階段。劃分標準是從政策文件出發(fā)進行劃分。
《百度智慧城市白皮書》將智慧城市發(fā)展歷程劃分為概念導入期(2008-2012)、試點探索期(2012-2016)、統(tǒng)籌推進期(2016-2020)、集成融合期(2020至今)四個階段。劃分標準更多是從技術(shù)和推進方式來劃分。
三、智慧城市項目的特點
1. 周期長、回款慢、工期緊張
從時間維度看,政府項目有周期長、回款慢、工期緊張的特點。周期以年為單位,交付部署完后還有后續(xù)運維期(一般3年)。
項目初期由渠道商務(wù)打單,政府與多家意向單位溝通,聽取各家解決方案并選擇最合適的。由于招投標一般中期才開始,供應(yīng)商需要前期提前投入,且項目初驗、終驗不同階段才能獲得對應(yīng)款項。
需要成本把控和風險防范??赡艿娘L險點有,一是項目廢標,如去年年底Z市公安1億項目廢標;二是客戶中途替換供應(yīng)商;三是客戶覺得功能已經(jīng)實現(xiàn)開始砍價。需要控制客戶預(yù)期,做好投產(chǎn)評估。
2. 參與主體多、利益復(fù)雜
從參與主體看,政府項目有參與主體多、利益復(fù)雜的特點。參與主體有客戶、供應(yīng)商、監(jiān)理等??蛻魝?cè),客戶有不同的層級,高層領(lǐng)導、中層干部、基層辦事員。日常工作中接觸最多的是基層辦事員,了解其工作流程和痛點。中層干部一般是周期性匯報或者節(jié)點決策時出現(xiàn)。而只有在項目啟動會或者重大的匯報節(jié)點,才會和高層領(lǐng)導接觸。
這里存在兩個錯位的三角形,決策權(quán):高層領(lǐng)導>中層干部>基層辦事員,對接密度:基層辦事員>中層干部>高層領(lǐng)導。
政府項目一般遵循自上而下的建設(shè)路徑,領(lǐng)導意志層層下達,過程容易扭曲。如果涉及多個部門的項目,會出現(xiàn)領(lǐng)導意見紛雜、眾口難調(diào)的情況,不同部門間可能存在深層次利益沖突。
供應(yīng)商側(cè),可能情況有,一是項目分為ABC多個包,不同的包由不同供應(yīng)商負責;二是政府只會和有資質(zhì)、體量大的公司簽合同,這一公司作為總包,再把各模塊分包給更有專業(yè)優(yōu)勢的分包商。
3. 需求變更頻繁
這一特點是由特點2衍生的,“我不知道我要什么,我只知道我不要什么”。
智慧城市項目需求是自上而下傳導的,可能是政策導向性業(yè)務(wù)需求,可能是機構(gòu)領(lǐng)導指派的任務(wù),也可能是為了解決機構(gòu)內(nèi)部問題。需求需要決策審批,由于多層級領(lǐng)導,決策鏈路長,中途易發(fā)生需求變更,可能面臨多次推翻。
4. 需要考慮系統(tǒng)融合
這里針對二期、三期項目而言,需要考慮與一期已經(jīng)建成系統(tǒng)的融合。即使一期做得不盡人意,客戶也不會希望花了大價錢的系統(tǒng)就荒廢了,還是希望能夠和二期三期銜接起來。
5. 注重安全性
政府一般有內(nèi)網(wǎng)和外網(wǎng)之分,項目注重安全性,需要本地化部署或者專有云部署。
四、智慧城市產(chǎn)業(yè)圖譜及項目架構(gòu)設(shè)計
1. 智慧城市產(chǎn)業(yè)圖譜
圖片來源:《中國信通院2020智慧城市產(chǎn)業(yè)圖譜研究報告》
2. 智慧城市項目的架構(gòu)設(shè)計
- 感知層:底層是外部數(shù)據(jù)的收集,“模態(tài)”是生物憑借感知器官(視覺、聽覺、觸覺、味覺、嗅覺)與經(jīng)驗來接收信息的通道,多模態(tài)感知指的是通過傳感器、探頭等硬件設(shè)備采集外部數(shù)據(jù),將獲取的信息包括文字、圖片、音頻、視頻等進行融合。
- 平臺層:數(shù)據(jù)資源中心,包含數(shù)據(jù)管理和運營、數(shù)據(jù)儲存和計算、數(shù)據(jù)治理工具等模塊,對從感知層采集到的數(shù)據(jù)進行加工,為模型所用。模型處理中心,包括深度分析、智能預(yù)測、視覺計算等模型。
- 應(yīng)用層:即應(yīng)用場景,對平臺層處理過的數(shù)據(jù)和模型結(jié)果進行應(yīng)用。包括優(yōu)政-政府治理(TO G)、惠民-城市服務(wù)(TO C)、興業(yè)-城市產(chǎn)業(yè)(TO B)。
五、智慧城市的常見問題
甲子光年曾做過兩篇關(guān)于智慧城市的報道《7年了,為什么智慧城市還不智慧?》和《三問智慧城市:建設(shè)8年為何還處在初級階段?》提到數(shù)據(jù)孤島、數(shù)據(jù)共享難的問題?;久總€項目都會遇到這個問題,政務(wù)服務(wù)數(shù)據(jù)管理局、大數(shù)據(jù)管理局的成立,政府數(shù)據(jù)統(tǒng)一開放平臺的建設(shè),都是為了打破煙囪林立,數(shù)據(jù)孤島的局面,但目前效果沒有預(yù)期的好。登錄一些地方的政府數(shù)據(jù)統(tǒng)一開放平臺,很多數(shù)據(jù)目錄中包含的數(shù)據(jù)字段很少,且口徑較粗,都是表面數(shù)據(jù),沒有細顆粒度數(shù)據(jù),難以展開分析和下一步工作。
六、從PM視角看智慧城市機器學習項目的落地
有天在商場看到廁所外面有一個智能屏幕,上面顯示蹲位剩余情況比如“5/14”或者“空”。
我們找了一個兒童廁所試驗了一下,進去關(guān)上門后從原本的0/3變成了1/3。思考下這個場景背后的需求和實現(xiàn)。在旅游景區(qū)、機場、火車站、商超等人流量密集的大型公共場所,上廁所經(jīng)常是一個痛點,找?guī)M勁、廁所排隊時間長、衛(wèi)生清潔狀況差等。
作為管理人員,傳統(tǒng)的解決方案是更加清晰顯眼的指引路牌、合理規(guī)劃蹲位、加大清潔人員值班的密度等。是否可以借助人工智能使公廁更加智慧化和便民化?
比如通過傳感器、物聯(lián)網(wǎng)技術(shù)提醒紙巾、洗手液等物資供應(yīng)補給;通過人流量和物資消耗數(shù)據(jù)建模計算調(diào)整清潔頻次;根據(jù)廁所人流量和距離推薦最優(yōu)選擇,提醒游客旅客前往人流量小的廁所等等。
這里想從PM視角將看機器學習項目落地的全過程:
1. 需求定義
在和客戶溝通交流的過程中,分析客戶的需求,傳統(tǒng)方式是什么,是否需要AI加持,通過AI加持可以達到什么效果。在需求定義過程中產(chǎn)品需要做的事情:
- 與客戶加強溝通,了解客戶的需求,客戶對模型能力的預(yù)期。如推薦的實時性、預(yù)測的精度、使用模型后用戶滿意度能提升多少等等,最好是有一個定量的目標,便于研發(fā)同學進行評估。
- 將抽象的業(yè)務(wù)問題轉(zhuǎn)化為數(shù)學問題或者技術(shù)問題并傳達給研發(fā)同學進行技術(shù)預(yù)研。如根據(jù)廁所人流量和距離推薦最優(yōu)選擇,轉(zhuǎn)化為通過傳感器收集到廁所人流量信息、通過LBS收集到用戶和廁所的距離信息進行建模。
- 向研發(fā)介紹需求背景、業(yè)務(wù)目標、數(shù)據(jù)大致情況,由研發(fā)評估技術(shù)可行性和投產(chǎn)。
2. 數(shù)據(jù)采集
機器學習建模需要用到大量數(shù)據(jù),在數(shù)據(jù)采集過程中,需要解決模型需要哪些數(shù)據(jù)輸入、數(shù)據(jù)從哪里來、是否需要標注等問題。
在數(shù)據(jù)準備過程中產(chǎn)品需要介紹數(shù)據(jù)流轉(zhuǎn)和采集方案,與研發(fā)同學共同確定所需字段和表結(jié)構(gòu)。
3. 數(shù)據(jù)預(yù)處理
采集完數(shù)據(jù)后,并不能馬上開始建模工作。在一個數(shù)據(jù)分析建模的項目中,數(shù)據(jù)清洗工作量可能高達80%。數(shù)據(jù)質(zhì)量的好壞直接影響了建模效果,所以在數(shù)據(jù)采集完后,需要對數(shù)據(jù)進行清洗加工,確保入模數(shù)據(jù)的質(zhì)量。常見的數(shù)據(jù)問題有數(shù)據(jù)缺失、日期格式不統(tǒng)一、重復(fù)、口徑不統(tǒng)一、頻率不統(tǒng)一、臟數(shù)據(jù)等,這里總結(jié)了一些數(shù)據(jù)處理的方法。
- 數(shù)據(jù)缺失處理:設(shè)定缺失閾值,如果缺失情況超出了既定閾值,就剔除相應(yīng)指標,如果沒有超出則保留并補全缺失值。補全方法有以某個設(shè)定的常數(shù)替換缺失值;以均值、中位數(shù)或眾數(shù)替換缺失值;以隨機生成的值替換缺失值。
- 去除異常值:避免極大極小值(outliner)對模型的影響,比如K-means算法對異常值非常敏感。
- 口徑不一致需進行統(tǒng)一:有些指標是絕對值,有些指標是當期同比,有些指標是累計同比,需要進行統(tǒng)一。指數(shù)或已經(jīng)帶百分比率的指標一般不需要計算同比。
- 頻率不一致需進行變頻:有些是高頻如日、周的指標,有些是低頻如月、季的指標,需對指標進行變頻處理,注意只能是高頻變低頻,變頻也有多種計算方式,如合計值、平均值、是否限于當年等,需根據(jù)業(yè)務(wù)情況進行評估和選擇。
- 進行平穩(wěn)性檢驗:不符合平穩(wěn)性檢驗的要進行差分處理。
在數(shù)據(jù)預(yù)處理完后,切分數(shù)據(jù)集,一般分為訓練集、測試集和驗證集。如果只有訓練集和測試集,一般按照70/30劃分,如果加上驗證集,則按60/20/20劃分。
在數(shù)據(jù)預(yù)處理過程中產(chǎn)品需要與算法共同確認數(shù)據(jù)清洗規(guī)則。
4. 模型構(gòu)建
在數(shù)據(jù)清洗完后終于來到了建模這一步。此處引用劉海豐老師的定義:
機器學習三大場景為分類、回歸、聚類,具體應(yīng)該用哪一種模型,需要根據(jù)目標變量進行定義。如果預(yù)測結(jié)果是兩個離散的值,適用分類模型。如果預(yù)測結(jié)果是連續(xù)的值,適用回歸模型。常見的分類算法有LR,NB,SVM,DT,RF,KNN等,常見的回歸算法有l(wèi)asso,ridge,gbrt,xgboost, garch常見的聚類算法有K-means, dbscan等。研發(fā)同學會根據(jù)目標變量、數(shù)據(jù)情況,結(jié)合算法優(yōu)劣點,選擇合適的模型。
5. 特征選擇
前文提到運用機器學習模型,輸入大量指標,輸出目標變量的預(yù)測值。
并不是所有我們能獲取的數(shù)據(jù)指標都會用在模型預(yù)測上,我們要找到優(yōu)質(zhì)的因子/特征,簡單來說就是找到那些對目標變量Y預(yù)測效果好的解釋變量X。
篩選方法有很多種,比如常見的斯皮爾曼相關(guān)系數(shù)、皮爾遜相關(guān)系數(shù)等,或者一些自研方法。在經(jīng)過數(shù)理檢驗篩選出一批優(yōu)質(zhì)特征后,我們還可以從業(yè)務(wù)意義進行進一步篩選。
6. 模型訓練與評估
通過不斷地訓練模型、驗證模型和調(diào)優(yōu),達到最優(yōu)的預(yù)測效果。對模型效果進行評估。回歸模型常用的評價指標有MAE平均絕對誤差、MSE均方誤差、RMSE均方根誤差,誤差數(shù)值越小越好。
分類模型常用的評價指標是基于混淆矩陣的accuracy,precision,recall,F1-score等?;煜仃嚕?/p>
- True Positive(真正,TP):將正類預(yù)測為正類數(shù);
- True Negative(真負,TN):將負類預(yù)測為負類數(shù);
- False Positive(假正,F(xiàn)P):將負類預(yù)測為正類數(shù);
- False Negative(假負,F(xiàn)N):將正類預(yù)測為負類數(shù)。
7. 模型融合
機器學習同時訓練多個分類和回歸模型,再通過集成的方式進行模型融合,提升模型預(yù)測的準確率。回歸模型的融合是通過算法平均或加權(quán)平均,常見的融合方法有bagging, boosting和stacking,分類模型的融合是通過投票融合方法,票數(shù)最多的預(yù)測結(jié)果為最終結(jié)果。
參考材料:
- 阿里城市大腦解決方案;
- 華為AI賦能智慧城市白皮書;
- 華潤智慧城市建設(shè)數(shù)字化轉(zhuǎn)型白皮書;
- 百度智慧城市白皮書;
- 麥肯錫智慧城市:數(shù)字技術(shù)打造宜居家園;
- 中國信通院2020智慧城市產(chǎn)業(yè)圖譜研究報告;
- 7年了,為什么智慧城市還不智慧?| 甲子光年;
- 三問智慧城市:建設(shè)8年為何還在初級階段?| 甲子引力。
本文由 @RfSr 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議。
這個落地項目到數(shù)據(jù)采集那里就看不懂了 有什么課程可以學習一下嗎
智慧城市的格局太大了
智慧城市的方向太多了,智慧信控,智慧路網(wǎng),全息路網(wǎng),交通大腦,車路協(xié)同等
智慧城市挺有必要的,科技的發(fā)展也方便人們生活。
智慧城市的普及是必然的,也確實方便了大眾生活。
智慧城市就是高新技術(shù)打造的產(chǎn)業(yè),可以滿足人們的不同需求,感覺還是很不錯的
智慧城市可以滿足很多人對于未來生活的向往,而且更加便利的生活也是一直追求的
智慧城市就是一堆互聯(lián)網(wǎng)高科技打造的集合體,處處體現(xiàn)新型先進技術(shù)。