當前位置:首頁>職場>it資產管理數據模型(數據資產管理產品架構規劃)
發布時間:2024-01-24閱讀(12)
編輯導語:數據資產管理與治理是數據產品經理的四大方向之一。本篇文章作者為我們分享了數據資產模塊到底在做哪些事情,以幫助有需要的小伙伴判斷是不是可以去嘗試的數據產品方向。
在數據產品經理從業指南相關文章中講到,數據資產管理與治理是數據產品經理的四大方向之一。Q2開始了,近期在整理數據資產方向的產品工作規劃,順便分享一下,數據資產模塊到底在做哪些事情,也方便大家在未來找工作的時候(今年銅三鐵四的行情讓很多人只能靜待驚蟄了)判斷是不是可以去嘗試的數據產品方向。
一、用戶是誰要解決什么問題?B端產品經理工作方法論中,首要的一點就是搞清楚你的用戶是誰,他的訴求是什么,有哪些影響他工作效率的點,可以通過產品化的方式去解決。
數據資產產品的用戶分為兩類,一是數據資產的生產者,二是資產的消費者。
1. 資產生產者工作內容及訴求
這里的生產者指的是數據開發者,雖然“我們不生產數據,我們只是數據的搬運工”,但是他們基于原始的rawdata經過加工處理之后,生成資產化的數據。
上圖是很多數據開發者的“愉快”的一天,也有人調侃說他們干著“出力不討好的臟活累活”,不出問題叫數據賦能,榮耀和光環都聚焦在應用產品端,出了問題就是“數據質量有問題”。“工欲善其事,必先利其器”,所以,作為數據資產產品經理,給他們提供趁手的工具,可以高效快速的干活,幫助他們把自己的資產管理和治理好,才是對他們的一絲絲安慰。
- 開發數據的時候,ODS層、DWD層、APP層,臨時表,一堆的命名規范限制,記下來消耗CPU,記不住建模不規范事后被批還要整改。所以,能不能簡單點,開發的方式簡單點。
- 睡得正稥的時候報警電話什么的最惡心了,所以,任務調度運維的報警策略,失敗重試機制可以更AI一些么。即使非得人工處理,任務的一鍵通知、重跑能不能閉著眼睛就可以操作完接著睡覺了?
- 負責很多的數據模型,業務經常來問數據在哪里,字段啥意思,可以不要來騷擾我嗎。所以,我想讓模型更多的被復用,但是最好自助去使用,我只想安靜去coding。
- 每次被老板指著鼻子說模型健康度差,哪個模型命名不規范,元數據缺失,任務耗時高,長時間沒人訪問。所以,可不可以提供個工作臺,就像農民去田間看莊稼長啥樣要不要除草,讓我每天早上上班第一件事,把代辦清單的治理事項提前完成,下次老板直接周會表揚,我們要向XX同學學習,開發習慣非常優雅。
- 數據開發者除了自己不能刪庫跑路外,還需要對數據安全問題負責,所以需要流程化、自動化的權限授權和審批管理流程。
2. 資產消費者的場景及訴求
指使用數據的業務產品、運營、分析以及二次加工的數據開發人員。作為數據消費者,就像你去實體店或者電商平臺買東西,你希望能夠:找得到,看得見,放心用(買)。也就是說,在資產倉庫中,SKU覆蓋全面,并且規格參數、用法用量(元數據)完備可見,幫助你決策是否是所需要的,除此之外,最好有一些客戶好評推薦或者官方認證的童叟無欺的證明,這樣才可以放心使用,不至于掉坑里。
資產消費者的主要訴求包括:
二、數據資產模塊的產品體系規劃設計
- 當我需要用數據,但是不知道數據在哪的時候,可以有工具引導我,從產品線,到數據分類可以逐步縮小范圍,最終眾里尋他千百度,啊原來你在這里。所以,需要有地圖指引的能力。
- 新入職工作交接,前輩告訴我需要的數據都在這個表里,但是求知欲比較強的我,希望搞清楚數據的來龍去脈,以便舉一反三,而不是僅僅改個日期參數就查數據去了,所以需要便捷的數據檢索能力。
- 數據找到了,有沒有相關的認證,證明今天數據沒問題呢。
- 雖然內心是拒絕騷擾數據開發者的,但是遇到邏輯不清楚,數據不確定的時候,還是想能夠找到負責人,或者其他使用過這張表墻裂推薦的人,去交流交流。
- 除了利用表進行SQL查詢或者拖拽分析外,現在不都提中臺嗎,所以,還希望有可以直接可以輸出的數據服務,比如指標API、標簽服務,可以通過界面化的配置就生成了接口,DAAS嘛(數據接口即服務)。
明確了用戶及其訴求,接下來就是需要通過相應的數據產品來為其賦能助力了。兩類用戶可能會有重合的場景,比如數據開發者也會作為數據消費者去使用別人開發的數據,同樣,業務人員也可以自己去申請建表。所以,在資產產品架構設計上,主要圍繞數據的匯聚、加工處理、資產管理、數據治理、價值輸出等環節進行覆蓋。
1. 數據匯聚
主要解決異構數據源之間的數據傳輸問題,數據從業務數據庫、產品端埋點采集或者其他第三方的API接口、FTP文件互傳,需要提供簡單通用的數據集成能力,方便把數據統一匯聚到中央數倉。
在產品功能設計時,不同的源、和目標之間所需要的參數配置是差異化的,逐個對接解決即可。另外,數據需要每天或者實時的進行同步消費,所以需要和調度系統結合,提供智能化自動化的資源調度和任務運維能力。
所以,很多數據產品是把數據集成作為一種數據開發任務類型,整合在數據開發套件產品之中。
2. 數據加工處理
在這個環節主要是基于業務對數據使用場景進行數據清洗和邏輯處理,包括離線數據開發和實時數據開發,相當于是數據的加工廠,基于同步過來的數據源進行加工,形成高可用的數據模型。開發套件比較大,可以獨立成單獨的產品模塊。
同時,可以將模型建設規范融入到任務開發的校驗流程中。多些事前校驗,而不是僅僅依靠事后治理。例如提供dataphin之類的流程化建模或數據加工工具
3. 數據資產化管理
資產化管理:數據工廠加工好的數據,還需要進行分門別類的規整,貼上各種規格標簽,才能給到下游消費者使用。資產化管理主要通過數據地圖進行數據表查詢檢索,元數據信息維護查詢,為使用者提供方便的數據指引能力。
數據血緣:是貫通數據從入湖到業務終端全流程的數據鏈路關系,一是可以方便排查數據生產過程的來龍去脈,為翻代碼查邏輯提供指引。此外,基于血緣可以做到數據異常時的下游通知,以及下游應用無人使用時,數據一鍵治理,存儲計算資源釋放。
數據質量監控:針對任務執行的結果準確性進行監控,提前發現因為源端數據庫變更、開發Bug等問題引發的數據不準等問題。
數據治理:從任務資源消耗、時間消耗、業務使用(冷熱數據)、開發規范、模型覆蓋度復用度等不同維度建立資產健康度評估指標體系,以及數據治理工作臺,每天上班就可以知道有哪些坑要填,提前把自己埋了。
4. 數據價值輸出
搞大數據最終是為了數據能夠產生價值,一是基于數據的決策,二是數據驅動的產品智能化、運營精細化。
SQL即席查詢是基于數據模型的SQL取數,自助分析則是通過傻瓜式拖拽方式服務于無SQL能力的業務人員。在這個環節和資產關系密切的就是指標管理、標簽資產管理,通過數據API方式,最終將數據輸出給到前端的可視化分析產品或者產品、運營主流程的接入應用。
5. 數據安全管理
數據庫、數據表、指標及標簽的元數據可以公開查閱,但真正要取數使用,必須先獲取對應的授權,因此需要提供一鍵權限申請、審批消息通知、授權后應用自動賦權等全流程的自動化產品設計。
三、總結
數據資產是大數據的根基,前期業務發展追求短平快,留下的資產不規范不健全的坑未來還是要逐一去填平。數字化轉型首先要解決的也是數據匯聚和數據資產等問題。
數據資產模塊相關的產品經理,不僅要具備良好的產品通用能力,同時需要對大數據生態、數據流轉流程、數倉建設等理論有良好的認知,這樣做起產品才能更加游刃有余。但萬變不離其宗,數據的采存管用流程涉及的數據產品模塊,各家公司也都大同小異。
#專欄作家#
數據干飯人,微信號公眾號:數據干飯人,人人都是產品經理專欄作家。專注數據中臺產品領域,覆蓋開發套件,數據資產與數據治理,BI與數據可視化,精準營銷平臺等數據產品。擅長大數據解決方案規劃與產品方案設計。
本文原創發布于人人都是產品經理,未經作者許可,禁止轉載。
題圖來自 Unsplash,基于CC0協議。
Copyright ? 2024 有趣生活 All Rights Reserve吉ICP備19000289號-5 TXT地圖HTML地圖XML地圖