久久精品免费一区二区三区,热久久国产精品,伊人久久一区

產品簡介

美林新聞/NEWS

首頁美林數據大數據分析與應用

Tempo人工智能平臺之智能學習模塊

2020-04-10 14:30:36 次

在數據驅動決策，數字化轉型的今天，越來越多的企業設立首席數據執行官以及數據分析科學家的角色，帶領一個團隊去完成數據的收集、存儲、傳輸以及分析任務，設計組織、協調、流程、技術實現及生產部署，其除了需要了解業務，定義分析方案，自動執行或優化流程外，更重要的在于其需要通過協同團隊來發掘創新及洞察，優化他們所創造的價值，這就需要在一個集成、協同的環境中去實現數據挖掘分析。
Tempo大數據分析平臺是一款專注大數據挖掘與可視化分析的業務增值工具，其采用數據流拖拽式的操作流程，結合CRISP-DM工業標準，以高性能計算技術、領先的數據挖掘算法、高維可視化分析技術、獨創DVL數據可視化語言技術為基礎，幫助用戶解決數據價值發掘和利用的問題，其強大的自學習功能更是為建模分析及優化模型提供了一種有效便捷的途徑。

圖 1 CRISP-DM數據挖掘流程

在完成建模數據準備之后，需要依據數據建立模型時，通常會面臨算法選擇的問題，即選擇何種算法可能會取得較好的結果，一般的做法是依據經驗和算法特點來確定。而在選定算法后，面臨的第二個問題是如何設定算法的參數，通常默認的算法參數針對的一般的數據集，如公開的數據挖掘算法測試數據集，在針對具體的業務建模時，就需要多次實驗來確定一組相對較好的算法參數，整個過程耗時耗力。

圖 2 選擇模型或算法時的困擾

Tempo人工智能平臺的智能學習模塊為您提供一站式的解決方案，主要包括自動分類、自動擇參、交叉驗證和循環行四大部分。自動分類部分可實現分類模型的自動選擇，自動擇參可實現對算法最優參數的自動選擇，交叉驗證可實現對訓練模型泛華性能的評估，循環行可實現按特定字符字段分類處理或建模功能。

圖 3 Tempo智能學習模塊

其中自動分類能實現一個數據集的多種分類算法的一次性建模，并且內嵌自動擇參和交叉驗證等功能，確保在多種模型中選擇和推薦出最佳的模型，以實現模型的自動化和智能化學習。

圖 4 自動分類流程示例

圖 5 自動分類參數配置

圖 6 自動分類洞察信息

其中，自動擇參提供了一定范圍下的批量建模，在實際建模中，針對每個算法提供對應的一批參數和這些參數的多個取值，算法對這些參數及其取值進行組合，并通過循環執行組合內的值，挑選出表現最佳的模型。平臺中調參的方法包含grid和list，grid是僅支持數值型參數，并提供如線性尺度、對數尺度等變換方式，list除了支持數值型參數調參外，還支持對字符型參數。模型洞察信息中包含最終選擇的算法最有參數及模型結構相關信息，便于后續模型調優及應用部署。

圖 7 自動擇參流程示例

圖 8 自動擇參內部流程及參數配置

圖 9 自動擇參結果洞察信息

交叉驗證是一種用來驗證模型性能的統計分析方法，基本思想是：將原始數據進行分組，一部分作為訓練集，一部分作為驗證集，首先用訓練集對分類器進行訓練，再利用驗證集來測試訓練得到的模型，以此作為評價模型的性能指標。過程中不僅考慮了訓練誤差，同時也考慮了泛化誤差，有助于從某些候選模型中選擇最適合某個學習問題的模型，使得模型在偏差和方差之間找到最佳的平衡點。Tempo平臺中實現的方法為K折交叉驗證法，假設指定驗證次數為k，則意味著將原始樣本分為k份，將每份子集數據分別做一次測試驗證集，其余的k-1組子集數據作為訓練集，這樣會得到k個模型，將這K個模型的預測結果分別相加，作為此分類模型的匯總混淆矩陣，并由匯總混淆矩陣得出指定參數下該模型的正確率、召回率等性能指標。模型洞察信息中包含各模型的混淆矩陣及正確率信息和最終模型對于整體數據的正確率。

圖 10 交叉驗證流程示例

圖 11 交叉驗證內部流程及參數配置

圖 12 交叉驗證結果洞察信息

另，Tempo人工智能平臺提供了循環行功能，可實現根據指定的字符型屬性的不同取值，將數據集分群，各分群數據集分別執行循環行中的任務（數據讀取、數據處理、建模、評估等），如支持將全國銷售數據分區域進行缺失值處理，華北/華南區域中某城市銷售額存在空值的，則用華北/華南區域各城市銷售額均值填充處理。將其結合平臺的自學習功能可實現更為復雜場景的建模，為用戶有效便捷地實現企業價值發掘提供更有力的支持。