2021-01-27 分類: 網站建設
評價一個算法的好壞,我認為關鍵是看能不能解決問題。如果算法能很好地解決實際的問題,那么我認為就是好算法。 比如預測的算法,關鍵是看預測的準確率,即預測值與實際值之間的接近程度,而不是看算法本身的評分高低。
在《 如何用人工智能預測雙 11 的交易額 》這篇文章中,利用線性回歸算法,我預測 2019 年雙 11 交易額為 2471 億元,而阿里官方公布的實際交易額是 2684 億元,預測值比實際值少 7.9%,對這個結果,我覺得準確率不夠高。反思預測的過程,我認為可以從以下幾個方面來進行改進。
1. 樣本
為了簡化算法模型,我舍棄掉了前幾年相對較小的數據,只保留了最近 5 年的數據。
在數據量本身就比較少的情況下,我仍然遵循簡單原則,這無形中就加大了算法不穩定的風險,出現了欠擬合的問題。
盡管算法的評分很高,但是評分高并不代表算法就好。所以,樣本的選擇非常重要,不能單純地追求算法的評分高,而忽略樣本的質量。
2. 算法
如果保留所有樣本,那么顯然數據呈現的規律并不是線性的,用多項式回歸算法應該是個更好的選擇。
假如用三次多項式回歸算法進行預測,那么算法代碼如下:
- # 導入所需的庫
- import numpy as np
- import pandas as pd
- import matplotlib.pyplot as plt
- from sklearn.linear_model import LinearRegression
- from sklearn.preprocessing import PolynomialFeatures
- from sklearn.pipeline import Pipeline
- from sklearn.preprocessing import StandardScaler
- # 內嵌畫圖
- %matplotlib inline
- # 設置正常顯示中文標簽
- plt.rcParams['font.sans-serif'] = ['SimHei']
- # 讀取數據,在林驥的公眾號后臺回復「1111」
- df = pd.read_excel('./data/1111.xlsx')
- # x 年份
- x = np.array(df.iloc[:, 0]).reshape(-1, 1)
- # y 交易額
- y = np.array(df.iloc[:, 1])
- # z 預測的年份
- z = [[2019]]
- # 用管道的方式調用多項式回歸算法
- poly_reg = Pipeline([
- ('ploy', PolynomialFeatures(degree=3)),
- ('std_scaler', StandardScaler()),
- ('lin_reg', LinearRegression())
- ])
- poly_reg.fit(x, y)
- # 用算法進行預測
- predict = poly_reg.predict(z)
- # 輸出預測結果
- print('預測 2019 年雙 11 的交易額是', str(round(predict[0],0)), '億元。')
- print('線性回歸算法的評分:', poly_reg.score(x, y))
預測 2019 年雙 11 的交易額是 2689.0 億元。
線性回歸算法的評分:0.99939752363314
下面是用 matplotlib 畫圖的代碼:
- # 將數據可視化,設置圖像大小
- fig = plt.figure(figsize=(10, 8))
- ax = fig.add_subplot(111)
- # 繪制散點圖
- ax.scatter(x, y, color='#0085c3', s=100)
- ax.scatter(z, predict, color='#dc5034', marker='*', s=260)
- # 設置標簽等
- plt.xlabel('年份', fontsize=20)
- plt.ylabel('雙 11 交易額', fontsize=20)
- plt.tick_params(labelsize=20)
- # 繪制預測的直線
- x2 = np.concatenate([x, z])
- y2 = poly_reg.predict(x2)
- plt.plot(x2, y2, '-', c='#7ab800')
- plt.title('用多項式回歸預測雙 11 的交易額', fontsize=26)
- plt.show()
這近乎好地擬合了 2009 年以來十一年的數據,因此不禁讓人懷疑,阿里的數據是不是過于好?
3. 優化
按照一般的機器學習算法流程,應該把數據拆分為兩部分,分別稱為訓練數據集和測試數據集。從 2009 年到 2018 年,雙 11 的交易額總共才 10 個數據,我在預測的時候還舍棄了前 5 個數據,最后只剩下 5 個數據,我以為再拆分就沒有必要了。 但機器學習算法的表現好壞,有一個關鍵因素,就是要有足夠多的數據量。
另外,應該適當地使用網格搜索法,優化算法的參數,必要時還要與交叉驗證法相結合,進行算法評估,從而提高算法的可信度和準確率。 除了算法的準確率,還可以使用其他的方法對模型進行評價,比如:召回率、F1 分數、ROC、AUC、MSE、RMSE、MAE 等等 。
現實世界是錯綜復雜的,很難用一個算法就解決問題,往往需要經過很多次的嘗試,才可能找到基本符合的模型。需要注意的是,多項式回歸的指數不宜過高,否則算法太復雜,很可能出現“過擬合”的現象,從而泛化能力比較差,也就是說,對于訓練數據集能夠很好地擬合,但是對于測試數據集的預測誤差比較大。模型復雜度與預測誤差的大致關系如下圖所示:
小結
本文是我在用線性回歸算法預測雙 11 的交易額之后,做的一次復盤,總結了改進的思路,學習優化的方法。
學以致用,是我學習的基本原則。如果害怕出錯,不去勇于實踐,學習再多算法有什么用?這就如同我們不能指望不下水就學會游泳一樣。
標題名稱:如何評價算法的好壞?
網址分享:http://m.newbst.com/news18/97618.html
成都網站建設公司_創新互聯,為您提供移動網站建設、自適應網站、網站內鏈、網站制作、網站排名、云服務器
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯
猜你還喜歡下面的內容