到达时间估计评估模块

我们实现了若干种评估损失函数,以使得同一任务下的不同的模型可以在同样的标准下进行比较。

评估指标

对于到达时间估计任务,本评估器实现了一系列评估指标:

评估指标

评估指标(英文)

公式

平均绝对误差

MAE(Mean Absolute Error)

\[MAE=\frac{1}{n}\sum_{i=1}^n|\hat{y_{i}}-y_i|\]

均方误差

MSE(Mean Squared Error)

\[MSE=\frac{1}{n}\sum_{i=1}^n(\hat{y_{i}}-y_i)^2\]

均方根误差

RMSE(Rooted Mean Squared Error)

\[RMSE=\sqrt{\frac{1}{n}\sum_{i=1}^n(\hat{y_{i}}-y_i)^2}\]

平均绝对百分比误差

MAPE(Mean Absolute Percent Error)

\[MAPE=\frac{1}{n}\sum_{i=1}^n|\frac{\hat{y_{i}}-y_i}{y_i}|*100\%\]

决定系数

R2(Coefficient of Determination)

\[R^2=1-\frac{\sum_{i=1}^n(y_i-\hat{y_i})^2}{\sum_{i=1}^n(y_i-\bar{y})^2}\]

可释方差值

EVAR(Explained variance score)

\[EVAR =1-\frac{Var(y_i-\hat{y_i})}{Var(y_i)}\]

其中,真实值为\(y=\{y_1,y_2,...,y_n\}\),预测值为\(\hat{y} = \{\hat{y_1}, \hat{y_2}, ..., \hat{y_n}\}\)\(n\)为样本个数,均值\(\bar{y}=\frac{1}{n}\sum_{i=1}^ny_i\),方差\(Var(y_i)=\frac{1}{n}\sum_{i=1}^n(y_{i}-\bar{y})^2\)

评估设置

下面是评估器所涉及到的一系列参数:

位置:libcity/config/evaluator/ETAEvaluator.json

  • metrics:指定评价指标数组,评估类的allowed_metrics表示该任务可以接受的指标类型,不能超出此范围。