平均倒數排名是統計學中,依據排序的正確性,對查詢請求響應結果的評估。查詢響應結果的倒數排名是第一個正確答案的倒數積。平均倒數排名是多個查詢結果的平均值。[1]:
![{\displaystyle {\text{MRR}}={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{{\text{rank}}_{i}}}.\!}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d16e3616105fd3cbad78fa61e2f60c6abb458e26)
平均倒數排名和調和平均數有些相似。
比如,想象一下我們有如下三個查詢請求,讓系統將他們翻譯為英語的複數形式。對於每個例子,系統給出三個猜測,結果中第一個是我們認為最可能正確的:
查詢
|
結果
|
正確結果
|
排名
|
倒數排名
|
cat
|
catten, cati, cats
|
cats
|
3
|
1/3
|
torus
|
torii, tori, toruses
|
tori
|
2
|
1/2
|
virus
|
viruses, virii, viri
|
viruses
|
1
|
1
|
通過這三個例子,我們得到平均倒數排名為
約為0.61。
此外:
- 如果所有結果都不正確,結果為 0
- 如果存在多個正確答案,考慮使用平均準確度(MAP)
請參考信息檢索以及問答系統[2]
- ^ E.M. Voorhees. Proceedings of the 8th Text Retrieval Conference. TREC-8 Question Answering Track Report: 77–82. 1999.
- ^ D. R. Radev, H. Qi, H. Wu, W. Fan. Evaluating web-based question answering systems. Proceedings of LREC. 2002.