1. 度量(Metric)

在数学中,一个度量(或距离函数)是一个定义集合中元素之间”距离”的函数.

一个具有度量的集合可以称之为度量空间.

2.度量学习的作用

Metric Learning可以通俗的理解为相似度学习.

以样本间的欧氏距离为例:K-means中进行聚类时用到了欧式距离来度量样本到中心点的距离;KNN算法也用到了欧氏距离等.这里计算的度量,就是在比较样本点和中心点的相似度.

3.度量学习类别

从广义上可以将度量学习分为:(1)通过线性变换的度量学习和非线性模型的度量学习.

1)线性变换的度量学习

线性度量学习问题也称为马氏度量学习问题,又可以分为监督学习和非监督学习两类.

3.1.1监督的全局度量学习

  • Information-theoretic metric learning(ITML)
  • Mahalanobis Metric Learning for Clustering(MMC)
  • Maximally Collapsing Metric Learning (MCML)

3.1.2监督的局部度量学习

  • Neighbourhood Components Analysis (NCA)
  • Large-Margin Nearest Neighbors (LMNN)
  • Relevant Component Analysis(RCA)
  • Local Linear Discriminative Analysis(Local LDA)

3.1.3非监督的度量学习

  • 主成分分析(Pricipal Components Analysis, PCA)
  • 多维尺度变换(Multi-dimensional Scaling, MDS)
  • 非负矩阵分解(Non-negative Matrix Factorization,NMF)
  • 独立成分分析(Independent components analysis, ICA)
  • 邻域保持嵌入(Neighborhood Preserving Embedding,NPE)
  • 局部保留投影(Locality Preserving Projections. LPP)

2)非线性模型

非线性降维算法可以看作属于非线性度量学习：

  • 等距映射(Isometric Mapping,ISOMAP)
  • 局部线性嵌入(Locally Linear Embedding, LLE) 
  • 拉普拉斯特征映射(Laplacian Eigenmap，LE ) 

通过核方法来对线性映射进行扩展：

  • Non-Mahalanobis Local Distance Functions
  • Mahalanobis Local Distance Functions
  • Metric Learning with Neural Networks

关于度量学习的一篇经典综述:Distance metric learning a comprehensive survey

版权声明：本文为mathwang0916原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/mathwang0916/p/15249964.html