KIFF: un algorithme de construction de graphe KNN générique, rapide et évolutif
Abstract
Les algorithmes de construction du graphe des plus proches voisins (K-Nearest-Neighbor,KNN) sont apparus comme
des éléments fondamentaux de nombreux services en ligne tels que la recommandation, la recherche de similarité et
de classification. La construction d’un tel graphe de manière précise reste cependant une tâche très coûteuse. Avec
l’augmentation des volumes de données, le temps nécessaire à la construction d’un graphe KNN et son évolution
sont devenus des facteurs critiques. Dans cette contribution, nous proposons un algorithme de construction de graphe
KNN générique, rapide et évolutif. Cet algorithme exploite la nature bipartite de la plupart des ensembles de données
auxquels les algorithmes KNN sont appliqués. Plus précisément, un pré-traitement est effectué permettant d’identifier
les candidats les plus pertinents auxquels chaque noeud peut se comparer. Cette stratégie permet ainsi de limiter de
manière drastique le coût de calcul nécessaire à la convergence vers un graphe KNN précis, en particulier pour les
ensembles de données de faible densité. Basé sur plusieurs jeux de données, nous montrons de manière expérimentale
que notre solution calcule rapidement une approximation proche du KNN idéal tout en réduisant le coût de calcul par
rapport aux approches de l’état de l’art (en moyenne 14 fois plus rapide tout en améliorant la qualité du KNN de 18%).
Cet article reprend en grande partie des résultats publiés à la conférence ICDE en 2016 [BKMT16].
Origin | Files produced by the author(s) |
---|
Loading...