Architecture

Chinese-CLIP place photos et texte dans le même espace vectoriel. Les vecteurs d’image sont calculés à l’import ; au moment de la recherche, une phrase comme « troisième anniversaire de bébé » devient un vecteur de texte, et les photos les plus proches sont trouvées par distance cosinus dans l’index HNSW de pgvector.

• Trois sources de résultats sont fusionnées : d’abord les photos où les mots cherchés ont été reconnus, puis celles prises en un lieu correspondant, enfin les plus proches par le sens.
• Seules les correspondances nettes sont renvoyées : un résultat doit être presque aussi proche que le meilleur et nettement plus proche qu’une photo moyenne. Cela aide à écarter les correspondances faibles au lieu de renvoyer des photos vaguement liées.
• Si la requête est exactement un nom de catégorie (paysages, cuisine, captures d’écran…), cette catégorie est renvoyée directement.

SCRFD détecte chaque visage et ses 5 points caractéristiques, l’aligne et le recadre en 112×112, puis ArcFace calcule une empreinte de 512 dimensions (après normalisation, le produit scalaire est la similarité cosinus). Le regroupement se fait au fil de l’eau, photo après photo, sans attendre la fin du calcul.

• Les « bons visages », nets, de face et assez grands, cherchent leurs plus proches voisins : si certains appartiennent déjà à une personne, le visage la rejoint à la majorité ; si aucun n’est classé mais qu’au moins 3 se ressemblent, une nouvelle personne est créée.
• Les visages flous, de profil ou trop petits ne créent jamais de personne ; ils rejoignent seulement quelqu’un à qui ils ressemblent beaucoup. Les passants vus une seule fois ne sont pas ajoutés.
• Les regroupements simultanés partagent un même verrou consultatif de la base, si bien qu’une personne n’est jamais créée en double. Les vignettes privilégient les visages seuls nets (variance du laplacien), de face (lacet) et assez grands.

• Des prises successives de la même scène ont en général une similarité CLIP de 0,94 à 0,98, tandis qu’un changement de scène ou de pose tombe le plus souvent entre 0,7 et 0,89 ; un seuil de similarité de 0,93 aide à repérer les rafales probables.
• La photo conseillée : avec des visages, celle où les visages sont nets, les yeux ouverts tournés vers l’objectif ; sans visage, le fichier le plus lourd (avec le même appareil et les mêmes réglages, une photo floue a moins de détails et se compresse davantage).
• Les copies multiples d’un même fichier vont dans « Doublons », sans choix à faire. « Garder » déplace le reste vers « Supprimées récemment », d’où il reste restaurable jusqu’à sa suppression définitive.

Aucun modèle supplémentaire n’est lancé : les vecteurs CLIP sont réutilisés. En moyennant les vecteurs d’un ensemble de descriptions d’« œuvres photographiques » et d’un ensemble décrivant des « photos ordinaires », puis en les soustrayant, on obtient une direction « réussie ». La projection d’une photo sur cette direction est sa note.

• Sert uniquement à classer, jamais de note absolue ; le carrousel de sélection de l’accueil choisit ses photos selon elle.
• Un autre ensemble de descriptions repère les photos ratées (floues, surexposées, etc.), évaluées indépendamment de leur qualité esthétique.