Arquitectura

Chinese-CLIP coloca fotos y texto en el mismo espacio vectorial. Los vectores de imagen se calculan al importar; al buscar, una frase como «tercer cumpleaños del bebé» se convierte en un vector de texto y las fotos más cercanas se encuentran por distancia coseno en el índice HNSW de pgvector.

• Se combinan tres fuentes de resultados: primero las fotos en las que se reconocieron las palabras buscadas, luego las tomadas en un lugar con ese nombre y por último las más parecidas en significado.
• Solo se devuelven coincidencias claras: un resultado debe estar casi tan cerca como el mejor y claramente más cerca que una foto cualquiera. Así se filtran las coincidencias débiles en lugar de devolver fotos poco relacionadas.
• Si la búsqueda es exactamente el nombre de una categoría (paisajes, comida, capturas de pantalla…), se devuelve esa categoría directamente.

SCRFD encuentra cada cara y sus 5 puntos de referencia, la alinea y recorta a 112×112, y ArcFace calcula un vector de 512 dimensiones (tras normalizarlo, el producto escalar es la similitud coseno). La agrupación se hace poco a poco al terminar cada foto, sin esperar a toda la fototeca.

• Las «caras buenas», nítidas, de frente y de tamaño suficiente, buscan sus vecinas más parecidas: si algunas ya pertenecen a una persona, se une a ella por mayoría; si ninguna está asignada pero al menos 3 se parecen, se crea una persona nueva.
• Las caras borrosas, de perfil o muy pequeñas nunca crean una persona; solo se unen a alguien al que se parecen mucho. Los transeúntes que aparecen una vez no se añaden.
• Las agrupaciones simultáneas comparten un mismo bloqueo consultivo de la base de datos, así que nunca se crea la misma persona dos veces. Las portadas prefieren caras individuales nítidas (varianza del laplaciano), de frente (guiñada) y grandes.

• Las tomas seguidas de una misma escena suelen tener una similitud CLIP de 0,94 a 0,98, mientras que un cambio de escena o de pose suele quedar entre 0,7 y 0,89; un umbral de similitud de 0,93 ayuda a identificar las probables ráfagas.
• La foto recomendada: con caras, aquella en la que las caras se ven nítidas, con los ojos abiertos y mirando a cámara; sin caras, el archivo más grande (con la misma cámara y ajustes, las fotos movidas tienen menos detalle y se comprimen más).
• Las copias repetidas de un mismo archivo van a «Duplicados», sin nada que elegir. «Conservar» mueve el resto a «Eliminadas recientemente», desde donde se puede recuperar hasta que se elimine definitivamente.

No se ejecuta ningún modelo adicional: se reutilizan los vectores CLIP. Promediando los vectores de un conjunto de descripciones de «obras fotográficas» y de otro de «fotos cotidianas» y restándolos se obtiene una dirección de «queda bien». La proyección de una foto sobre esa dirección es su puntuación.

• Solo sirve para ordenar, nunca como nota absoluta; el carrusel de selecciones de la vista principal elige las fotos según ella.
• Otro conjunto de descripciones identifica las fotos fallidas (movidas, sobreexpuestas y similares), con una puntuación independiente de lo bien que se vea una foto.