Architektur

Chinese-CLIP legt Fotos und Text in denselben Vektorraum. Bildvektoren werden beim Import berechnet; bei der Suche wird ein Satz wie „dritter Geburtstag des Babys“ zum Textvektor, und die nächstgelegenen Fotos werden per Kosinusdistanz im HNSW-Index von pgvector gefunden.

• Drei Ergebnisquellen werden zusammengeführt: Fotos, in denen die gesuchten Wörter erkannt wurden, zuerst, dann an einem passenden Ort aufgenommene, zuletzt die inhaltlich ähnlichsten.
• Nur eindeutige Treffer: Ein Ergebnis muss fast so ähnlich sein wie der beste Treffer und deutlich ähnlicher als ein durchschnittliches Foto. Das hilft, schwache Treffer auszufiltern, statt lose verwandte Fotos zu liefern.
• Ist der Suchbegriff genau ein Kategoriename (Landschaft, Essen, Screenshots …), wird direkt diese Kategorie angezeigt.

SCRFD findet jedes Gesicht und seine 5 Merkmalspunkte, richtet es aus und schneidet es auf 112×112 zu; ArcFace berechnet ein 512-d-Merkmal (nach Normierung ist das Skalarprodukt die Kosinus-Ähnlichkeit). Gruppiert wird schrittweise nach jedem fertigen Foto, ohne auf die ganze Bibliothek zu warten.

• Scharfe, frontale und ausreichend große „gute Gesichter“ suchen ihre nächsten Treffer: Gehören welche schon zu einer Person, entscheidet die Mehrheit; gehört keiner dazu, sind aber mindestens 3 ähnlich, entsteht eine neue Person.
• Unscharfe, seitliche oder winzige Gesichter legen nie eine neue Person an; sie schließen sich nur an, wenn sie jemandem sehr ähneln. Passanten, die einmal auftauchen, werden nicht erfasst.
• Parallele Gruppierungen teilen sich eine Advisory Lock der Datenbank, sodass eine Person nie doppelt entsteht. Als Titelbild dienen scharfe (Laplace-Varianz), frontale (Yaw), ausreichend große Einzelgesichter.

• Aufeinanderfolgende Aufnahmen derselben Szene haben meist eine CLIP-Ähnlichkeit von 0,94–0,98, eine neue Szene oder Pose liegt typischerweise bei 0,7–0,89; ein Ähnlichkeitsschwellenwert von 0,93 hilft, wahrscheinliche Serien zu erkennen.
• Das empfohlene Foto: mit Gesichtern das, auf dem Gesichter scharf sind und mit offenen Augen in die Kamera blicken; ohne Gesichter die größere Datei (bei gleicher Kamera und gleichen Einstellungen haben unscharfe Bilder weniger Details und werden kleiner komprimiert).
• Mehrfach gespeicherte identische Dateien landen unter „Duplikate“, ohne Auswahl. „Behalten“ verschiebt den Rest nach „Zuletzt gelöscht“, wo er sich wiederherstellen lässt, bis er endgültig gelöscht wird.

Es läuft kein zusätzliches Modell; die CLIP-Vektoren werden wiederverwendet. Aus Beschreibungen von „fotografischen Werken“ und von „alltäglichen Schnappschüssen“ wird je ein Mittelwertvektor gebildet; ihre Differenz ergibt eine „sieht gut aus“-Richtung. Die Projektion eines Fotovektors auf diese Richtung ist sein Wert.

• Dient nur der Rangfolge, nie als absoluter Wert; das Highlight-Karussell der Startansicht wählt Fotos danach aus.
• Ein eigener Satz Beschreibungen erkennt misslungene Aufnahmen (unscharf, überbelichtet usw.), unabhängig davon bewertet, wie gut ein Foto aussieht.