아키텍처

Chinese-CLIP은 사진과 글을 같은 벡터 공간에 놓습니다. 사진을 가져올 때 이미지 벡터를 미리 계산해 두고, 검색할 때는 「아기 세 돌 생일」 같은 문장을 텍스트 벡터로 바꿔 pgvector의 HNSW 인덱스에서 코사인 거리가 가장 가까운 사진을 찾습니다.

• 세 갈래 결과를 합칩니다. 사진 속에서 그 글자가 인식된 사진을 맨 앞에, 다음으로 그 지명에서 찍은 사진, 마지막으로 의미가 가장 가까운 사진을 놓습니다.
• 확실히 맞는 것만 돌려줍니다. 가장 가까운 사진과 거의 비슷하게 가까우면서 일반 사진보다 뚜렷이 가까워야 하므로, 느슨하게 관련된 사진까지 돌려주지 않고 약한 일치를 걸러 내는 데 도움이 됩니다.
• 검색어가 분류 이름(풍경, 음식, 스크린샷……)과 같으면 그 분류를 바로 돌려줍니다.

SCRFD로 얼굴과 특징점 5개를 찾고, 특징점에 맞춰 112×112로 잘라 ArcFace로 512차원 특징을 계산합니다(정규화 후 내적이 곧 코사인 유사도). 사진 한 장 처리가 끝날 때마다 점진적으로 분류하므로 전체 계산이 끝나기를 기다릴 필요가 없습니다.

• 충분히 선명하고 정면이며 크기도 충분한 「좋은 얼굴」은 가장 비슷한 얼굴을 찾습니다. 이미 인물에 속한 얼굴이 있으면 다수결로 그 인물에 넣고, 모두 미분류라도 비슷한 얼굴이 3장 이상이면 새 인물을 만듭니다.
• 흐리거나 옆얼굴이거나 너무 작은 얼굴은 새 인물을 만들지 않고, 특정 인물과 아주 비슷할 때만 그 인물에 넣습니다. 한 번 스쳐 간 행인은 등록되지 않습니다.
• 여러 작업이 동시에 분류할 때는 같은 데이터베이스 권고 잠금(advisory lock)을 잡으므로 한 사람이 둘로 나뉘지 않습니다. 대표 사진은 선명하고(라플라시안 분산) 정면이며(yaw) 충분히 큰 단독 얼굴을 고릅니다.

• 같은 장면을 이어 찍은 사진의 CLIP 유사도는 보통 0.94–0.98, 장면이나 자세가 바뀌면 대개 0.7–0.89입니다. 0.93을 유사도 임곗값으로 두면 연사일 가능성이 높은 사진을 찾는 데 도움이 됩니다.
• 추천으로 남길 한 장: 얼굴이 있으면 얼굴이 선명하고 눈을 뜬 채 카메라를 보는 사진, 얼굴이 없으면 파일 크기로 판단합니다(같은 카메라, 같은 설정이면 흔들린 사진은 디테일이 적어 압축 후 크기가 작습니다).
• 같은 파일이 여러 벌 저장된 경우는 「중복」으로 따로 모으므로 고를 필요가 없습니다. 「보관」을 누르면 나머지는 최근 삭제로 옮겨지며, 영구 삭제하기 전까지 복원할 수 있습니다.

모델을 따로 돌리지 않고 CLIP 벡터를 재사용합니다. 「사진 작품」을 묘사한 문장들과 「평범한 일상 사진」을 묘사한 문장들의 평균 벡터를 각각 구해 빼면 「보기 좋은」 방향이 나오고, 사진 벡터를 이 방향에 투영한 값이 점수입니다.

• 순서를 매기는 데만 쓰고 절대 점수로 보지 않습니다. 홈의 추천 캐러셀이 이 점수로 사진을 고릅니다.
• 따로 마련한 문장들로 「잘못 찍힌」 사진(흔들림, 노출 과다 등)을 골라내며, 보기 좋은지와는 별도로 계산합니다.