우리는 특정 이미지를 input으로 넣으면 그와 유사한 이미지를 찾아주거나, 또는 사용자의 텍스트 입력을 받아서 그에 해당하는 이미지를 찾아주는 AI 함수를 만들려고 합니다.

그 함수의 이름은 embed_clip이라고 명명하였고 함수 구현은 아래와 같습니다.

DROP FUNCTION IF EXISTS embed_clip(text);

CREATE or REPLACE FUNCTION embed_clip(text_or_image TEXT)
RETURNS VECTOR AS $$
BEGIN
    RETURN thanosql.embed(
        engine := 'huggingface',
        input := text_or_image,
        model := 'openai/clip-vit-base-patch32',
        model_args := '{"device_map": "cpu"}'
    );
END;
$$ LANGUAGE plpgsql;

ThanoSQL의 쿼리매니저(QM)에서 위와 같이 함수를 선언하고 구현합니다. 이때 engine을 ‘huggingface’로 하고 model을 ‘openai/clip-vit-base-patch32’으로 정의하면 허깅페이스의 CLIP 관련 SOTA 모델인 clip-vit-base-patch32를 즉시 사용할 수 있게 됩니다.

쿼리 에디터 상단의 세모 버튼을 눌러서 실행하면 아래 쿼리 결과창에서 실행 결과가 나타납니다.

이제 이 함수를 사용하기 위한 샘플 테이블을 만들도록 하겠습니다.
이미지들이 저장되어 있는 테이블이 필요한데 그런 테이블이 없다면 새로 만들어도 되고 기존의 DB에 있는 테이블을 가져오거나 csv 파일을 업로드해도 됩니다.

여기서는 임의로 웹에서 10개의 이미지를 다운받아서 unsplash_meta_sample 라는 이름의 테이블을 만들었고 그 테이블의 스키마(schema)는 아래 그림과 같습니다.

이미지 같은 비정형 데이터를 분류하고 검색하기 위해서는 먼저 해당 데이터를 임베딩해야 하므로 위에서 만든 embed_clip 함수를 사용해서 샘플 테이블을 임베딩합니다. 아래 그림은 embed_clip 함수를 샘플 테이블에 적용하여 그 결과를 test_vector라는 이름의 테이블에 저장하는 쿼리문입니다.

DROP TABLE IF EXISTS test_vector;

CREATE TABLE test_vector
  AS SELECT photo_id
          , photo_image_url
          , photo_submitted_at
          , photo_description
          , embed_clip(photo_image_url) AS embedding
     FROM my_data.unsplash_meta_sample;

SELECT * FROM test_vector

쿼리가 정상적으로 실행되면 아래 그림처럼 Query Result 창에서 각각의 이미지들이 임베딩된 결과를 확인할 수 있습니다.

Data Viewer에서 확인해보면 임베딩 처리된 각각의 이미지들은 아래와 같이 나타납니다.