introduction to vision language model 썸네일형 리스트형 [논문 정리]Introduction to VLM(3/3) 4. Approaches for Responsible VLM Evaluationvisio-linguistic abilities(단어가 visual clue에 잘 매핑되는 지) 추정하는 것이 중요함VQA, zero-shot prediction, bias or hallucination 등을 고려4. 1 Benchmarking visio-linguistic abilities특정 단어나 문장을 일치하는 visual clue와 잘 연관시키는 능력을 평가4. 1. 1 Image captioning생성한 caption을 BLEU score나 ROUGE로 측정 → BLEU score는 너무 heuristic함CLIPScore : image와 caption의 CLIP representation 유사도→ CLIP 모델 성.. 더보기 이전 1 다음
