剪辑：LRST

【新智元导读】VQAScore是一个哄骗视觉问答模子来评估由文本教唆生成的图像质料的新智商；GenAI-Bench是一个包含复漫笔本教唆的基准测试集，用于挑战和擢升现存的图像生成模子。两个器具不错匡助盘问东说念主员自动评估AI模子的性能，还能通过采用最好候选图像来现实改善生成的图像。

连年来，生成式东说念主工智能（AIGC）激发世俗关切。Midjourney、Imagen3、Stable Diffusion和Sora等模子梗概凭据当然话语教唆词生成好意思不雅且传神的图像和视频，广受用户嗜好。关联词，这些模子在处理复杂的教唆词时仍存在不及。举例，当让Stable Diffusion或Midjourney生成「棕色的狗绕着一棵树追玄色的狗」时，模子可能会造作生成两只黑狗，或将「追赶」诬蔑为两只狗在「玩耍」。有什么成见不错自动发现这些模子的不及，并进一步擢升它们呢？为处理这一问题，CMU和Meta团队鸠合推出了全新的评估方针VQAScore及基准GenAI-Bench，用于自动评估图像、视频和3D生成模子在复杂教唆词下的推崇。ECCV’24论文邻接:：https://arxiv.org/abs/2404.01291CVPR’24 SynData最好论文邻接：https://arxiv.org/abs/2406.13743论文代码：https://github.com/linzhiqiu/t2v_metrics模子下载：https://huggingface.co/zhiqiulin/clip-flant5-xxlVQAScore模子：https://huggingface.co/zhiqiulin/clip-flant5-xxlGenAI-Bench数据集：https://huggingface.co/datasets/BaiqiL/GenAI-Bench这些效果已在ECCV和CVPR等顶会上发表，并被谷歌DeepMind用于评估其最新的Imagen3模子，被誉为现时文生图规模杰出CLIP等模子的最好评估决议！配景先容连年来，文生图模子（如DALL-E 3、Imagen3、Sora等）发展赶紧，但奈何准确评估这些模子的推崇一经一个要道问题。尽管好多公司选用东说念主类评估（Human Evaluation）来擢升死心的准确性，但这种方式资本高、难以大限制应用，况兼穷乏可复现性。在图片生陋习模，已有多种智商使用模子来自动评估（Automated Evaluation）生成图像的推崇，其中常见的方针包括CLIPScore、FID、LPIPS、PickScore、ImageReward和HPSv2等。关联词，这些方针真实实足好吗？现存自动化方针的不及在评估两张图片的相通性（similarity）时，传统方针LPIPS等智商依靠预锻真金不怕火的图像编码器，将图像特征镶嵌后再研讨距离。关联词，这类智商只可评估图像与图像之间的相通度（image-to-image metric），而无法判断文本和图像之间的相通度（text-to-image metric）。为了处理这一问题，现时主流的文生图评估选用了CLIPScore，通过孤独的图像编码器和文本编码器，将图像和文本镶嵌到消失特征空间，并通过研讨特征相通度来判断它们的匹配进程。关联词，CLIPScore存在严重的「bag-of-words」问题：也便是说，CLIP在处理文本时可能忽略词序，玷污像「月亮在牛上头」和「牛在月亮上头」这么的句子。这使得模子难以准确收拢复漫笔本中的要道信息。为了处理这一问题，CMU和Meta的盘问团队建议了VQAScore，选用更高大的生成式VQA模子（如GPT-4o）来更准确地评估文生图模子：VQAScore：一种通俗有用的评估方针盘问团队基于GPT-4o等用于视觉问答（VQA）任务的生成式视觉话语模子，将图像与教唆词之间的相通度界说为模子在回应「这个图像是否露出了[教唆词]？请回应是或否。」时给出「是」（Yes）谜底的概率：举例，在研讨某张图像与教唆词「牛在月亮上头」之间的相通度时，VQAScore会将图像和问题「这个图像是否露出了『牛在月亮上头』？请回应是或否。」输入模子，并复返模子采用「是」的概率。另外，盘问团队发现，现时主流的VQA模子（如LLaVA-1.5）使用了具备单向（auto-regressive）醒眼光机制的话语模子（如Llama）。这种机制导致模子在索取图像特征时，无法提前获取教唆词的圆善信息。为了更有用的索取视觉特征，盘问团队使用开源数据锻真金不怕火了一个更强的CLIP-FlanT5 VQA模子。该模子选用了具备双向醒眼光机制的话语模子FlanT5，使得图像特征索取梗概凭据输入的教唆词动态调度。盘问标明，这一机制在擢升VQA模子对复杂教唆词的相识方面效果权臣。VQAScore比主流评估方针更通俗高效。好多传统方针依赖大皆东说念主类标注（如 ImageReward、PickScore）或罕见模子（如GPT-4Vision）才能取得好推崇。比拟之下，VQAScore具备以下中枢上风：1. 无需东说念主类标注：VQAScore能径直哄骗现存的VQA模子取得优异推崇，无需在东说念主工标注数据上进行极度微调。2. 分数更精确：使用GPT-4给图片打分（如在0到100之间打分）时，模子频频会缓慢给出高分（如90），而忽略图片的真内容量。比拟之下，VQAScore使用概率值来判断图片与教唆词的相通度，死心愈加精确。VQAScore实验死心盘问东说念主员在大皆复杂图文匹配基准（如Winoground和EqBen）以及文生图评估基准（如Pick-a-pic和TIFA160）上对VQAScore进行了测试。死心露出，VQAScore在悉数图像、视频和3D生成任务的基准上杰出了CLIPScore等流行方针，取得了最好推崇。值得能干的是，VQAScore选用了开源模子（CLIP-FlanT5），却仍大幅杰出了使用更强闭源模子（如PALI-17B和GPT-4）的智商（如VQ2、ViperGPT 等）。此外，VQAScore也杰出了依赖教唆理解进行视觉推理的先进智商（如 CVPR'23最好论文Visual Programming和ViperGPT等），进一步考证了端到端评估决议的有用性。最新的谷歌DeepMind Imagen3通告还指出，使用更高大的VQA模子（如 Gemini）不错进一步擢升VQAScore的推崇，突显了其在翌日生成式模子评测中的后劲。GenAI-Bench：由缱绻师辘集的高难度文生图基准为了更好地评估文生图模子偏激评估方针的性能，盘问团队推出了GenAI-Bench。该基准包含1600个由缱绻师辘集的复杂教唆词，隐敝了10种生成模子（如DALL-E 3、Midjourney、SDXL等），并配有跳跃80,000条东说念主工标注。GenAI-Bench比拟较之前的基准有以下上风：1. 更具挑战性：盘问标明，大多数文生图/视频模子在GenAI-Bench上推崇仍有不及，还有大皆的擢起飞间。2. 幸免蒙眬词汇：悉数教唆词均进程严格筛选，幸免使用假大空的词语，确保评估更具客不雅性。3. 细粒度手段分析：GenAI-Bench能提供更精良的手段分类和分析，匡助盘问东说念主员深入了解模子在不同才调上的具体推崇。GenAI-Rank：用VQAScore来擢升文生图推崇盘问东说念主员构建了一个新的GenAI-Rank基准，为每个教唆词使用DALL-E 3和Stable Diffusion（SD-XL）生成3到9张候选图像。盘问标明，从这些候选图像中复返VQAScore得分最高的图像，不错权臣擢升文生图模子的效果。这一智商无需微调生成模子自身，因此也能优化（黑箱）罕见模子，如DALL-E 3。实验死心进一步讲明，VQAScore在图像排序上比其他智商（如CLIPScore、PickScore等）愈加有用。结语VQAScore和GenAI-Bench为文生图模子提供了更精确且全面的评估，已被Imagen3、VILA-U、RankDPO等多个神气用于更好地评估和优化最新的生成式模子。盘问团队已开源代码和数据集，期待翌日更多探索与进展！团队先容

团队的一作林之秋（Zhiqiu Lin）是卡内基梅隆大学的博士盘问生，由Deva Ramanan解释指引，专注于视觉-话语大模子的自动评估与优化。Zhiqiu Lin在CVPR、NeurIPS、ICML、ECCV等顶级会议上发表了十数篇论文，并曾荣获最好论文提名和最好短论文奖等。其盘问效果在生成模子和多模态学习规模受到了学术界和工业界的世俗认同。

Pengchuan Zhang是Meta AI（原Facebook AI盘问院）的东说念主工智能盘问科学家，曾在微软盘问院担任高档盘问科学家。他的盘问规模主要围聚在深度学习、研讨机视觉和多模态模子等地方，曾发表多项具有长远影响力的效果，举例AttnGAN、OSCAR、VinVL、Florence和GLIP等。他在顶级会议如CVPR、ICCV、NeurIPS等发表了大皆高影响力论文，是研讨机视觉和多模态模子规模的领军东说念主物之一。

Deva Ramanan解释是研讨机视觉规模的外洋知名学者，现任卡内基梅隆大学解释。他的盘问涵盖研讨机视觉、机器学习和东说念主工智能规模，曾赢得多项顶级学术荣誉，包括2009年的David Marr奖、2010年的PASCAL VOC毕生确立奖、2012年的IEEE PAMI后生盘问员奖、2012年《天下科学》评比的「十位隆起科学家」之一、2013年好意思国国度科学院Kavli Fellow、2018年和2024年的Longuet-Higgins奖，以及因其代表性责任（如COCO数据集）赢得的Koenderink奖。此外，他的论文在CVPR、ECCV和ICCV上屡次赢得最好论文提名及荣誉奖。他的盘问效果对视觉识别、自动驾驶、和东说念主机交互等应用产生了长远影响，是该规模极具影响力的科学家之一。