用机械进修优化照片挑选

[db:作者]

当观光者寻觅酒店、餐厅或体验时，他们看到的第一张照片能够会决议能否预订提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。作为全球商家和旅游运营商的重要合作伙伴，我们希望确保当多张图片一样相关时，首先显现的那张能帮助他们展现最好的形象，同时仍然显现实在的观光者概念提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我们的模子不会压制不讨喜或批评性的图片；它们在画廊中仍然完全可见，而且可以按照质量和相关性排名很高提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。当多张图片一样相关（例如多个寝室照片）时，我们会优先挑选最具有视觉吸引力的作为主图提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
我们比来推出了主图办事，这是一个机械进修系统，可以自动挑选最具吸引力的主图——即Tripadvisor上代表酒店、餐厅或景点的第一张照片，以帮助我们的合作伙伴更快地停止视觉决议提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
这个端到真个处理计划连系了计较机视觉、成对进修和大范围根本设备，以实现高质量的照片挑选提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。虽然概况上看起来很简单，但它在高峰时段每秒处置大约12,000次读取请求提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。自推出以来，我们看到了点击率和预订量的明显增加，而没有给我们的合作伙伴的生活增加复杂性提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。


一家位于欧洲首要城市的顶级全球连锁酒店的缩略图图片前后对照
1、为什么主图很重要对于任何在线平台来说，跨种别照片都是营业鞭策身分提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。按照《贸易研讨杂志》2022年的报告，高质量、视觉丰富的图像可以明显进步数字平台上的用户介入度提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。图片是Tripadvisor观光者介入的焦点组成部分，约有3.5亿张图片公布到各个地址，自2010年以来，图片上传量年均增加约33%提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
当观光者阅读我们的网站时，主图凡是是他们对房产的第一印象提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。一张美丽的酒店外景照片，光芒恰到益处，会带来点击提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。一张普通、昏暗的根基房间照片会让人们继续转动提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。正如一位观光者在他们的批评题目中直白地所说，“我由于位置、照片和批评而预订了提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。”
但历史上，操纵这些常识一向很困难提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。在数百万张由业主、运营商和观光者上传的图片中停止手动挑选并不是一个可行且可扩大的处理计划提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。虽然我们的合作伙伴随大量的图片可供挑选，但它们在视角和质量上差别很大提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
2、我们的方式论2.1 利用AI发现景点中的形式为了找到处理计划，我们依靠于一个关键洞察：“吸引力”能够是主观的，但存在形式提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。在分歧种别和文化中，受接待的照片都有配合点：合适的光芒、完善的视角、怪异特征的展现提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我们想法开辟了一种方式，将两个关键目标——视觉吸引力和相关性——连系起来，识别既吸引人又正确反应观光者在摸索形式下想要看到的内容的照片提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
我们构建了一组焦点机械进修模子和启发式法则：
吸引力评分模子，用于评价每张照片的视觉吸引力主图挑选逻辑，将吸引力评分与营业法则相连系，有用地为每个项目挑选最好缩略图提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。2.2 吸引力评分模子吸引力本质上是主观的，取决于技术质量、特定高低文的相关性和审美质量提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我们必须依靠计较机视觉：练习一个AI模子，以我们人类看待和评价图像的多方面方式来看待和评价图像提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
我们没有用绝对的标准界说美，而是采用了一种“成对”进修方式提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我们不是问“这张照片有吸引力吗？”，而是问“这两张照片中哪一张更有吸引力？”这类相对照力证实比判定绝对标准更牢靠和分歧，由于它专注于图像之间的相对偏好，而不是决议能够致使成果纷歧致的肆意绝对目标提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
我们的模子将高吸引力图像界说为高质量的图像，可以激励观光者点击并进一步摸索该房产提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这些评分用于排序任何给定地址能够数千张图像，按照启发式权重，肯定主图的最好候选提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
对于任何给定的地址，令 a 暗示其上传图像的一切吸引力评分，w 是由营业法则/护栏为每张图像天生的权重，k 是所需的主图倡议数目提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。主图（PP）挑选逻辑以下：

主图挑选的数学界说
2.3 收集数据我们为每个营业线（即酒店、餐厅、景点）建立了一个大范围的数据集，其中包括成对的比力提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我们尝试了多种天生标签的方式，包括正文和LLM天生的正文，发现LLM天生的正文使我们可以更快地处置数十万甚至更多的样本，而且本钱大幅下降提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
2.4 模子架构受RankNet架构的启发，我们操纵了Siamese神经收集结构——根基上是两个不异的AI模子同时处置图像对——来练习LLM提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。每个模子为其图像天生一个“吸引力评分”，系统进修猜测用户更喜好哪张照片提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。在范围上，这些成对偏好近似于照片吸引力的全局排名提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

图2. 模子练习概述
每个样本由一对图像组成，它们的嵌入被输入到Siamese模子中以天生吸引力评分提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这些评分与LLM天生的实在标签连系，计较损失提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
3、主图挑选逻辑3.1 在审美偏好之上叠加营业逻辑最吸引人的照片并不总是正确的挑选提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。一张美丽的浴室照片能够在视觉吸引力上得分很高，但在展现酒店的关键特点方面表示欠安提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。为了答应这类额外的灵活性，经过将吸引力评分与从启发式法则中得出的权重相连系来计较终极评分提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我们在吸引力评分之上叠加了营业法则，以进一步控制我们垂直范畴输出的质量：
酒店：我们抑制某些场景（如浴室、健身房），这些场景不会促进预订景点：我们增加显式的相关性权重，确保照片正确地反应体验餐厅：我们优先斟酌展现招牌菜或空气的照片这类夹杂方式——由AI驱动的吸引力与贸易智能相连系——在算法精度和现实控制之间到达了最好平衡提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
3.2 评价方式我们利用多种方式评价了主图倡议的质量，以确保对处理计划性能有深入的了解提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
模子目标：我们在分歧运转中丈量和观察模子二元性能目标提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这些目标包括正确性和ROC AUC，其首要目标是供给模子在全部图像列表上的性能整体视图提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。LLM作为评判者：我们操纵LLM作为评判者，在原始与倡议的主图代表性数据集合收集二元偏好提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。质量保证（QA）测试：我们还停止了几轮QA测试，由内部团队利用较小的精选数据集对原始与倡议的主图停止测试，涵盖代表性地址样本提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。QA目标和LLM作为评判者的目标都仅专注于权衡主图倡议的质量提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。4、工程工作与根本设备4.1 毗连数据和办事随着计较机视觉起头摸索若何将他们的主图倡议整合到Tripadvisor现有的媒体生态系统中，我们意想到我们现有的根本设备是为办事间通讯设想的提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这对我们工程团队来说很好，但对于欠亨常具有自己微办事的数据导向团队来说却引入了一个应战提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。他们的工作发生在数据管道和Snowflake等平台上，这些平台没法间接挪用我们的API提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。为了弥合这一差异，我们构建了一个S3导入器，使数据导向团队更轻易挪用媒体端点提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
4.2 设想我们的S3导入器像计较机视觉这样的客户负责将他们的成果导出为格式正确的CSV文件，并将其上传到Media具有的S3存储桶中提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。类似于微办事，导入器有一个伪API，客户需要遵守提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
CSV数据应模仿典型的端点挪用，并必须包括端点所需的一切字段作为列S3存储桶中的上传途径也必须格式化为： /computervision/setPrimaryPhoto/filename.csv[/ol]一旦CSV文件到达S3存储桶，客户便可以完全罢休不管提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。媒体团队接收后续工作，S3导入器负责读取原始CSV数据，将其转换为办事停当的挪用，并充任微办事挪用者，将数据导入主图办事提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

这类清楚的一切权分别使数据导向团队可以专注于他们的模子、产物和工作流程，而媒体团队则治理办事间通讯和营业逻辑履行的复杂性提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
S3导入器已被证实是一个强大的工具，使数据导向团队可以更快地行动并发生影响，而无需治理自己的微办事或任何自界说集成提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。由于我们从一路头就重视灵活性，我们已经利用它来停止扭转图片和设备媒体元数据提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
5、未来展望虽然这个系统专注于主图挑选，但底层的吸引力评分翻开了更普遍的利用远景提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我们现在正在摸索若何增强全部图片画廊，缔造更丰富的视觉体验，贯串全部观光旅程提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
我们还在斟酌若何操纵已知信息和用户天生内容来保举主图，以保举突出展现地址相关和怪异方面的照片提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。经过这类方式，业主可以突出酒店在批评中受接待的怪异泅水池，大概餐厅的招牌菜提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。也许还有法子对主图停止情境化和本性化，从而婚配每位观光者的爱好，供给更相关的信息提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
经过继续教机械识别视觉吸引力，同时尊重营业布景，我们建立了一个可扩大的处理计划，帮助我们的合作伙伴找到新客户，为用户供给更相关的信息，并帮助每小我成为更好的观光者提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
原文链接：用机械进修优化照片挑选 - 汇智网