IT之家2月8日音讯，相比较微软的风生水起，苹果公司在AI范畴的布局显得低沉许多，但这并不意味着苹果在该范畴就没有一点点建树。苹果公司近来发布了名为“MGIE”的新式开源人工智能模型，它能够依据自然言语指令修正图画。
MGIE的全称是MLLM-GuidedImageEditing，运用多模态大型言语模型解说用户指令并履行像素级操作。MGIE能够了解用户下达的自然言语指令，进行Photoshop风格的修正、大局相片优化和部分修正等操作。
苹果公司和加州大学圣巴巴拉分校研讨人员协作，在2024年世界学习表征会议上宣布MGIE相关研讨成果，而ICLR是人工智能研讨的尖端会议之一。
介绍MGIE之前，IT之家先来介绍下MLLM。MLLM是一种强壮的人工智能模型，能够一起处理文本和图画，然后增强依据指令的图画修正才能。MLLMs在跨模态了解和视觉感知呼应生成方面表现出杰出的才能，但没有广泛运用于图画修正使命。
MGIE经过两种方法将MLLMs集成到图画修正进程中：首要，它运用MLLMs从用户输入中推导出赋有表现力的指令。这些指令简洁明了，为修正进程供给了清晰的辅导。
例如，当输入“让天空更蓝”时，MGIE能够生成“将天空区域的饱和度进步20%”的指令。
其次，它运用MLLM生成视觉幻想力，即所需修正的潜在表征。这一表征捕捉了修正的实质，可用于辅导像素级操作。MGIE采用了一种新颖的端到端练习计划，可联合优化指令推导、视觉幻想和图画修正模块。
MGIE能够处理各种修正状况，从简略的色彩调整到杂乱的目标操作。该模型还能够依据用户的偏好履行大局和部分修正。MGIE的部分特性和功用包含：
依据指令的表达式修正：MGIE能够生成简洁明了的阐明，有用辅导修正进程。这不仅能进步修正质量，还能增强用户的全体体会。
Photoshop风格修正：MGIE能够履行常见的Photoshop风格修正，如裁剪、调整巨细、旋转、翻转和增加滤镜。该模型还能够运用更高档的修正，如更改布景、增加或删去目标以及混合图画。
大局相片优化：MGIE能够优化相片的全体质量，如亮度、对比度、清晰度和色彩平衡。该模型还能运用素描、绘画和漫画等艺术作用。
部分修正：MGIE能够修正图画中的特定区域或目标，如脸部、眼睛、头发、衣服和配饰。模型还能够修正这些区域或目标的特点，如形状、巨细、色彩、纹路和风格。
MGIE是GitHub上的一个开源项目，用户能够在这里找到代码、数据和预练习模型。该项目还供给了一个演示笔记本，展现怎么运用MGIE完结各种修正使命。
