4月第四周AI资讯

今天为大家总结一下一周的AI资讯:

1. 全新Firefly Image 3模型

Adobe Photoshop最近引入了全新 Firefly Image 3 图像 AI 模型,可以根据文本提示制作基于 AI 的内容。模型介绍链接:https://www.adobe.com/products/firefly.html

Adobe 在官方新闻稿中表示,与之前的版本相比,Firefly Image 3 将能够创建质量更高、种类更多、细节更丰富的图像,它还能更好地理解文本提示。

  • 参考图像:使用用户选择的图像作为生成灵感,帮助创意人员实现他们想象的输出。
  • 文本生成图像:首次直接在 Photoshop 中直接使用文本到图像功能,缩短了空白页面和图像内容之间的距离。
  • 生成可替换背景:比以往更轻松地生成无缝融入现有图像的内容。
  • 生成相似内容:让创作者可以迭代选择的图像,通过更精确的控制深入探索创作想法。
  • 增强细节:微调图像以提高锐度和清晰度。

Photoshop 现已在桌面平台推出,并带有 Beta 标签,将于今年晚些时候全面发布。Firefly Image 3 今天也开放了测试版,可以在其官方网站上访问。

2. 通义APP上线EMO

选择好视频或者音频模板,将一张照片输入AI模型,就能让图中人物按照原视频进行跳舞和唱歌。

不久前,这个模型因为阿里通义实验室的一篇论文火遍海内外,模型的产品化进程也广受关注。

如今,打开通义APP,进入“全民舞王”频道,在歌曲、热梗、表情包中任选一款模板,上传肖像照片,EMO随即就能合成视频。

据了解,EMO是通义实验室研发的AI模型,其背后的肖像说话(Talking Head)技术是当前大热的AIGC领域。

EMO之前的Talking Head技术都需针对人脸、人头或者身体部分做3D建模,通义实验室在业界率先提出了弱控制设计,无需建模就可驱动肖像开口说话,不仅降低视频生成成本,还大幅提升了视频生成质量。

EMO学习并编码了人类表达情绪的能力,能将音频内容和人物的表情、嘴型匹配,还能把音频的语气特征和情绪色彩反映到人物微表情上。

感兴趣的同学可以在手机app上尝试该工具。

3. Vidu发布

Vidu是中国首个长时长、高一致性、高动态性的视频大模型,由生数科技与清华大学联合开发。该AI视频生成模型采用原创的U-ViT架构,结合Diffusion与Transformer技术,能够一键生成长达16秒、1080P分辨率的高清视频。Vidu能模拟真实物理世界,具备丰富的想象力,支持多镜头生成,保持时空一致性,效果接近Sora,代表了中国在视频大模型领域的技术突破。

Vidu的主要功能:

  • 文本到视频生成:用户可以通过输入简单的文本提示,快速生成长达16秒的高清视频内容,大大降低了视频制作的技术门槛,使得非专业用户也能轻松制作出高质量的视频。
  • 高分辨率输出:Vidu支持生成分辨率高达1080P的视频,生成的视频具有非常清晰的画质,适合在各种高清显示设备上播放。
  • 多镜头生成能力:Vidu支持同时生成多个镜头视角的视频,能够制作出类似于电影或电视剧中常见的多镜头切换效果,增加了视频的动态感和观赏性。
  • 模拟真实世界:Vidu能够模拟真实世界的物理特性,如物体的运动、光影的变化等,使得生成的视频内容更加逼真。
  • 保持时空一致性:在生成多镜头视频时,Vidu能够保证不同镜头之间的时空关系是连贯的,避免了不同镜头之间出现时空错乱的情况。
  • 丰富的想象力:除了模拟现实世界,Vidu还具备丰富的想象力,能够创造出新颖的视频内容,满足用户在创意表达上的需求。
  • 多模态融合能力:虽然目前Vidu主要聚焦于视频内容的生成,但基于其多模态大模型的特性,未来它有望整合文本、图像等多种模态的信息,生成更加丰富和立体的视频内容。

不过, Vidu目前仅处于发布阶段,还没有提供正式访问入口,感兴趣的话,可以申请加入其合作伙伴计划,填写表单提交申请: https://shengshu.feishu.cn/share/base/form/shrcnybSDE4Id1JnA5EQ0scv1Ph

生数科技还发布了AI绘画和视频生成平台PixWeaver: https://voxcraft.ai/,和3D模型生成平台VoxCraft AI:https://voxcraft.ai/

4. AI安全委员会成立

4月26日,CNMO注意到,据报道,美国正在筹备成立一个全新的AI安全委员会。据悉,该委员会将汇聚众多科技巨头的领军人物,包括英伟达CEO黄仁勋、OpenAI首席执行官山姆·奥特曼、微软CEO纳德拉以及Alphabet首席执行官皮查伊等,共同为关键基础设施中AI的安全使用出谋划策。

据了解,AI安全委员会将由近20名成员组成,除了科技界的高管外,还包括政府官员、知名学者、民权领袖以及关键基础设施行业的重要管理者。这一多元化的组成结构,将确保委员会在决策时能够充分考虑到各方利益和需求,从而制定出更加全面、科学的AI安全使用策略。

  当前,人工智能技术无疑是科技领域的热门话题,各大公司如英伟达、OpenAI和微软等都在这一领域获得了极高的关注度。然而,随着人工智能技术的快速发展和广泛应用,如何规范人工智能并保障其安全性成为了一个亟待解决的问题。

发表回复