几款AI新应用-文本转视频、AI浏览器

最近出了几款AI新应用,简单分享一下看看应用的功能和使用方法。

1.Opera One浏览器-一直以轻量、极速著称的opera推出了新一代AI浏览器Opera One | Browsing reinvented | Opera:集成了AI应用、聊天机器人和常用社交软件,本地安装尝试一下。

直接下载完,默认安装,会有一些简单的配置,例如选择社交软件和从别的浏览器内导入数据。

配置完毕就正式进入浏览器主界面了,左侧可以看到opera自家的AI工具Aria,集成常用的社交软件,另外opera最新升级的标签也是它的一大亮点。

总结,总体界面是很简洁美观的,类似edge浏览器。感兴趣的朋友可以试一下

2.阿里达摩院出的文本转视频项目,这是在huggingface上的项目链接:ModelScope Text To Video Synthesis – a Hugging Face Space by damo-vilab,同DragGAN一样支持在部署。

具体操作步骤参照我这一篇:最强AI修图来了-DragGAN在colab部署教程 | 高治中的个人空间 (xinyixx.com),非常类似。最后部署完毕看一下效果:

如果本地有8G以上显存显卡的主机可以部署在本地试一下。

3.Zeroscope Text-To-Video – a Hugging Face Space by fffiloni,看它的标题仍然是一个文本转视频的项目,同样的是通过输入关键词来实现生成视频的效果,其余操作不再赘述。

4.一个根据一张人物头像图生成3D的项目:SizheAn/PanoHead: Code Repository for CVPR 2023 Paper “PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360 degree” (github.com),这里是它的项目文档和图片演示,我将摘要提取一部分介绍一下这个项目。

3D人头的合成和重建最近在计算机视觉和计算机图形学中引起了越来越多的兴趣。 用于3D人头合成的现有最先进的3D生成对抗网络(GAN)要么仅限于近视图或难以在大视角下保持 3D 一致性。我们提出了PanoHead,这是第一个3D感知生成模型,仅使用各种外观和详细的几何形状即可进行 360° 的高质量视图一致图像合成用于训练的野外非结构化图像。从本质上讲,我们提升了最近 3D GAN 的表示能力,并桥接了 从具有广泛分布视图的野外图像进行训练时的数据对齐差距。具体来说,我们提出了一种新颖的两阶段 自适应图像对齐,可实现强大的 3D GAN 训练。我们进一步介绍了一种三网格神经体积表示,有效解决前脸和后头特征纠缠,根植于广泛采用的三平面公式。 我们的方法在2D神经场景结构的对抗学习中灌输了3D图像分割的先验知识,在不同背景下实现可合成头部合成。受益于这些设计,我们的方法明显优于以前的3D GAN,生成具有精确几何形状和多样化外观的高质量 3D 头像,即使是长波浪和非洲发型,也可以从任意姿势渲染。 此外,我们展示了我们的系统可以从单个输入图像中重建完整的3D头像,以获得个性化的逼真3D头像。

下面上传一个视频看一下实现原理和效果展示:

不过本地部署对主机有着极高的性能要求,需要3090或4090的显卡,有条件的同学可以试一下。

发表回复