中国财富新闻网

您的位置:首页 > 财经评论 >

StableDiffusion嵌入现实世界,能在墙上直接长出小猫咪,手机

你看,你面前有一面平平无奇的墙。

现在,你可以根据自己的意愿,让它凭空长出东西来。

喜欢...一只小猫。

没错,稳定扩散又能开新花!

这一次,重点是稳定扩散的触角伸向了现实世界——结合WebAR。

目前这个凭空长出一只猫的视频还是挺火的。

伴随着新世界的开启,部分网友对AR+SD更感兴趣:

还有人说:

这简直就是很酷的新版《反恐精英》!

来看看这个很酷的新东西吧~

玩SD AR

首先拿起手机,然后随机选择一面墙,通过屏幕界面锁定:

选择一个喜欢的区域,圈出并全部涂黑。

输入提示词:

可爱的小猫,涂鸦风格,数字艺术。

然后点击输入框底部的扩散按钮,快进到见证奇迹的时刻。

此时,无论从哪个角度看,墙上都有一张妙娜丽莎微笑着看着你的照片。

这个视频是我小哥哥第一个用无尽火低门槛的稳定扩散,结合WebAR做出来的实验产品。

他在评论区和围观者讨论具体的工作流程。

第一步是定格,用它作为生成图像的表面纹理,让它有一个世界定位和设备跟踪摄像头。

第二步,向服务器发送API请求,并附上冻结帧和稳定扩散。

在整个工作中,将稳定扩散嵌入到现实世界是由AR完成的。

对于绘制纹理,哥哥用的是Raycast。

整个过程简洁利落,引发了网友的新思考。

目前有很多有趣的NPU硬件,手机共享内存超过12GB。

在这个前提下,如果Stable Diffusion和AR可以一起玩这个作业,并在本地运行,它可以在类似的请求时间内完成整个512x512图像生成,并在更快的AI上运行升级,这将是非常有趣的。

小哥自己也说了,这份工作只是第一次尝试,一切都只是稳定扩散和AR结合的开始。

但大部分网友认为这已经是很有趣的工作了,甚至想在上面涂鸦几个小时。

AIGC打破了次生壁

稳定扩散之风吹向现实世界,绝不是哥哥一个人的想法。

具体操作过程基本在原有基础上加持了AR。

就在前几天,另一个小哥用稳定扩散做了一个视频透视光学透视眼镜。

具体来说就是小哥哥做了一个扩散稳定的虚拟AR眼镜,然后通过手机屏幕上的眼镜镜片实现AR效果。

生成的虚拟AR眼睛不仅有力量提示,还能展现出westworld,丛林,外星人等多种画面风格。

此外,还有人结合Meta旗下的AR创作工具Spark AR,利用稳定扩散来假装自己拿着一个小方块牌。

你知道,上面有动画的那种。

但是这种稳定扩散产生的图像并不是实时生成的,而是提前录制的,因为目前的Spark AR版本还不支持AI和ML。

非常好,通过稳定的扩散,AI和AR又一次紧密相连。

反正稳定扩散这么火,不仅仅是因为效果惊人,还因为它触及到文本生成图像以外的领域时非常厉害~

参考链接:

栏目导读

消博会“神仙打架”:国际巨头入华抢滩新赛道,本土品牌欲出海

消博会“神仙打架”:国际巨头入华抢滩新赛道,本土品牌欲出海

作者:叶子琪

作者:周嘉宝尽管上半年本土疫情的反复让零售市场承压,但中国这片消费热土仍被所有人寄予厚望。7月25日,第二届中国国际消费品博览会在海南海口拉开帷幕。时代财经发现,上半年零售市场的低迷情绪并没有蔓延至这场规格颇高的展会中。作为此次展会主战场,...

2023年定为“消费提振年”,广州消费市场大派“红包”

2023年定为“消费提振年”,广州消费市场大派“红包”

作者:子墨

兔年第一个工作日,刷屏的除了有“开工大吉”,还有政府派发的“大红包”。1月28日,全省高质量发展大会在广州召开。紧随其后,当天下午,广州召开全市高质量发展大会。会上,广州市商务局局长洪谦透露一个重磅信息——广州将2023年定为“消费提振年”...

无人货架凉了新零售的发展新机会在哪?

无人货架凉了新零售的发展新机会在哪?

作者:张璠

摘要:正如电商概念的完善和发展经历了一个过程一样,新零售的发展同样要经历一个从萌芽到成熟的过程。从这个逻辑来看,当前出现的无人货架困境是新零售概念发展成熟的过程当中必然要经历的一个阶段。图片来源:视觉中国从某种程度上来讲,无人货架打了新零售...

华润啤酒欲牵手喜力啤酒业“利润时代”打响高端之争

华润啤酒欲牵手喜力啤酒业“利润时代”打响高端之争

作者:苏婉蓉

中新经纬客户端3月13日电(贺陈慧)积极探索并购机会的华润啤酒,正在加快对啤酒高端市场的布局。3月9日,因传华润啤酒欲收购喜力中国业务,华润啤酒发布价格和成交量异常波动的公告,公告中提到,公司及公司控股股东经常探索和进行有关潜在交易的商业和...