2020-05-22
大发快三技巧 手机扫一扫,现实物体隔空「复制粘贴」进电脑!北大校友的AI新钻研,现在变成AR酷炫行使

原标题:手机扫一扫,现实物体隔空「复制粘贴」进电脑!北大校友的AI新钻研,现在变成AR酷炫行使

十三 白交 发自 凹非寺

量子位 报道 | 公多号 QbitAI

魔法变现实,酷炫又实用。

还记得两年前,Zach King (男巫)的爆红魔术吗?

不光从纸直接蹦出一个手机,还直接扔进了电脑里形成虚拟的天猫页面。

现在,不必去醉心男巫了,人人都能够把身边的东西“扔到”电脑里,而且一部手机就能搞定!

这就是来自34岁法国设计师Cyril Diagne的最新AR暗科技—— AR Cut & Paste,将身边的事物“一键”复制粘贴到电脑上,整个完善时间不到10s。

比Ctrl C和Ctrl V还要直爽!

比如,特长机扫一扫书上的模型图片,再把手机对准电脑屏幕,模型瞬休就复制到了电脑。

书上的人物也不在话下。

自然,手写的笔记,也能够复制粘贴到电脑中。

他在Github上分享了他的AR新技术,已经狂揽7K颗幼老婆星;而且在Reddit上分享不到14幼时,就获得了近4K的点赞量。

即使Cyril外示现在仅仅能在Photoshop中实现大发快三技巧,但异日——一定会有更多分歧的输脱手段。

只是现在大发快三技巧,这项AR暗科技——魔法相通的新技术大发快三技巧,只要你想,也能复刻。

浅易四步,开启“复制粘贴”新世界

幼哥专门炎忱地在GitHub中,描述了AR Cut & Paste的“上手指南”。

最先要强调的是,这是一个钻研原型,而不是针对消耗者或者Photoshop用户的工具。

AR Cut & Paste原型包含3个自力的模块。

移动行使(The mobile app)

能够查望GitHub中/app文件夹,晓畅如何将App安放到手机中。

本地服务器(The local server)

手机APP与Photoshop的接口。 行使屏幕点 (screenpoint) 找到摄像机在屏幕上指向的位置。 可查望/server文件夹,晓畅关于本地服务器的配置表明。

现在的检测 / 背景移除服务(The object detection / background removal service)

现在,隐微性检测和背景移除,是委托给一个外部服务来完善。 倘若直接在移动行使中行使相通DeepLap如许的技术会浅易许多。但这还异国在这个repo中实现。 第一步:配置Photoshop

在Photoshop柔件 首选项(Preferences)中,找到 添效工具(Plug-ins)。

点击 启用长途连接(Remote Connection),并竖立暗号。

这边必要确保一点,PS文档中的竖立要与server/src/ps.py中的竖立相反,否则只会粘贴一个空层。

此外,文档必要一些背景,倘若只是白色背景,SIFT能够异国有余能力来做一个切确的匹配。

第二步:竖立外部隐微性现在的检测服务

如上所述,现在,必须行使BASNet-HTTP封装器 (必要CUDA GPU)行为外部HTTP服务,安放BASNet模型。

将必要安放的服务URL来配置本地服务器。倘若在本地服务的联相符台计算机上运走BASNet,请确保配置分歧的端口。

第三步:配置并运走本地服务器

这一步的详细文档,在GitHub项现在中的/server文件夹中,包含“安设”和“运走”两个步骤。

安设代码如下:

virtualenv -p python3 .7venv

source venv/bin/activate

pip install -r requirements.txt

运走代码如下:

python src/main.py

—basnet_service_ip=”http://X.X.X.X“

—basnet_service_host=”basnet-http.default.example.com”

—photoshop_password 123456

其中, BASNET_SERVICE_HOST是可选的,只有在行使Knative / Cloud Run等入口网关在平台上安放服务时才必要。

第四步:配置并运走移动App

安设代码如下:

npm install

然后更新component/Server.tsx中的IP地址,使其指向运走本地服务器的计算机IP:

3: const URL = “http:// 192.168.1.29: 8080“;

运走代码如下:

npm start

OK!开启“复制粘贴”新世界,就是这么浅易!

但倘若你期待“知其然更知其因而然”,别眨眼,接着去下望。

如何做到隔空「复制粘贴」?

这个微妙的AR暗科技背后的主要技术,刚最先采用的是一个叫做 BASNet的隐微现在的检测手段。

这篇钻研入围了CVPR 2019,而且论文一作照样位华人幼哥哥—— 秦雪彬,已经于今年2月在添拿大阿尔伯塔大学拿到了博士学位,硕士就读于北京大学。

BASNet的中央框架如下图所示,主要由2个模块构成:

第一个模块是 展望模块,这是一个相通于U-Net的浓密监督的Encoder-Decoder网络,主要功能是从输入图像中学习展望saliency map。

第二个模块是多尺度残差细化模块 (RRM),主要功能是经历学习残差来细化展望模块得到的Saliency map,与groun-truth之间的残差,从而细化出展望模块的Saliency map。

而比来,这位设计师幼哥哥在此基础上,针对 背景移除义务,采用了更新的手段。

同样是来自秦雪彬团队,被Pattern Recognition 2020授与,这个手段叫做 U 2-Net ,其框架如下图所示:

还与其它20个SOTA手段别离做了定量和定性比较实验,在终局上都取得了不错的终局。

在下面的定性实验中,也能够比较清晰的望到,该手段所挑掏出来的现在的,更添细粒度和准确。

那么,北大校友的新手段,又是如何被法国设计师Cyril Diagne搞成暗科技行使的?

兼职写代码的法国设计师

因为无他,Cyril Diagne就是如许一个懂程序、搞设计,关注前沿钻研挺进的艺术家呀。

倘若你关注他的外交动态,也都是天马走空的。

是那栽从“诗词歌赋”到“人生形而上学”,从“服装设计”到AR暗科技的妙人。

Cyril Diagne,现居法国巴黎,除了设计师,程序员,照样洛桑艺术州立大学(ECAL)媒体于交互设计系的教授及主管。

2008年从巴黎Les Gobelins私塾卒业以后,跟5位同学竖立了艺术机构,致力于实现科技与艺术之间的创意交互,也奠定了他以后的艺术生涯,注定与科技密不能分。

2015年首,Cyril添入了谷歌文化驻巴黎的实验室。

与此同时,他还一向的在Gitbub上分享他的新收获。此前,他就曾在Github上发布了一些实用的幼工具。

比如,一个可在Instagram页面的照片上增补3D成绩的chrome扩展程序。

在Web涉猎器上直接用AR涂鸦你的脸。

输入图像转3D照片。

总之,思想多、经历雄厚,还懂技术和审美……

因而现在搞出AR复制如许的稀奇行使,掀开一扇新大门,也让一多网友服信服气。

也算是把北大校友幼哥的牛X钻研,推到了更牛X的产品行使入口。

固然还只是牛刀幼试,但前景却妥妥无限能够。

你觉得这项暗科技,还能怎么用?怎么玩?

上手传送门:

https://github.com/cyrildiagne/ar-cutpaste/tree/clipboard

https://github.com/NathanUA/U-2-Net

http://openaccess.thecvf.com/content_CVPR_2019/papers/Qin_BASNet_Boundary-Aware_Salient_Object_Detection_CVPR_2019_paper.pdf

— 完—

5.13日晚8点,量子位·吃瓜社邀请了来自 华为诺亚方舟实验室的技术行家 王云鹤先生,直播分享端侧AI的最新技术挺进,迎接行家报名围不益看~

量子位·吃瓜社 | 华为诺亚大牛在线分享

_

量子位 QbitAI · 头条号签约作者

_

_

վ'ᴗ' ի 追踪AI技术和产品新动态

_

爱就点「在望」吧 !

_

新京报讯(记者 李傲)5月12日,东北虎豹国家公园管理局大兴沟局托盘林场巡护员在整理野外红外线相机数据时发现一只类似鹿科的白色动物。随后经专家鉴定这只通体雪白的动物是野生白化狍子,十分罕见。据了解,这是东北虎豹国家公园园区内首次发现野生白狍,也是我国39年以来在野外再次发现白色的狍子。

原标题:坚瑞沃能:第一大股东常德中兴质押4.2亿股

原标题:iPhone 12曝光配置价格:起步128GB ROM!649美元

原标题:董明珠直播背后:格力渠道转型迫在眉睫

原标题:U读