纯前端实现图像标记分割和去除背景

105 天前
 LHRUN

最近有了一点空闲时间, 分享一下我的开源画板最近新做的功能, 纯前端实现图片去除背景和图片标记分割, 具体可以在底部菜单上传图片那里体验效果.

访问链接: https://songlh.top/paint-board/
Github: https://github.com/LHRUN/paint-board

这两个功能是通过 transformers.js + WebGPU 实现的, transformers.js 是一个基于 hugging Face 的 transformers 设计的 JS 库, 可以直接在浏览器端运行, 无需借助服务端. 然后它最近也是更新到了大版本 V3, 更新了很多功能, 同时也支持了 WebGPU, 大幅提升了处理速度, 据官方介绍, 比 WASM 快了 100 倍, 像我做的这两个功能基本上处理能达到毫秒级. 不过唯一的缺点就是支持 WebGPU 的浏览器不太多, 建议使用最新版的谷歌浏览器.

而且当前我看 transformers.js 已经在 Hugging Face 上支持了 1000 多个模型, 可以做很多东西. 如果你也是一个前端开发, 我强烈建议你去了解一下 transformers.js, 特别是现在已经支持了 webgpu, 说不定可以为你的项目添加不少亮点.

如果你有什么好的想法和建议或者也玩过 transformers.js 欢迎交流 🤩

3333 次点击
所在节点    分享创造
20 条回复
Seanfuck
105 天前
加载模型要挺长时间吧
LHRUN
105 天前
@Seanfuck 还好 第一次加载顶多几秒 后面就有缓存了
yedaxia
105 天前
画板非常棒!
yoiteshaw
105 天前
看着好厉害,先🐎住,方便后续学习
imherer
105 天前
厉害,我还说准备 fork 收藏,结果发现很早之前就 fork 过了
yanggggjie
105 天前
太棒了,做的很好🤙
forty
105 天前
收藏!不明觉厉!
9436494262626
105 天前
绘画还挺好玩儿
liulicaixiao
105 天前
非常强,感觉非常适合临时在别人的电脑上扣个图
LHRUN
105 天前
LHRUN
105 天前
@imherer 多谢支持 我之前重构时在 V 站推广过一次
LHRUN
105 天前
@liulicaixiao 是的,其实这两个功能可以单独做个网站使用了
allenby
105 天前
挺牛的,追求新技术正是需要的
Alexf4
105 天前
牛的!!已 Star, 不知道有没有商业化计划!
LHRUN
105 天前
@allenby 多谢支持
LHRUN
105 天前
@Alexf4 多谢支持。

暂时没有这方面的计划,一是没时间,也没什么想法,现在只是像一个咸鱼时不时的维护一下修修 bug 😂
rm0gang0rf
103 天前
starstart
LHRUN
103 天前
@rm0gang0rf 多谢支持
rm0gang0rf
96 天前
图像分割功能加载失败...啥情况
rm0gang0rf
96 天前
err Error: The device (webgpu) does not support fp16.
at D (vendor.9e161471.js:3180:15132)
at async vendor.9e161471.js:3180:17340
at async Promise.all (paint-board/index 0)
at async R (vendor.9e161471.js:3180:17237)
at async Promise.all (paint-board/index 0)
at async kl.from_pretrained (vendor.9e161471.js:3180:24452)
at async index.efbcfb82.js:1:202150

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/1092268

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX