李·鲁(Li Rui):通过视觉触摸和手眼协作平台创
发布时间:2025-08-10 09:13
“ 2025年世界机器人会议”于8月8日至12日向北京经济和技术发展区开放。 以下是语音成绩单: 亲爱的领导者和客人,下午好!我是上海Weiti Technology Co,Ltd的创始人兼首席执行官Li Rui。 想象一下,有一天的机器人可以真正陷入家乡的许多情况。例如,在家庭场景中,机器人将帮助我们完成诸如洗涤,烹饪,扫地等家庭劳动。例如,在工厂制造线路中,机器人可以帮助我们生产各种产品,以便它们可以实现类似人类的操作。为了实现这些操作,基础基础可以总结四个单词“最小”D和熟练的”。头脑代表了一个明智的大脑。不同的大型模型可以使机器人能够制造一般和聪明的大脑,也带来许多可能性。现在是快速发展的阶段。帅气的技能也是一个非常重要的联系。一方面,您需要拥有更多的自由,但是您应该更重要的是,您应该在触摸时要触摸,并在环境中遇到一个非常重要的链接。智慧,我们为什么要谈论体现的身体? 人的手可以得到什么样的信息?一方面,可以获得对象本身的特性,例如表面的纹理,大小,形状,柔软度,硬度,重量等。另一方面,这是接触状态。有关F的一些信息在与此问题接触期间产生的ORCE,例如正常力量,切向强度,相对儿童幻灯片,物体位置等。 当人们做超过90%甚至95%以上的操作时,他们需要同时参与并与双手合作。我们称之为手眼协调。在这里,触摸与愿景之间的关系是需要建立的辅助方法。一方面,按下是视觉扩展。另一方面,可以实现更精细的闭环,而视觉信息可以增加,并且可以实现实时反馈。触摸本身也是我国35个“瓶颈”技术之一。 当前,与触觉相关的技术路线有不同的类别,例如阻力,容量,霍尔效应和视觉触觉。其中,视觉触摸是学术界中最集中的研究和流行的方向,它也是实验中最先进的道路gnizes。世界领先的大学和研究机构通常从事相关研究,例如外国麻省理工学院,斯坦福大学,CMU,伯克利,伯克利,国内Tsinghua大学,北海大学,上海北海大学,法丹大学,科学技术大学,中国科学技术大学,等等。 《科学杂志》 2024年机器人副本的封面确实是一种视觉触摸。十多年前,当我学习大学医生的头衔时,我在美国的麻省理工学院时,我与主管一起开始了这条路线。同时,我是第一个创建世界上第一个视觉触觉传感器的人,其分辨率可能超过人的手指。当时,它被命名为Gelsight指尖传感器,我们还出版了一系列纸质文书。 飞行时间,现在这条技术路线已成为学术界研究最广泛的技术路线。从2009年到2024年,视觉触摸的发展经过了三个阶段。 第一个阶段是技术开始期。 第二阶段是发展时期。 第三阶段是爆发时代。 2024年,我正式建立了Weititanium机器人,该机器人从从学院到工业化的转型阶段进一步完成了这项技术,实现了商业化,并允许在更多情况下实施它。 迄今为止,我们的实验室在全球人工智能会议中发表了70多个相关角色,其中包括5个以上最佳纸张奖和十多年来的基本知识。在过去两个星期的世界人工智能会议上,我们介绍了与视觉触摸和手眼的合作以及进行产品展示有关的工作。总理提供了重要的指导,并鼓励我们尽快将产品和智慧应用于数千个行业。为什么视觉触摸如此受欢迎?实际上,它与其特征密切相关和好处。十多年前,2014年可以实现多少视觉触摸?我可以给你简短的介绍。这是世界上第一个视觉触觉传感器,其分辨率超过了人的手指,称为Gelsight指尖传感器。右边是正常力量信息。这种亮度代表了压力的效果,分辨率可以达到10微米甚至微米,并且可以以多维强度显示信息的信息。我的手指旋转并迫使它等。在十年前选择鸡蛋对我们来说相对简单。我们不仅可以拿起鸡蛋,还可以抓住罐头,薯片,草莓甚至叶子,也可以将叶子夹在叶片上。更重要的是,在进行操作时,我们不会提前说它应该使用多少力,而要依靠传感器本身来适应。就像人们进行许多操作一样,因为孩子可以服用各种食物,玩具,乐高。 该技术具有许多优势与其他触觉技术路线相比,例如传统的阵列电阻器,电容器和触觉效果传感器。我们可以在以下四个方面中总结这一点。 首先,分辨率非常高,这是第一个具有超过人手指的分辨率的触觉传感器。传统的有组织的触觉传感器具有每平方厘米较小的几个或十二个信息点,而我们的视觉触觉传感器可以到达数千或什至道路,这可能是传统触觉传感器分辨率的数千倍。 其次,当我们衡量多维强度时,当我们谈论压力和手柄时,它确实会产生很大的不同。压力通常是指在一定方向上的力,但压力是多维信息的力量,不仅是正常力,切向力,滑动信息等。实际上,当机器人和人执行许多操作时,切向强度是oFTEN比正常力更重要。正常力垂直于物体表面,切向力是与接触表面平行的力。例如,当一个人拿到一瓶水时,摩擦或滑动力并不意味着他或她应该用一两头公牛的力提前将水瓶用于水瓶。取而代之的是,他和法官实时通过理解处理过程中的切向力或冲突来调整。因此,在这里,切向力非常重要。 第三个方面是可以操作柔软的物体,例如衣服,电缆,鞋子等。 第四,它不容易受到环境的影响,例如温度和水分,电磁场等。 它是研究结果的一部分,可以适应各种不同的事物。如果您仍在去,您不仅会理解它,还可以执行精致的闭环控制操作。考试ple,当USB插入和旋转时,人们真的很难通过依靠其视觉功能来探索和萌芽。当人们这样做时,通常看起来像是USB孔的眼睛。下一步是通过手和手柄进一步关闭控制。如果插入了人类的手,可以理解。如果没有,请进行一些调整。 当时,我们使用视觉触觉传感器伴随着外部视觉,以实现手眼的合作来执行插件操作。实际上,它也可以应用于许多不同的领域。许多闭环控制需要同时在手和眼睛之间进行协调。眼睛通常几乎是定位的,触摸是更精致的闭环。可以说,新闻界是人类操作或机器人的最后一厘米。 我们的视觉触摸不仅可以执行以前的操作,还可以执行材料的识别。按不同的东西,不同的面料等。识别材料。的当然,我们要做的不仅仅是视觉触摸,而只是支点。我们希望通过视觉触摸平台和手部合作创建一个真正聪明的机器人,这绝对可以使机器人执行许多智能操作并像某人一样实现智能活动。它分为三个阶段。 在第一阶段,视觉触摸和触觉手被用作入口点。 在第二阶段,机器人臂的整合可以实现垂直场景的降落。 第三阶段将结合大型模型以实现更多的整体操作。 这是我们的两只诚意的视觉触觉传感器,可以在25×25毫米的区域内实现近60,000个触觉信息点。我们的产品扩展包括触觉下颚和触觉智能手,再加上机器人手臂,即使是当前的合作武器也可以在某些情况下首先实施。您不必等到手臂或老年HA人形生物机器人的NDS,您现在可以在这些场合实现土壤。 让我们看一下其影响的演示。两个手指版本可以旋转并在此处按下,您将看到整个力场的分布。当我碰到表面时,整个反应是非常实时的和多维的。这里还有另一个视频显示功能,可以显示更全面。 首先显示它表明我们的视觉触觉传感器固定了一根锋利的针并迫使气球,这是一项非常艰巨的任务。传感器可能会感觉到非常小的力,过度敏感的切向力,并且不会击中Lobo。 它在激活自适应爬行时显示出高分辨率的特征。各种活动包括纸球,面包,生鹌鹑鸡蛋等。可以无缝进行调整。这里无需在此处使用很高的精度摄像头,但是它是一个带有外部低精度摄像头的粗糙定位。您还可以插入和拔下USB,也可以调整自己的位置。 同时,当夹紧水杯时,可以根据水量自动调整夹紧力。我刚刚显示的两英尺版本是两个手指的版本,现在有五个手指的版本。它在内部测试下。现在,我会给你一个示范。它与令人惊叹的手一起使用,例如,狼科提供了基于力量的评论。这是一个生鸡蛋,薯片确实比鸡蛋更困难。我们公司购买了很多薯片,而是为了我们自己,而是为了机器人。还有一些叶子,它们表现出非常敏感的力,也可以通过轻微的叶子看到,它们看到了多维力。甚至柔软的豆腐也可以适应地抓住。 这是一个非常普通的透明杯水。手指的五个版本小于两个手指版本,与人的手大小相同。它可以无缝地适应经验丰富的手许多制造商,但整体性能与各个方面非常相似。在哪种情况下可以应用?我们正在谈论灵巧的操作。为什么ITA现在不能机器人?在工厂中,我们看到许多机器人手臂确实重复了一些轨迹。当操作的工作或环境发生变化时,我们不会迅速适应。这确实是每个人都想实现灵活产量的疾病点,但今天并没有实现。我们结合了视觉触摸和手眼的合作算法,以在许多情况下实现,癫痫发作不良,并且可以处理所有情况,用于选择和分类,加载和加载方案,等等。 不仅可以获得它,而且还可以精确地放置。例如,孩子们可以拿起乐高积木,然后将它们精确地放在另一个乐高积木上。这是准确的位置。它还包括插入,会议,加载和加载等应用程序。同时,Perfectwe不适合运行灵活的物品,例如服装,鞋子,电缆,食物等。 我们还与许多领先的制造客户进行了深入的合作,并构建了一组数据,我们需要在上面放置信息。实际上,当人们谈论大型VLA模型时,将处理非常重要的模态缺陷。如果这个机器人想与世界互动,那么触摸肯定是密不可分的。现在,我们正在创建一个大型的VTLA模型和集成 - 与此T(触觉意义),它不仅具有视觉,而且还具有触感。这使机器人可以执行更一般,更一般和更成功的操作。 我们的历史股东有很多来自行业和顶级的资金,这是您对我们的官方微信帐户感兴趣,您可以在遵循的时候进行,并且我们定期发布一些相关信息。谢谢你的一切! 金融的官方帐户 24小时广播滚动最新的财务和视频信息,并扫描QR码FOR更多的粉丝跟随(Sinafinance)