具有手势识别的机动车操作接口
2020-01-14

具有手势识别的机动车操作接口

本发明涉及一种用于运行机动车操作接口的方法,该操作接口包括摄像机系统(22)和手势识别装置(46)。通过摄像机系统(22)拍摄在机动车内室(12)中以至少一个手臂(28、30、32、34)做手势的人员(14)并且通过手势识别装置(46)基于摄像机系统(22)的图像数据(V)来确定至少一个做手势的手臂(28、30、32、34)的位置和/或运动顺序的描述数据并且匹配给操作手势。通过操作接口的可信度测试装置(48)确定至少一个描述人员(14)的打手势情境的情况参数并且决定是否人员(14)究竟执行可能的操作手势还是仅执行不以操作为目的的要忽略的手势。在作出可能的操作手势的决定的情况下对于由手势识别装置(46)识别的操作手势产生控制命令(S)。在作出要忽略的手势的决定的情况下阻止发出控制命令(S)。

总而言之,通过该例子示出了如何可以实现减少由于不期望的手势的错误操作。由此使手势操作的可接受度的提高是可期待的。特别是通过取消平常所需的手势激活键,现在可以将手势识别不引人注目地集成到机动车10的操作接口中。通过在操作手势与例如交流手势之间可靠的区分可以实现手势激活装置的取消。

这样的情况参数例如同样可以从图像数据中获得并且说明人员究竟采取了哪个身体姿态。如果例如人员正好弯腰到车辆座位之下,因为他在那儿掉了一些东西,并在此以手支撑在副仪表板上,那么手虽然能够单独地占有一个位置,如还与一个可能的操作手势相对应的位置。但是从手肘的位置和头的位置清楚得知的是,人员刚才并没有操作期望,因此该手势是要忽略的。

本发明的任务在于,在机动车中提供健壮的/鲁棒的手势识别,该手势识别对于人员无意在手势识别系统的检测范围中做出手势的情况不产生控制命令。

摄像机系统22借助于光学传感器42测量车辆内室以及位于其中的乘员、也就是驾驶员14。运算单元24借助于手势识别模块46和可信度测试模块48分析处理信号。由此获得的信息作为用于反应的控制信号S提供给车辆,也就是特别是提供给装置26。通过通常对乘员、如驾驶员14在相应的车座中的自由度有限的定位,可以特别是非常可靠地在视频数据V中确定臂部34在肩膀上的连接部分50或者前臂在上臂上的连接部分52。随后例如可以将骨骼模型54、56建模到臂部32、34中并且如此通过对骨骼模型54的参数的分析处理来跟踪、分析处理例如关节58的位置和/或空间取向并且这样通过可信度测试模块58对手势进行可信度测试。因此如果例如所述手势是单独地以手30在识别范围38中实施的,那么通过在此空间上的关系,亦即臂部34的位置和方向并且甚至通过检测臂部32的位置并且例如还有在相应附加地观测时头部60的取向,通过可信度测试模块48可以推导驾驶员14是否具有操作期望。如果例如驾驶员14的脸的面法线62正好例如朝向机动车的侧后视镜(未示出),那么非常不可能是,驾驶员14正好以其手30想要实施例如涉及移动电话激活的操作手势。然而如果通过手势识别模块46识别到这样一个手势,那么可以通过可信度测试模块48阻止相应的控制命令S的产生。

可信度测试装置自身因此并不是对各个所提供的操作手势都加以识别,而是仅仅决定宄竟是存在可能的操作手势还是不然要忽略的手势。换言之,可信度测试装置确定:究竟是否正存在一种操作情境,人员在该操作情境中想要借助于其手势向手势识别装置表达操作期望。提供可信度测试装置因此具有另外的优点在于,由该可信度测试装置实施的第二分类,也就是对是存在可能的操作手势还是要忽略的手势的决定仅仅是二元的并且因此非常健壮。所确定的情况参数的数量仅必须与两种可能性中的一种匹配即可。

还很好适用于可信度测试的是至少一个做手势的手臂的运动历史。如果例如还是存在所述谈话情况,操作人员在该谈话情况期间实施交流手势,以便借以强调所谈的内容,但是不是为了实际上来操作所述操作接口,那么该人员也会在更长时间范围内并且也是在手势检测装置的检测范围之外地有精力地做手势。如果手然后还是一旦位于检测范围内并且在那儿继续做手势,那么基于运动历史可以识别到,该人员在此仅仅实施要忽略的手势。那么在通过手势识别装置将在设定用于识别的空间范围中实施的手势解读为操作手势之前,可以例如首先等待预定的最小停留时间。相应地,本发明的一个实施形式设定,由可信度测试装置从根据图像数据所确定的、发生在有手势分类考虑的运动过程之前的运动历史中来检测究竟是否存在操作情况。只有在这种情况下才由可信度测试装置对操作手势的存在作出决定。例如可以根据图像数据监控至少一个做手势的手臂的关节或其他部分的运动轨迹。如果手臂的各个被监测的区域的停留位置具有大的变化,因为人员挥动手臂,任意地摆动手臂或者此外例如在谈话中移动手臂,那么例如可以设定,在变化较大的情况下设定在手势检测装置的检测范围中的相应更长的最小停留时间。只有当超过该最小停留时间时,那么才通过手势检测装置将然后识别的手势、也就是例如手的位置或者手的运动过程通过分类匹配于可能的操作手势中的一个。该定位可以通过所述的身体模型实现。

运算单元24具有手势识别模块46。手势识别模块46可以是例如程序模块。通过手势识别模块46根据视频数据V识别到驾驶员14在识别范围38中例如以手实施了哪个操作手势。如果识别了操作手势中的一个确定的操作手势,那么通过手势识别模块46将相应的控制命令S输出到所述至少一个装置26,该装置在接收到控制命令S时根据控制命令S激活预定的功能,也就是例如开始一段音乐的播放或者设置确定的导航目标。

避免错误识别的另一种可能在于,打手势情境的至少一个情况参数包括至少一个做手势的手臂的至少一个可动部分和/或关节的相应加速度。如果例如操作人员首先将其手在摄像机系统的检测范围中保持不动,然后却将手高抬,以便抓取某些东西,那么该人员在此可能又无意地占据了与预定的操作手势相对应的手指位置。识别装置那么在此可能又会做出产生控制命令的反应。但是如果通过可信度测试装置识别到,手在该识别过程期间被大幅加速,那么这又是对不能将该手势解读为操作期望的一种提示。与之相应,如果每个对于各个部分和关节检测的加速度都位于相应的预定的加速度值范围内,那么通过可信度测试装置作出操作手势的决定。特别是每个加速度值都必须小于预定的最大加速度值。对所述速度值范围和加速度值范围的确定例如可以通过观察测试人员并这样根据其行为确定适合的数值范围来进行。

如上所述,非常不可能的是,弯腰到车座之下的人员正好想实施一个操作手势。该情况和另外的情况可以按照一个实施形式识别,其方法是打手势情境的至少一个情况参数包括至少一个可动部分和/或关节相对于至少另一可动部分和/或关节的相应的相对角。也就是说检测至少一个做手势的手臂或其他身体部分的各个区域的相对位置。例如那么可以检测:是否手肘具有一个正常的在操作接口的操作中可预料的弯曲角或者例如弯曲为一个例如小于40°的锐角。只有当每个所监测的相对角都位于相应的预定的角度值范围内时,才在此通过可信度测试装置作出操作手势的决定。在此还可以再次通过在不同情况下对测试人员的观察来确定适合的角度值范围。

本发明因此设有更简单的第二识别,该第二识别首先仅仅决定:所述人员究竟是否想要实施可能的操作手势中的一个或者仅是实施了一个并非以操作为目的的、也就是要忽略的手势。该第二识别装置在此称为操作接口的可信度测试装置,因为该第二识别装置确定操作人员想要实施以操作为目的的操作手势究竟是否可信。可信度测试装置同样可以是例如中央运算装置或信息娱乐系统的程序模块。可信度测试装置确定至少一个情况参数,该情况参数描述人员的打手势情境,也就是人员打手势的时间和空间情境。

在机动车中手势识别中己经证实为有问题的是,人员经常也出于其他原因将其手保持在副仪表板上的区域中并且在那儿以手做出手势。如果例如驾驶员与另一乘客交谈并且在此将其手臂依靠在副仪表板的扶手上,那么其手同样位于在摄像机系统的检测范围中。如果驾驶员随后以手执行一个不以操作机动车为目的的手势,因为他例如刚刚解释一些事情并且在此做出手势,那么这些原本要忽略的手势也由摄像机系统拍摄并且通过识别系统解读。那么可能的是,在交谈期间改变装置的设置,而驾驶员却无意这样做。

同样属于本发明的机动车的突出之处在于,该机动车具有按照本发明的操作接口的一种实施形式。例如操作接口可以作为机动车的信息娱乐系统的组成部分提供并且用于操作例如信息娱乐系统的装置,如导航装置、媒体播放装置(例如CD播放装置、蓝牙播放装置或DVD播放装置)、空调设备控制器。按照本发明的机动车优选设计为汽车,特别是轿车。在本发明中由此产生不同设计方案,即可信度测试装置如何区分可能的操作手势和要忽略的手势。