这文章引用挺高的。羡慕死了。

论文链接：

Device-Free Gesture Tracking Using Acoustic Signals

开源代码：

ios:

LLAP:Device-Free Gesture Tracking Using Acoustic Signals

android:

LLAP:Device-Free Gesture Tracking Using Acoustic Signals

Summary

这篇文章详细对比了各种监测方法并提出了LLAP，实现了两种测量距离的算法。

Background / Problem Statement

研究的背景以及问题陈述：

如何高效识别运动手势

Major Contributions

该研究的贡献：

1. 不需要任何硬件，高精度识别1-D以及2-D的手势。
2. 细粒度的探寻声波的变化并以此识别手势。
3. 在室内较为嘈杂的环境下也能够正常使用。

How Do You Think

你认为作者会采用那些方法解决问题？

文章说了，没有用傅立叶相关算法，不是靠发射微波识别，哪还有什么方法呢？我猜测一下，不用傅立叶相关，说明没有用频谱图；不是靠发射的微波识别，说明不需要高频段的信号特征；而识别手势是一个时间轴上的动作，那么要实时识别的话，还可以是什么呢？想不到了。。

Problem Statement/Challenge

作者需要解决的问题是什么？

个人认为，要解决如下几个问题：

• 如何在去除环境噪音的情况下捕捉到手运动产生的信号差异？
• 如何去根据差异得出手的位置？进而得出手势？
• 怎么细化这个信号的？

Method(s)

作者解决问题的方法/算法是什么？是否基于前人的方法？基于了哪些？

1-D测量

基于相位差的距离测量

通过信号的相位差确定移动距离。

如下所示，手机发出声波，传播后在被手机捕获到。为了获得相位，将捕获到的信号一个与 相乘，一个与 相乘，得到同相位、正交相位的数值，并以此数值的变化即可得到反射声波物体的移动距离以及方向。

信号转换

作者首先采用了CIC滤波器。抽取比为16，差分延迟为17。

过滤后需要计算出相位。

假设声波传输路径为p,此段时间内的路径长度为 ,f为频率，c为声速，初始由于机器延迟造成的相位偏移为 ，那么接收到的信号可以表示为： ,那么我们的同相位则为：

由于CIC滤波器的存在，等号后面的式子的后一项被过滤（大于2f），则可以得到同相位：

同理可以得到正交相位：

混合两个式子，有：

距离计算

主要采用LEVD这个启发式算法计算。

首先，找到与经验阈值不同的局部最大值以及最小值点，然后使用两个附近的局部最大值以及最小值的平均值作为静态向量的估计值。

可以想象由于使用的是局部极值，因此能够更好的捕捉到物体的运动。作者提到另一个优点是当运动很慢时不会捕捉到。之后就可以由静态信号提取出动态向量，动态向量的相位可以确定运动物体的运动长度。

多径效应缓解

由于多径效应的存在，动态向量会有不同的频率，因此有不同的相位，进而有不同的距离。

作者采用发射多个频率的信号来消除多径效应。具体来讲，手机发射不同频率的声波，测量不同声波对应的移动距离，并用线性回归（去除异常值）得到最终的移动距离。

作者在这里并没有解决手的大小带来的距离误差问题。

2-D移动

基于延迟分布的路径测量

同样发射n个不同频率的信号，信号频率间隔为 .对于任意一个频率的信号 ，其基准信号为：

对于给定的路径长度，不同频率信号的相位差会有一个线性减少，即对于 ,其相位差为

那么采用IDFT后，有：

由于 的每一个峰值代表一个移动物体的路径，因此测量峰值的延迟即可以测量出移动物体的运动距离。

系数设置

最终选择 为350hz,N=16

计算

算法如下：

大部分情况下仍然使用基于相位的算法，而在且仅在 中存在归一化能量高于给定阈值的主要峰值时才使用基于延迟分布的路径长度估计。

Evaluation

作者如何评估自己的方法？实验的setup是什么样的？感兴趣实验数据和结果有哪些？有没有问题或者可以借鉴的地方？

在正常办公室和家庭环境中使用三星手机进行实验。评价指标为：

1. 移动距离误差
2. 绝对路径长度误差
3. 微小运动检测准确率
4. 跟踪路径误差
5. 字符识别交流准确率
6. 响应延迟
7. 耗电量

至于实验结果，这里只放几张图片吧，

这个油管视频也放一下：

https://www.youtube.com/embed/gs8wMrOSY80?start=21

Unresolved Issues

你觉得这篇文章没有解决/回避的问题是什么？这个问题对整篇论文影响多大？

没有将手指区分开，将整个手识别为一个整体。同时假定没有其他相对移动的物体，容易受到相同频段的其他信号的干扰。

我觉得作为一篇论文，其本身工作量是足够的，这些问题可以在别的论文中解决。

Conclusion

作者给出了哪些结论？哪些是strong conclusions, 哪些又是weak的conclusions（即作者并没有通过实验提供evidence，只在discussion中提到；或实验的数据并没有给出充分的evidence）?

基于相位、基于延迟的移动距离测量算法，能够实现毫米级别的测量，同时在商品手机上实现。

Notes

(optional) 不在以上列表中，但需要特别记录的笔记。

这篇文章的related work非常好。

作者提到，这样的手势tracking需要三个特征：

1. 高准确率
2. 低延迟
3. 低计算开销

References

(optional) 列出相关性高的文献，以便之后可以继续track下去。

硬件实现

1. Google project soli. https://www.google.com/atap/project-soli/
2. Teng Wei and Xinyu Zhang. mTrack: High-precision passive tracking using millimeter wave radios. In Proc. ACM MobiCom, 2015.
3. Chi Zhang, Josh Tabor, Jialiang Zhang, and Xinyu Zhang. Extending mobile interaction through near-field visible light sensing. In Proc. ACM MobiCom, 2015.
4. Leap Motion. https://www.leapmotion.com/.

软件实现

1. Rajalakshmi Nandakumar, Vikram Iyer, Desney Tan, and Shyamnath Gollakota. FingerIO: Using active sonar for fine-grained finger tracking. In Proc. ACM CHI, 2016.
2. A Rodrìguez Valiente, A Trinidad, JR García Berrocal, C Górriz, and R Ramírez Camacho. Extende high-frequency (9–20 kHz) audiometry reference thresholds in 645 healthy subjects. International journal of audiology, 53(8):531–545, 2014.
3. Chunyi Peng, Guobin Shen, Yongguang Zhang, Yanlin Li, and Kun Tan. Beepbeep: a high accuracy acoustic ranging system using COTS mobile devices. In Proc. ACM SenSys, 2007.
4. Zengbin Zhang, David Chu, Xiaomeng Chen, and Thomas Moscibroda. Swordfight: Enabling a new class of phone-to-phone action games on commodity phones. In Proc. ACM MobiSys, 2012.
5. Sidhant Gupta, Daniel Morris, Shwetak Patel, and Desney Tan. Soundwave: using the doppler effect to sense gestures. In Proc. ACM CHI, 2012

其余相关的方法

1. Sangki Yun, Yi-Chao Chen, and Lili Qiu. Turning a mobile device into a mouse in the air. In Proc. ACM MobiSys, 2015.
2. Nissanka B Priyantha, Anit Chakraborty, and Hari Balakrishnan. The cricket location-support system. In Proc. ACM MobiCom, 2000.
3. Jie Yang, Simon Sidhom, Gayathri Chandrasekaran, Tam Vu, Hongbo Liu, Nicolae Cecan, Yingying Chen, Marco Gruteser, and Richard P. Martin. Detecting driver phone use leveraging car speakers. In Proc. ACM MobiCom, 2011

Radio Frequency (RF) signals

1. Wei Wang, Alex X. Liu, Muhammad Shahzad, Kang Ling, and Sanglu Lu. Understanding and modeling of WiFi signal based human activity recognition. In Proc. ACM MobiCom, 2015.
2. Kamran Ali, Alex X. Liu, Wei Wang, and Muhammad Shahzad. Keystroke recognition using WiFi signals. In Proc. ACM MobiCom, 2015.
3. Qifan Pu, Sidhant Gupta, Shyamnath Gollakota, and Shwetak Patel. Whole-home gesture recognition using wireless signals. In Proc. ACM MobiCom, 2013.

Vision Based Gesture Recognition

1. Microsoft Kinect. http://www.microsoft.com/en-us/kinectforwindows/
2. Robert Xiao, Chris Harrison, Karl DD Willis, Ivan Poupyrev, and Scott E Hudson. Lumitrack: low cost, high precision, high speed tracking with projected m-sequences. In Proc. ACM UIST, 2013.
3. Jie Song, Gábor Sörös, Fabrizio Pece, Sean Ryan Fanello, Shahram Izadi, Cem Keskin, and Otmar Hilliges. In-air gestures around unmodified mobile devices. In Proc. ACM UIST, 2014.