Hey everybody,<br><br>(Ignore my previous email)<br><br>I just wrote demo code of how to track out lip movements to know whether a person is speaking or not. <br><br>Here's some code: <a href="https://github.com/yashshah/LipReader">https://github.com/yashshah/LipReader</a> (rather hackish right now).<br>
<br>And here's a video: <a href="http://www.youtube.com/watch?v=-fpkZBYBsuc">http://www.youtube.com/watch?v=-fpkZBYBsuc</a><br><br>It detects the change in pixel density in the mouth region between two consecutive frames and if this is above a certain threshold, it assumes that the person is speaking. This is not super-accurate, but seems 'good enough' for a start. This could be refined further in the project later.<br>
<br>In the video, note how it automatically 'locks on' to the new face if a new person comes in front of the camera and starts reading his lips.<br><br>The actual face detection takes place only once every two seconds to save CPU time. The rest of the time, it only needs to 'track' the face object using the CamShift algorithm, which is super fast and lightweight and works by tracking difference between consecutive frames. <br>
<br>This is with respect to the project about face detection for Simon.<br><br>Regards,<br>Yash Shah<br>