一般来说，人脸识别系统包括图像摄取、人脸定位、图像预处理、以及人脸识别（身份确认或者身份查找）。系统输入一般是一张或者一系列含有未确定身份的人脸图像，以及人脸数据库中的若干已知身份的人脸图象或者相应的编码，而其输出则是一系列相似度得分，表明待识别的人脸的身份。
在人脸识别中，类的变化是应该放大而作为区分个体的标准的，而第二类的变化应该消除，因为它们可以代表同一个个体。通常称类变化为类间变化（inter-class difference），而称第二类变化为类内变化（intra-class difference）。对于人脸，类内变化往往大于类间变化，从而使在受类内变化干扰的情况下利用类间变化区分个体变得异常困难。
人脸识别算法一般会设定一个阈值作为评判通过与否的标准，该阈值一般是用分数或者百分比来衡量。业界一般采用“认假率（FAR，又称误识率，把某人误识为其他人）”和“拒真率（FRR拒真率，本人注册在底库中，但比对相似度达到不预定的值）”，来作为评判依据。
