表示算力速度的单位有 TOPS和FLOPS，其中OPS指的是每秒处理次数

TOPS

TOPS表示对INT8整型数的处理次数（INT8省略不写），通常自动驾驶芯片算力使用此单位

FLOPS

FLOPS指的是对FP32浮点数的处理次数。表示每秒浮点的运算次数。FLOPS前面通常还会有一个字母常量，例如TFLOPS、PFLOPS。这个字母T、P代表次数，T代表每秒一万亿次，P代表每秒一千万亿次。通常显卡和AI处理器使用此单位

OPS (operations per second) 每秒处理次数

TOPS (Tera operations per second) 每秒处理的万亿次数

FLOPS (Floating point number operations per second) 每秒处理浮点数次数

TFLOPS (Tera Floating point number operations per second) 每秒处理浮点数的万亿次数

运算数据精度

双精度浮点数（64位，FP64）：使用 64 位（8字节） 来存储一个浮点数，其中1位为符号位，11位指数位，52位小数位

单精度浮点数（32位，FP32）：占用4个字节，共32bit位，其中1位为符号位，8位指数位，23位小数位

半精度浮点数（16位，FP16）：占用2个字节，共16位，其中1位为符号位，5位指数位，10位有效数字位（小数），与FP32相比，FP16的访存消耗仅为1/2，也因此FP16是更适合在移动终端侧进行AI计算的数据格式

8位整型数（INT8、INT4）：占用1个字节，INT8是一种定点计算方式，代表整数运算，一般是由浮点运算量化而来。虽然INT8比FP16精度低，但是数据量小、能耗低，计算速度相对更快，更适合端侧运算

混合精度：使用fp16进行乘法和存储，只使用fp32进行加法操作，避免累加误差

低精度技术 (high speed reduced precision)

深度学习中，在training阶段，梯度的更新往往是很微小的，需要相对较高的精度，一般要用到FP32以上。在inference的时候，精度要求没有那么高，一般F16（半精度）就可以，甚至可以用INT8（8位整型），精度影响不会很大。同时低精度的模型占用空间更小了，有利于部署在移动端模型里面。