机器学习中什么是增量学习？

思路一，直接用A1模型在新数据上进行训练，这种方式并不是说不可以，假如训练A1时的数据和新数据是相似的，那么是可以的，拿文本分类来举例子，假如A1模型训练的时候是3种类型，那么新数据中如果还是这3中类型，那么是可以直接基于A1模型继续训练的，但如果新数据中有新的类型，那么A1模型就不支持了。
思路二，为了应对新数据中增加了新的分类，抛弃A1模型，直接基于历史数据和新数据重新训练A2，这样训练出来的A2模型肯定是所有类型都支持的。
思路三，仍然基于A1模型，仍然只基于新数据，在训练A2模型时，把新数据按批次分别送给A1模型和当前正在训练的A2模型，这样就能得出两个模型基于相同数据所产生的预测结果，计算两个预测结果之间的差值，以及A2模型本身在新数据上的误差，将这两个误差相加得到综合误差，再用这个综合误差去调整A2模型的参数，最终使得A2模型的预测结果和A1模型的预测结果保持一致，同时又能使得A2模型能学到新数据的特征。举个例子，A1模型就相当于师父，A2模型就相当于徒弟，徒弟在学习的过程中，既学会了师父的所有招式，同时也自创了一些招式，我这种思路专业一点叫做知识蒸馏。