增量学习(Incremental Learning)小综述
Source :
mp.weixin.qq.com
Author :
Maple小七
人类有终身不断获取、调整和转移知识的能力，虽然在我们的一生中，我们确实倾向于逐渐忘记之前学习过的知识，但只有在极少的情况下，对新知识的学习会灾难性地影响已经学到的知识，这样的学习能力被称为增量学习的能力。 具体来讲，「增量学习的能力就是能够不断地处理现实世界中连续的信息流，在吸收新知识的同时保留甚至整合、优化旧知识的能力。」 增量学习(Incremental Learning)已经有20多年的研究历史，但增量学习更多地起源于认知神经科学对记忆和遗忘机制的研究，因此不少论文的idea都启发于认知科学的发展成果，本文不会探讨增量学习的生物启发，关于面向生物学和认知科学的增量学习综述可见 Continual lifelong learning with neural networks: A review[1]。
