2019年公司晋级答辩时候的ppt，今天看感触太深了。14年开始做lstm、gru为backbone的language model，18年BERT出来后开始做预训练包括bert以及gpt系列的。没赶上好时候呀 ​​​[允悲] ​