值得关注的NLP的技术：
1.预训练神经网络
常见模型：
ELMo、BERT
需要研究的问题：
- 预训练的语言粒度：word、sub-word、character
- 预训练的语言模型的结构：LSTM、Transformer 等
- 预训练数据：文本的主题（domain）
- 预训练得到模型的应用：怎么应用到不同的任务中
2.低资源任务：
解决方式：
- 无监督，半监督学习
- 迁移学习，多任务学习
3.迁移学习：
原理：
不同的nlp任务虽然采用不同类型的数据进行模型的训练，但是在encoder 端的编码往往是同构的，都是将输入的词、句编码为对应的向量表示，然后不同的任务使用不同的解码器完成decoder。
做法：
将不同任务训练得到的编码器看作是不同任务对应的一种向量表示模型，然后通过迁移学习 (Transfer Learning )的方式将这类信息迁移到目标任务上来。
4.多任务学习:
Multi-task Learning 可以通过端到端的方式，直接在主任务中引入其他辅助任务的监督信息，用于保证模型能够学到不同任务间共享的额知识和信息
5.多模态学习：
文本数据和语音、图像数据的多模态融合是未来机器人的刚需。
在神经网络的框架下，可以用统一的模式来对多模态（语言、文字、图像、视频）进行建模（编码和解码），从而实现端到端的学习。
基于问题生成的视觉问答方法
基于场景图生成的视觉问答方法
6.知识及常识的引入：
将知识和常识引入到目前基于数据的学习模型中
应用：
机器阅读理解、语义理解
领域知识：
维基百科，知识图谱