Awesome qa

Awesome Question Answering ¶

精选清单 __Question Answering (QA)__ 信息检索和自然语言处理 (NLP) 领域内的一门计算机科学学科，旨在使用机器学习和深度学习

信息检索和自然语言处理领域问答集——从机器学习到深度学习
问答系统主题的精选列表，是信息检索和自然语言处理领域的计算机科学学科 - 使用机器学习和深度学习

Recent Trends¶

Recent QA Models¶

• DilBert：在基于转换器的编码器中延迟交互层以实现高效的开放域问答（2020）
• 论文：https://arxiv.org/pdf/2010.08422.pdf -github: https://github.com/wissam-sib/dilbert
• UnifiedQA：使用单一 QA 系统跨越格式边界 (2020)
• 演示：https://unifiedqa.apps.allenai.org/
• ProQA：为开放域 QA 和 IR 预训练密集语料库索引的资源高效方法. (2020)
• 论文：https://arxiv.org/pdf/2005.00038.pdf -github: https://github.com/xwhan/ProQA
• TYDI QA：类型多样语言中信息搜索问答的基准（2020）
• 论文：https://arxiv.org/ftp/arxiv/papers/2003/2003.05002.pdf
• 机器阅读理解回顾阅读器
• 论文：https://arxiv.org/pdf/2001.09694v2.pdf
• TANDA：迁移和调整用于回答句子选择的预训练变压器模型（AAAI 2020）
• 论文：https://arxiv.org/pdf/1911.04118.pdf

Recent Language Models¶

• ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators, Kevin Clark 等人，ICLR，2020 年.
• TinyBERT: Distilling BERT for Natural Language Understanding, Xiaoqi Jiao, et al., ICLR, 2020.
• MINILM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers, Wenhui Wang, et al., arXiv, 2020.
• T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer, Colin Raffel 等人，arXiv 预印本，2019 年.
• ERNIE: Enhanced Language Representation with Informative Entities, Zhengyan Zhang, et al., ACL, 2019.
• XLNet: Generalized Autoregressive Pretraining for Language Understanding, Zhilin Yang, et al., arXiv preprint, 2019.
• ALBERT: A Lite BERT for Self-supervised Learning of Language Representations, Zhenzhong Lan, et al., arXiv preprint, 2019.
• RoBERTa: A Robustly Optimized BERT Pretraining Approach, Yinhan Liu, et al., arXiv preprint, 2019.
• DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter, Victor sanh 等人，arXiv，2019 年.
• SpanBERT: Improving Pre-training by Representing and Predicting Spans, Mandar Joshi 等人，TACL，2019 年.
• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Jacob Devlin 等人，NAACL 2019、2018.

AAAI 2020¶

• TANDA: Transfer and Adapt Pre-Trained Transformer Models for Answer Sentence Selection, Siddhant Garg 等人，AAAI 2020，2019 年 11 月.

ACL 2019¶

• Overview of the MEDIQA 2019 Shared Task on Textual Inference, 问题蕴涵和问题回答，Asma Ben Abacha 等人，ACL-W 2019，2019 年 8 月.
• Towards Scalable and Reliable Capsule Networks for Challenging NLP Applications, Wei Zhao, et al., ACL 2019, Jun 2019.
• Cognitive Graph for Multi-Hop Reading Comprehension at Scale, Ming Ding, et al., ACL 2019, Jun 2019.
• Real-Time Open-Domain Question Answering with Dense-Sparse Phrase Index, Minjoon Seo 等人，ACL 2019，2019 年 6 月.
• Unsupervised Question Answering by Cloze Translation, Patrick Lewis 等人，ACL 2019，2019 年 6 月.
• SemEval-2019 Task 10: Math Question Answering, Mark Hopkins 等人，ACL-W 2019，2019 年 6 月.
• Improving Question Answering over Incomplete KBs with Knowledge-Aware Reader, Wenhan Xiong, et al., ACL 2019, May 2019.
• Matching Article Pairs with Graphical Decomposition and Convolutions, Bang Liu, et al., ACL 2019, May 2019.
• Episodic Memory Reader: Learning what to Remember for Question Answering from Streaming Data, Moonsu Han 等人，ACL 2019，2019 年 3 月.
• Natural Questions: a Benchmark for Question Answering Research, Tom Kwiatkowski 等人，TACL 2019，2019 年 1 月.
• Textbook Question Answering with Multi-modal Context Graph Understanding and Self-supervised Open-set Comprehension, Daesik Kim 等人，ACL 2019，2018 年 11 月.

EMNLP-IJCNLP 2019¶

• Language Models as Knowledge Bases?, Fabio Petron, et al., EMNLP-IJCNLP 2019, Sep 2019.
• LXMERT: Learning Cross-Modality Encoder Representations from Transformers, Hao Tan, et al., EMNLP-IJCNLP 2019, Dec 2019.
• Answering Complex Open-domain Questions Through Iterative Query Generation, Peng Qi, et al., EMNLP-IJCNLP 2019, Oct 2019.
• KagNet: Knowledge-Aware Graph Networks for Commonsense Reasoning, Bill Yuchen Lin, et al., EMNLP-IJCNLP 2019, Sep 2019.
• Mixture Content Selection for Diverse Sequence Generation, Jaemin Cho, et al., EMNLP-IJCNLP 2019, Sep 2019.
• A Discrete Hard EM Approach for Weakly Supervised Question Answering, Sewon Min, et al., EMNLP-IJCNLP, 2019, Sep 2019.

Arxiv¶

• Investigating the Successes and Failures of BERT for Passage Re-Ranking, Harshith Padigela 等人，arXiv 预印本，2019 年 5 月.
• BERT with History Answer Embedding for Conversational Question Answering, Chen Qu, et al., arXiv preprint, 5 月
• Understanding the Behaviors of BERT in Ranking, Yifan Qiao, et al., arXiv preprint, Apr 2019.
• BERT Post-Training for Review Reading Comprehension and Aspect-based Sentiment Analysis, Hu Xu, et al., arXiv 预印本，2019 年 4 月.
• End-to-End Open-Domain Question Answering with BERTserini, Wei Yang, et al., arXiv preprint, Feb.
• A BERT Baseline for the Natural Questions, Chris Alberti 等人，arXiv 预印本，2019 年 1 月.
• Passage Re-ranking with BERT, Rodrigo Nogueira 等人，arXiv 预印本，2019 年 1 月.
• SDNet: Contextualized Attention-based Deep Network for Conversational Question Answering, Chenguang Zhu, et al., arXiv, Dec 2018.

Dataset¶

• ELI5: Long Form Question Answering, Angela Fan 等人，ACL 2019，2019 年 7 月
• CODAH：一个对抗性编写的问答数据集 Common Sense，Michael Chen 等人，RepEval 2019，2019 年 6 月.

About QA¶

Types of QA¶

• 单轮 QA：在不考虑任何上下文的情况下回答
• 对话式 QA：使用预先对话轮流

Subtypes of QA¶

• 基于知识的质量保证
• 基于表格/列表的 QA
• 基于文本的质量保证
• 基于社区的质量保证
• 视觉质量保证

Analysis and Parsing for Pre-processing in QA systems¶

语言分析 1. Morphological analysis 2. Named Entity Recognition(NER) 3.同音词/多义词分析 4.句法解析（依赖解析） 5.语义识别

Most QA systems have roughly 3 parts¶

1. 事实提取
   1.实体提取
   1. Named-Entity Recognition(NER)
   1. Relation Extraction
      2.理解问题 3.生成答案

Events¶

• Wolfram Alpha 于 2009 年推出了答案引擎.
• IBM Watson 系统击败顶级 Jeopardy! 2011年冠军.
• Apple 的 Siri 在 2011 年集成了 Wolfram Alpha 的答案引擎.
• 谷歌通过在 2012 年利用免费基础知识库推出其知识图来拥抱质量检查.
• 亚马逊回声 | Alexa (2015)，谷歌主页 | Google Assistant (2016), INVOKE | 微软小娜 (2017)、HomePod (2017)

Systems¶

• IBM Watson - 具有最先进的性能.
• Facebook DrQA - 适用于 SQuAD1.0 数据集. SQuAD2.0 数据集已发布. 但 DrQA 尚未经过测试.
• MIT media lab's Knowledge graph - 是一个免费提供的语义网络，旨在帮助计算机理解人们使用的单词的含义.

Competitions in QA¶

	数据集	语言	主办单位	自	排名靠前	型号	状态	超越人类表现
0	Story Cloze Test	英语	大学罗彻斯特	2016年	管理部门	逻辑回归	关闭	×
1	MS MARCO	English	Microsoft	2016	YUANFUDAO research NLP	MARS	Closed	o
2	MS 马可 V2	英语	微软	2018	NTT 媒体智能. 实验室.	面具问答风格	开业	×
3	SQuAD	英语	大学斯坦福	2018	XLNet（单模型）	XLNet Team	关闭	o
4	SQuAD 2.0	英语	大学斯坦福	2018	平安全华	ALBERT + DAAF + Verifier（合奏）	打开	哦
5	TriviaQA	英语	大学华盛顿	2017	明艳	-	关闭	-
6	decaNLP	英语	销售人员研究	2018	销售人员研究	MQAN	关闭	×
7	DuReader Ver1.	中文	百度	2015	试用者	T-Reader（单）	关闭	×
8	DuReader Ver2.	中文	百度	2017	文艺复兴	阿里阅读器	开业	-
9	KorQuAD	韩语	LG CNS 人工智能研究	2018	Clova AI LaRva 团队	LaRva-Kor-Large+ + CLaF（单个）	关闭	o
10	KorQuAD 2.0	韩语	LG CNS 人工智能研究	2019	江原大学	KNU-baseline(单模型)	开业	×
11	CoQA	英语	大学斯坦福	2018	追一科技	RoBERTa + AT + KD（合奏）	开业	o

Publications¶

• 论文
• "Learning to Skim Text", Adams Wei Yu, Hongrae Lee, Quoc V. Le, 2017. ：仅在文本中显示您想要的内容
• "Deep Joint Entity Disambiguation with Local Neural Attention", Octavian-Eugen Ganea 和 Thomas Hofmann，2017 年.
• "BI-DIRECTIONAL ATTENTION FLOW FOR MACHINE COMPREHENSION", Minjoon Seo, Aniruddha Kembhavi, Ali Farhadi, Hananneh Hajishirzi, ICLR, 2017.
• "Capturing Semantic Similarity for Entity Linking with Convolutional Neural Networks"、Matthew Francis-Landau、Greg Durrett 和 Dan Klei，NAACL-HLT 2016.
  • https://GitHub.com/matthewfl/nlp-entity-convnet
• "Entity Linking with a Knowledge Base: Issues, Techniques, and Solutions", Wei Shen, Jianyong Wang, Jiawei Han, IEEE Transactions on Knowledge and Data Engineering(TKDE), 2014.
• "Introduction to “This is Watson", IBM 研究与开发期刊，DA Ferrucci，2012 年.
• "A survey on question answering technology from an information retrieval perspective", 信息科学, 2011.
• "Question Answering in Restricted Domains: An Overview", Diego Mollá 和 José Luis Vicedo，计算语言学，2007 年
• “自然语言问答：从这里看”，L Hirschman，R Gaizauskas，自然语言工程，2001 年.
• 实体消歧/实体链接

Codes¶

• BiDAF - 双向注意流（BIDAF）网络是一个多阶段的层次化过程，它以不同的粒度级别表示上下文，并使用双向注意流机制来获得查询感知的上下文表示，而无需进行早期总结.
• 官方的; 张量流 v1.2
• Paper
• QANet - 问答架构不需要循环网络：它的编码器完全由卷积和自注意力组成，其中卷积模拟局部交互，自注意力模拟全局交互.
• 谷歌; 非官方; 张量流 v1.5
• R-Net - 用于阅读理解式问答的端到端神经网络模型，旨在回答给定段落中的问题.
• 多发性硬化症; 由香港科技大学非正式提供； 张量流 v1.5
• Paper
• R-Net-in-Keras - 在 Keras 中重新实现 R-NET.
• 多发性硬化症; 非官方; 凯拉斯 v2.0.6
• Paper
• DrQA - DrQA 是一个应用于开放域问答的阅读理解系统.
• Facebook; 官方的; 火炬 v0.4
• BERT - 一种新的语言表示模型，代表来自 Transformers 的双向编码器表示. 与最近的语言表示模型不同，BERT 旨在通过联合调节所有层中的左右上下文来预训练深度双向表示.
• Google; Official implementation; Tensorflow v1.11.0
• Paper

Lectures¶

• Question Answering - Natural Language Processing - 作者：Dragomir Radev，博士 | 密歇根大学 | 2016.

Slides¶

• Question Answering with Knowledge Bases, Web and Beyond - By Scott Wen-tau Yih & Hao Ma | Microsoft Research | 2016.
• Question Answering - 由博士玛丽安娜·内维斯 | 哈索普拉特纳研究所 | 2017年

Dataset Collections¶

• NLIWOD's Question answering datasets
• karthinkncode's Datasets for Natural Language Processing

Datasets¶

• AI2 Science Questions v2.1(2017)
• 它包括美国小学和中学各年级学生评估中使用的问题. 每个问题都是 4 向多项选择格式，可能包含也可能不包含图表元素.
• 论文：http://ai2-website.s3.amazonaws.com/publications/AI2ReasoningChallenge2018.pdf
• Children's Book Test
• 它是 Facebook AI Research 的 bAbI 项目之一，旨在实现自动文本理解和推理的目标. CBT 旨在直接衡量语言模型利用更广泛的语言环境的能力.
• CODAH Dataset
• DeepMind Q&A Dataset; CNN/Daily Mail
• 赫尔曼等人. (2015) 使用新闻文章创建了两个很棒的数据集用于问答研究. 每个数据集包含许多文档（每个 90k 和 197k），每个文档平均包含大约 4 个问题. 每个问题都是一个句子，其中缺少一个单词/短语，可以从随附的文档/上下文中找到.
• 论文：https://arxiv.org/abs/1506.03340
• ELI5
• 论文：https://arxiv.org/abs/1907.09190
• GraphQuestions
• 为 QA 评估生成特征丰富的问题​​集.
• LC-QuAD
• 这是包含 5000 个问题和 SPARQL 查询的黄金标准 KBQA（知识库问答）数据集. LC-QuAD 使用 DBpedia v04.16 作为目标 KB.
• MS MARCO
• 这是用于真实世界的问题回答.
• 论文：https://arxiv.org/abs/1611.09268
• MultiRC
• 短段落和多句问题的数据集
• 论文：http://cogcomp.org/page/publication_view/833
• NarrativeQA
• 它包括带有维基百科摘要的文档列表、完整故事的链接以及问题和答案.
• 论文：https://arxiv.org/pdf/1712.07040v1.pdf
• NewsQA
• 机器理解数据集
• 论文：https://arxiv.org/pdf/1611.09830.pdf
• Qestion-Answer Dataset by CMU
• 这是维基百科文章的语料库，从中手动生成的事实问题，以及对这些问题的手动生成的答案，用于学术研究. 这些数据由 Noah Smith、Michael Heilman、Rebecca Hwa、Shay Cohen、Kevin Gimpel 以及卡内基梅隆大学和匹兹堡大学的许多学生在 2008 年至 2010 年间收集.
• SQuAD1.0
• 斯坦福问答数据集 (SQuAD) 是一个阅读理解数据集，由众包工作者针对一组维基百科文章提出的问题组成，其中每个问题的答案都是来自相应阅读文章的一段文本或跨度，或问题可能无法回答.
• 论文：https://arxiv.org/abs/1606.05250
• SQuAD2.0
• SQuAD2.0 结合了 SQuAD1.1 中的 100,000 个问题和超过 50,000 个新的、无法回答的问题，这些问题由众包工作者以对抗方式编写，看起来与可回答的问题相似. 要想在 SQuAD2.0 上做好，系统不仅要在可能的情况下回答问题，还要判断什么时候段落不支持答案并放弃回答.
• 论文：https://arxiv.org/abs/1806.03822
• Story cloze test
• “故事完形填空测试”是一种新的常识性推理框架，用于评估故事理解、故事生成和脚本学习. 这个测试需要一个系统来选择一个四句故事的正确结局.
• 论文：https://arxiv.org/abs/1604.01696
• TriviaQA
• TriviaQA 是一个阅读理解数据集，包含超过 650K 个问答证据三元组. TriviaQA 包括 95K 由问答爱好者编写的问答对和独立收集的证据文件，平均每个问题 6 个，为回答问题提供高质量的远程监督.
• 论文：https://arxiv.org/abs/1705.03551
• WikiQA
• 一组公开可用的问题和句子对，用于开放域问答.

The DeepQA Research Team in IBM Watson's publication within 5 years¶

• 2015
• “从 IBM Watson 中的电子病历自动生成问题列表”，Murthy Devarakonda，Ching-Huei Tsou，IAAI，2015 年.
• “IBM Watson 问答系统中的决策”，J. William Murdock，Ontology 峰会，2015 年.
• "Unsupervised Entity-Relation Analysis in IBM Watson", Aditya Kalyanpur, J William Murdock, ACS, 2015.
• “常识推理：基于事件演算的方法”，ET Mueller，Morgan Kaufmann/Elsevier，2015 年.
• 2014
• “面向问题的病历摘要：Watson 应用程序的早期报告”，M. Devarakonda、Dongyang Zhang、Ching-Huei Tsou、M. Bornea、Healthcom，2014 年.
• "WatsonPaths: Scenario-based Question Answering and Inference over Unstructured Information", Adam Lally, Sugato Bachi, Michael A. Barborak, David W. Buchanan, Jennifer Chu-Carroll, David A. Ferrucci*, Michael R. Glass, Aditya Kalyanpur, Erik T. Mueller, J. William Murdock, Siddharth Patwardhan, 约翰M. Prager、Christopher A. Welty，IBM 研究报告 RC25489，2014 年.
• "Medical Relation Extraction with Manifold Models", Chang Wang 和 James Fan，ACL，2014 年.

MS Research's publication within 5 years¶

• 2018
• "Characterizing and Supporting Question Answering in Human-to-Human Communication", Xiao Yang, Ahmed Hassan Awadallah, Madian Khabsa, Wei Wang, Miaosen Wang, ACM SIGIR, 2018.
• "FigureQA: An Annotated Figure Dataset for Visual Reasoning", Samira Ebrahimi Kahou, Vincent Michalski, Adam Atkinson, Akos Kadar, Adam Trischler, Yoshua Bengio, ICLR, 2018
• 2017
• "Multi-level Attention Networks for Visual Question Answering", Dongfei Yu, Jianlong Fu, Tao Mei, Yong Rui, CVPR, 2017.
• “问题回答和问题生成的联合模型”，Tong Wang、Xingdi (Eric) Yuan、Adam Trischler，ICML，2017 年.
• “用于机器理解中迁移学习的两阶段合成网络”，David Golub、Po-Sen Huang、Xiaodong He、Li Deng、EMNLP，2017 年.
• “Question-Answering with Grammatically-Interpretable Representations”, Hamid Palangi, Paul Smolensky, Xiaodong He, Li Deng,
• “用于顺序问答的基于搜索的神经结构化学习”，Mohit Iyyer、Wen-tau Yih、Ming-Wei Chang，ACL，2017 年.
• 2016
• "Stacked Attention Networks for Image Question Answering", Zichao Yang, Xiaodong He, Jianfeng Gao, Li Deng, Alex Smola, CVPR, 2016.
• "Question Answering with Knowledge Base, Web and Beyond", Yih, Scott Wen-tau and Ma, Hao, ACM SIGIR, 2016.
• "NewsQA: A Machine Comprehension Dataset", Adam Trischler, Tong Wang, Xingdi Yuan, Justin Harris, Alessandro Sordoni, Philip Bachman, Kaheer Suleman, RepL4NLP, 2016.
• "Table Cell Search for Question Answering", Sun, Huan and Ma, Hao and He, Xiaodong and Yih, Wen-tau and Su, Yu and Yan, Xifeng, WWW, 2016.
• 2015
• "WIKIQA: A Challenge Dataset for Open-Domain Question Answering", Yi Yang, Wen-tau Yih, and Christopher Meek, EMNLP, 2015.
• "Web-based Question Answering: Revisiting AskMSR", Chen-Tse Tsai、Wen-tau Yih 和 Christopher JC Burges，MSR-TR，2015 年.
• "Open Domain Question Answering via Semantic Enrichment", Huan Sun, Hao Ma, Wen-tau Yih, Chen-Tse Tsai, Jingjing Liu, and Ming-Wei Chang, WWW, 2015.
• 2014
• "An Overview of Microsoft Deep QA System on Stanford WebQuestions Benchmark", Zhenghao Wang, Shengquan Yan, Huaming Wang, and Xuedong Huang, MSR-TR, 2014.
• “单关系问答的语义解析”，Wen-tau Yih、Xiaodong He、Christopher Meek，ACL，2014 年.

Google AI's publication within 5 years¶

• 2018
• 谷歌质量检查
  • "QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension", Adams Wei Yu, David Dohan, Minh-Thang Luong, Rui Zhao, Kai Chen, Mohammad Norouzi, Quoc V. Le, ICLR, 2018.
  • "Ask the Right Questions: Active Question Reformulation with Reinforcement Learning"、Christian Buck、Jannis Bulian、Massimiliano Ciaramita、Wojciech Paweł Gajewski、Andrea Gesmundo、Neil Houlsby 和 Wei Wang，ICLR，
  • "Building Large Machine Reading-Comprehension Datasets using Paragraph Vectors", Radu Soricut, Nan Ding, 2018.
• 句子表示
  • "An efficient framework for learning sentence representations", Lajanugen Logeswaran, Honglak Lee, ICLR, 2018.
• "Did the model understand the question?", Pramod K. Mudrakarta 和 Ankur Taly 以及 Mukund Sundararajan 和 Kedar Dhamdhere，ACL，2018 年.
• 2017
• "Analyzing Language Learned by an Active Question Answering Agent"、Christian Buck、Jannis Bulian、Massimiliano Ciaramita、Wojciech Gajewski、Andrea Gesmundo、Neil Houlsby 和 Wei Wang，NIPS，
• "Learning Recurrent Span Representations for Extractive Question Answering", Kenton Lee、Shimi Salant、Tom Kwiatkowski、Ankur Parikh、Dipanjan Das 和 Jonathan Berant，ICLR，2017 年.
• 确定相同的问题
  • "Neural Paraphrase Identification of Questions with Noisy Pretraining"、Gaurav Singh Tomar、Thyago Duque、Oscar Täckström、Jakob Uszkoreit 和 Dipanjan Das，SCLeM，
• 2014
• “好问题！社区问答中的问题质量”，Sujith Ravi 和 Bo Pang 以及 Vibhor Rastogi 和 Ravi Kumar，ICWSM，2014 年.

Facebook AI Research's publication within 5 years¶

• 2018
• Embodied Question Answering, Abhishek Das、Samyak Datta、Georgia Gkioxari、Stefan Lee、Devi Parikh 和 Dhruv Batra，CVPR，2018
• Do explanations make VQA models more predictable to a human?, Arjun Chandrasekaran、Viraj Prabhu、Deshraj Yadav、Prithvijit Chattopadhyay 和 Devi Parikh，EMNLP，2018 年
• Neural Compositional Denotational Semantics for Question Answering, Nitish Gupta, Mike Lewis, EMNLP, 2018
• 2017
• 博士QA
  • Reading Wikipedia to Answer Open-Domain Questions, Danqi Chen, Adam Fisch, Jason Weston & Antoine Bordes, ACL, 2017.

Books¶

• 自然语言问答系统平装本 - Boris Galitsky (2003)
• 问题解答的新方向 - Mark T. Maybury (2004)
• 第 3 部分.5. 《牛津计算语言学手册》中的问答 - Sanda Harabagiu 和 Dan Moldovan（2005 年）
• 第 28 章语音和语言处理中的问答 - Daniel Jurafsky & James H. Martin (2017)

Links¶

• Building a Question-Answering System from Scratch— Part 1
• Qeustion Answering with Tensorflow By Steven Hewitt, O'REILLY, 2017
• Why question answering is hard

Contributing¶

欢迎投稿！ 阅读 contribution guidelines 第一的.

License¶

在法律允许的范围内， seriousmac （维护者）放弃了该作品的所有版权和相关或邻接权.