OSU博士生Shuaichen Chang在ICLR 2023的论文Dr.Spider: A Diagnostic Evaluation Benchmark towards Text-to-SQL Robustness被录取为5%的口头报告！ http://t.cn/A6CgwqU4 最近，研究发现神经文本-转-SQL模型在自然语言问题转换为SQL查询中具有显著性能，但在特定任务扰动方面容易受到影响。我们提出一种基于Spider的综合稳健性基线测试方法，通过设计17种扰动来衡量模型稳健性。实验结果表明，即使最稳健的模型在最具挑战性的扰动上也表现不佳，性能下降50.7%。我们还为提高模型稳健性提供了见解。💡🕸️📉 #AI稳健性 #自然语言处理 #文本到SQL模型