本公開總體上涉及自然語言處理。更具體地,本公開涉及用于學習組合顯式多樣性條件以用于有效問答生成的系統(tǒng)和方法。
背景技術:
1、問答生成(qag)是一種有效的數(shù)據擴充技術,可以提高問答系統(tǒng)的準確性,特別是在資源不足的領域。qag系統(tǒng)通常在給定上下文(諸如段落或文檔)的情況下生成多組問答(qa)對。盡管最近的預訓練和基于大型語言模型的qag方法已經取得了顯著進展,但是它們繼續(xù)表現(xiàn)出各種問題。
技術實現(xiàn)思路
1、本公開提供了一種用于學習組合顯式多樣性條件以用于有效的問答生成的系統(tǒng)和方法。
2、在第一實施例中,一種方法包括使用電子設備的至少一個處理設備,使用訓練的問題類型預測模型預測文檔的每個小節(jié)的問題類型,每個小節(jié)包括文檔的不同部分。該方法還包括使用至少一個處理設備,使用訓練的問答生成模型來生成多個問答對,該訓練的問答生成模型接收預測的問題類型和文檔作為輸入。每個問答對包括(i)具有與預測問題類型中的一個相對應的類型并且與對應于該類型的小節(jié)中的內容相關聯(lián)的問題,以及(ii)對問題的答案。該方法還包括使用至少一個處理設備輸出問答對以用于訓練問題回答模型。在第一實施例的一些方面,訓練的問答生成模型還接收位置和實體信息作為輸入。
3、在第二實施例中,電子設備包括至少一個處理設備,該至少一個處理設備被配置為使用訓練的問題類型預測模型來預測文檔的每個小節(jié)的問題類型,每個小節(jié)包括文檔的不同部分。該至少一個處理設備還被配置為使用訓練的問答生成模型來生成多個問答對,該模型接收預測的問題類型和文檔作為輸入。每個問答對包括(i)具有與預測問題類型中的一個相對應的類型并且與對應于該類型的小節(jié)中的內容相關聯(lián)的問題,以及(ii)對問題的答案。至少一個處理設備還被配置為輸出問答對以用于訓練問題回答模型。在第二實施例的一些方面,經訓練的問答生成模型還接收位置和實體信息作為輸入。
4、在第三實施例中,一種非暫時性機器可讀介質包含指令,該指令在被執(zhí)行時使得電子設備的至少一個處理器使用訓練的問題類型預測模型來預測文檔的每個小節(jié)的問題類型,每個小節(jié)包括文檔的不同部分。非暫時性機器可讀介質還包含指令,該指令在被執(zhí)行時使至少一個處理器使用訓練的問答生成模型來生成多個問答對,該模型接收預測的問題類型和文檔作為輸入。每個問答對包括(i)具有與預測問題類型中的一個相對應的類型并且與對應于該類型的小節(jié)中的內容相關聯(lián)的問題,以及(ii)對問題的答案。非暫時性機器可讀介質還包含指令,該指令在被執(zhí)行時使至少一個處理器輸出問答對以用于訓練問題回答模型。在第三實施例的一些方面,訓練的問答生成模型還接收位置和實體信息作為輸入。
5、根據以下附圖、描述和權利要求,其他技術特征對于本領域技術人員而言可以是顯而易見的。
6、在進行下面的詳細描述之前,闡述貫穿本專利文件使用的某些詞語和短語的定義可能是有利的。術語“發(fā)送”、“接收”和“通信”以及其派生詞涵蓋直接和間接通信兩者。術語“包括”和“包含”及其派生詞意指包括但不限于。術語“或”是包含性的,意指和/或。短語“與……相關聯(lián)”以及其派生詞意指包括、被包括在……內、與……互連、包含、被包含在……內、連接到或與……連接、耦合到或與……耦合、可與……通信、與……協(xié)作、交錯、并置、接近于、綁定到或與……綁定、具有、具有……的性質、具有到或與……的關系等。
7、此外,下面描述的各種功能可以由一個或多個計算機程序實現(xiàn)或支持,每個計算機程序由計算機可讀程序代碼形成并體現(xiàn)在計算機可讀介質中。術語“應用”和“程序”是指適于在合適的計算機可讀程序代碼中實現(xiàn)的一個或多個計算機程序、軟件組件、指令集、過程、功能、對象、類、實例、相關數(shù)據或其一部分。短語“計算機可讀程序代碼”包括任何類型的計算機代碼,包括源代碼、目標代碼和可執(zhí)行代碼。短語“計算機可讀介質”包括能夠由計算機訪問的任何類型的介質,諸如只讀存儲器(rom)、隨機存取存儲器(ram)、硬盤驅動器、壓縮盤(cd)、數(shù)字視頻盤(dvd)或任何其他類型的存儲器。“非暫時性”計算機可讀介質排除傳輸暫時性電信號或其他信號的有線、無線、光學或其他通信鏈路。非暫時性計算機可讀介質包括其中可以永久地存儲數(shù)據的介質以及其中可以存儲并且稍后重寫數(shù)據的介質,諸如可重寫光盤或可擦除存儲器設備。
8、如這里所使用的,諸如“具有”、“可以具有”、“包括”或“可以包括”特征(如數(shù)字、功能、操作或諸如部件的組件)的術語和短語指示該特征的存在,而不排除其他特征的存在。此外,如這里所使用的,短語“a或b”、“a和/或b中的至少一個”或“a和/或b中的一個或多個”可以包括a和b的所有可能的組合。例如,“a或b”、“a和b中的至少一個”以及“a或b中的至少一個”可以指示(1)包括至少一個a、(2)包括至少一個b或(3)包括至少一個a和至少一個b中的全部。此外,如這里所使用的,術語“第一”和“第二”可以修飾各種組件而不管重要性如何,并且不限制組件。這些術語僅用于將一個部件與另一個部件區(qū)分開。例如,第一用戶設備和第二用戶設備可以指示彼此不同的用戶設備,而不管設備的順序或重要性如何。在不脫離本公開的范圍的情況下,第一部件可以表示為第二部件,反之亦然。
9、應當理解,當元件(諸如第一元件)被稱為(可操作地或通信地)與另一元件(諸如第二元件)“耦接”/“耦接到”或“連接到”另一元件(諸如第二元件)時,它可以直接地或經由第三元件與另一元件耦接或連接到另一元件。相反,將理解的是,當元件(諸如第一元件)被稱為與另一元件(諸如第二元件)“直接耦接”或“直接連接”或“直接連接”時,沒有其他元件(諸如第三元件)介于該元件和該其他元件之間。
10、如這里所使用的,短語“被配置(或設置)為”可以根據情況與短語“適合于”、“具有……的能力”、“被設計為”、“被適配為”、“被制造為”或“能夠”互換使用。短語“被配置(或設置)為”基本上不意味著“專門在硬件中設計為”。相反,短語“被配置為”可以表示設備可以與另一設備或部分一起執(zhí)行操作。例如,短語“被配置(或設置)為執(zhí)行a、b和c的處理器”可以表示可以通過執(zhí)行存儲在存儲器設備中的一個或多個軟件程序來執(zhí)行操作的通用處理器(諸如cpu或應用處理器)或用于執(zhí)行操作的專用處理器(諸如嵌入式處理器)。
11、這里使用的術語和短語僅用于描述本公開的一些實施例,而不是限制本公開的其他實施例的范圍。應當理解,除非上下文另有明確說明,否則單數(shù)形式“一”、“一個”和“該”包括復數(shù)指代。這里使用的所有術語和短語(包括技術和科學術語和短語)具有與本公開的實施例所屬領域的普通技術人員通常理解的含義相同的含義。將進一步理解,術語和短語(諸如在常用詞典中定義的那些術語和短語)應被解釋為具有與其在相關領域的上下文中的含義一致的含義,并且將不以理想化或過度正式的意義來解釋,除非在此明確地如此定義。在一些情況下,這里定義的術語和短語可以被解釋為排除本公開的實施例。
12、根據本公開的實施例的“電子設備”的示例可以包括智能電話、平板個人計算機(pc)、移動電話、視頻電話、電子書閱讀器、臺式pc、膝上型計算機、上網本計算機、工作站、個人數(shù)字助理(pda)、便攜式多媒體播放器(pmp)、mp3播放器、移動醫(yī)療設備、相機或可穿戴設備(諸如智能眼鏡、頭戴式設備(hmd)、電子服裝、電子手鐲、電子項鏈、電子配件、電子紋身、智能鏡子或智能手表)中的至少一個。電子設備的其他示例包括智能家用電器。智能家用電器的示例可以包括電視、數(shù)字視頻盤(dvd)播放器、音頻播放器、冰箱、空調、吸塵器、烤箱、微波爐、洗衣機、烘干機、空氣凈化器、機頂盒、家庭自動化控制面板、安全控制面板、tv盒(諸如samsung?homesync、appletv或google?tv)、具有集成數(shù)字助理(諸如samsunggalaxy?home、apple?homepod或amazon?echo)的智能揚聲器或揚聲器、游戲控制臺(諸如xbox、playstation或nintendo)、電子詞典、電子鑰匙、攝像機或電子相框中的至少一個。電子設備的其他示例包括各種醫(yī)療設備(諸如各種便攜式醫(yī)療測量設備(如血糖測量設備、心跳測量設備或體溫測量設備)、磁資源血管造影(mra)設備、磁資源成像(mri)設備、計算機斷層掃描(ct)設備、成像設備或超聲設備)、導航設備、全球定位系統(tǒng)(gps)接收器、事件數(shù)據記錄器(edr)、飛行數(shù)據記錄器(fdr)、汽車信息娛樂設備、航行電子設備(諸如航行導航設備或陀螺羅盤)、航空電子設備、安全設備、車載頭單元、工業(yè)或家用機器人中的至少一個。自動取款機(atms)銷售點(pos)設備或物聯(lián)網(iot)設備(諸如燈泡、各種傳感器、電表或燃氣表、噴灑器、火災報警器、恒溫器、路燈、烤箱、健身器材、熱水箱、加熱器或鍋爐)。電子設備的其他示例包括一件家具或建筑物/結構的至少一部分、電子板、電子簽名接收設備、投影儀或各種測量設備(諸如用于測量水、電、氣或電磁波的設備)。注意,根據本公開的各種實施例,電子設備可以是上面列出的設備中的一個或組合。根據本公開的一些實施例,電子設備可以是柔性電子設備。這里公開的電子設備不限于上面列出的設備,并且可以包括取決于技術發(fā)展的新電子設備。
13、在以下描述中,根據本公開的各種實施例,參考附圖描述電子設備。如這里所使用的,術語“用戶”可以表示使用電子設備的人或另一設備(諸如人工智能電子設備)。
14、貫穿本專利文件可以提供對其他某些詞語和短語的定義。本領域普通技術人員應當理解,在許多情況下(如果不是大多數(shù)情況下),這樣的定義適用于這樣定義的單詞和短語的先前以及將來的使用。
15、本技術中的描述都不應被解讀為暗示任何特定元件、步驟或功能是必須包括在權利要求范圍內的必要元件。專利主題的范圍僅由權利要求限定。此外,沒有任何權利要求旨在援引35?u.s.c.§112(f),除非確切的詞語“用于……的裝置”后面跟著分詞。在權利要求內使用任何其他術語,包括但不限于“機構”、“模塊”、“設備”、“單元”、“部件”、“元件”、“構件”、“裝置”、“機器”、“系統(tǒng)”、“處理器”或“控制器”,被申請人理解為是指相關領域技術人員已知的結構,并且不旨在援引35u.s.c.§112(f)。