自變量x開n次方余弦函數(shù)不定積分法教你用神經(jīng)網(wǎng)絡(luò)解高等數(shù)學方程！

作者：弗朗索瓦查頓，紀堯姆蘭普爾，

翻譯：馮玉

校對：吳金娣

這篇文章是關(guān)于2650字,的，我建議閱讀10分鐘.

介紹了一種利用深度學習中的神經(jīng)機器翻譯(NMT)技術(shù)求解方程問題的方法和系統(tǒng)。該系統(tǒng)在更廣泛的領(lǐng)域展示了深度學習的潛力。

標簽:神經(jīng)網(wǎng)絡(luò)

臉書人工智能建立了第一個可以使用符號推理來解決高級數(shù)學方程的人工智能系統(tǒng)。通過開發(fā)一種新的方法來將復(fù)雜的數(shù)學表達式表達為語言，然后將解決方案視為序列到序列的神經(jīng)網(wǎng)絡(luò)翻譯問題，我們構(gòu)建了一個在解決積分問題和一階和二階微分方程方面優(yōu)于傳統(tǒng)計算系統(tǒng)的系統(tǒng)。

此前，這類問題被認為是深度學習模型無法解決的，因為求解復(fù)雜方程需要的是精度而不是近似。神經(jīng)網(wǎng)絡(luò)擅長通過近似來獲得成功，例如，識別特定模式的像素很可能是一只狗的圖片，或者一種語言的句子特征與另一種語言的句子特征相匹配。解復(fù)雜方程還需要處理符號數(shù)據(jù)的能力，比如方程b-4ac=7中的字母。這樣的變量可以& amp#039;不能直接相加、相乘或相除。僅通過使用傳統(tǒng)的模式匹配或統(tǒng)計分析，神經(jīng)網(wǎng)絡(luò)局限于極其簡單的數(shù)學問題。

我們的解決方案是一種全新的方法，可以把復(fù)雜的方程當作語言中的句子來處理。這使我們能夠充分利用已被證明在神經(jīng)機器翻譯(NMT)中有效的技術(shù)，并通過訓(xùn)練模型將問題轉(zhuǎn)化為解決方案。為了實現(xiàn)這種方法，需要開發(fā)一種方法，將現(xiàn)有的數(shù)學表達式分解成相似的語言語法，并生成超過100M配對方程和解的大規(guī)模訓(xùn)練數(shù)據(jù)集。

當有成千上萬個未知表達式時(這些方程不是訓(xùn)練數(shù)據(jù)的一部分)，我們的模型比傳統(tǒng)的代數(shù)方程求解軟件，如Maple、Mathematica和Matlab，表現(xiàn)出更快的速度和更高的精度。這項工作不僅表明深度學習可以用于符號推理，還表明神經(jīng)網(wǎng)絡(luò)具有解決各種任務(wù)的潛力，包括與模式識別無關(guān)的任務(wù)。我們將分享我們的方法和生成相似訓(xùn)練集的方法的細節(jié)。

擅長符號數(shù)學的人往往依靠一種直覺。他們對給定問題的解應(yīng)該是什么有一種感覺，比如觀察積分函數(shù)中是否有余弦，這意味著它的積分中可能有正弦，然后做必要的工作來證明這種直覺。這和代數(shù)要求的直接計算不同。通過訓(xùn)練模型來檢測符號方程中的模式，我們認為神經(jīng)網(wǎng)絡(luò)可以拼湊出導(dǎo)致其解決方案的線索，這大致類似于人類對復(fù)雜問題的直覺方法。因此，我們開始探索作為NMT問題的符號推理。在該模型中，模型可以根據(jù)問題實例及其匹配解預(yù)測可能的解。

作為一個例子，我們的方法將展示如何將左邊的現(xiàn)有等式擴展到表達式樹，該表達式樹可以用作翻譯模型的輸入。對于這個方程，模型的前序輸入為：(加，乘，3，冪，x，2，減，余弦，乘，2，x，1)。

為了使用神經(jīng)網(wǎng)絡(luò)實現(xiàn)這一應(yīng)用，我們需要一種新穎的方式來表達數(shù)學表達式。NMT系統(tǒng)通常是序列到序列(seq2seq)模型，使用單詞序列作為輸入，輸出新的序列，從而允許它們翻譯完整的句子，而不是單個單詞。我們使用兩步法將這種方法應(yīng)用于符號方程。首先，我們開發(fā)了一個過程來有效地分解方程，并將分解的方程排列在樹結(jié)構(gòu)的分支中，然后將樹結(jié)構(gòu)擴展為與seq2seq模型兼容的序列。常數(shù)和變量充當樹葉，而運算符(如加號和減號)和函數(shù)是連接樹的分支的內(nèi)部節(jié)點。

雖然它看起來可能不像傳統(tǒng)的語言，但以這種方式組織表達式可以為方程提供類似語言的語法，其中數(shù)字和變量是名詞，運算符充當動詞。我們的方法使NMT模型能夠?qū)W習將給定的樹結(jié)構(gòu)問題的模式與其匹配方程(也表示為樹)的解對齊，這類似于將語言的句子與確認的翻譯進行匹配。這種方法使我們能夠使用強大的現(xiàn)成的seq2seq NMT模型來用符號序列替換單詞序列。

一種應(yīng)用NMT的新方法

建立這個數(shù)據(jù)集需要我們整合一系列的數(shù)據(jù)清洗和生成技術(shù)。比如我們的符號積分方程，我們把翻譯方法反過來了：不是生成問題，求其解，而是生成解，求其問題(其導(dǎo)數(shù))，這是一件容易得多的事情。這種從解決方案中產(chǎn)生問題的方法(有時被工程師稱為陷阱問題)使得創(chuàng)建數(shù)百萬個整數(shù)示例變得可行。我們的翻譯啟發(fā)數(shù)據(jù)集包括大約1億個成對的例子，包括積分問題和一階和二階微分方程的子集。

我們使用這個數(shù)據(jù)集來訓(xùn)練seq2seq transformer模型，該模型具有8個注意頭和6個層。t

我們的模型將左側(cè)的方程式（Mathematica和Matlab都無法求解的方程式）作為輸入，并且能夠在不到一秒鐘的時間內(nèi)找到正確的解決方案（如上圖所示）。

將生成的解決方案與參考解決方案進行比較，使我們能夠輕松，準確地驗證結(jié)果。但是我們的模型也為給定方程生成了多個解。這類似于機器翻譯中發(fā)生的事情，在機器翻譯中，有很多翻譯輸入句子的方法。

AI方程求解器的下一步是什么

目前，我們的模型適用于單變量問題，我們計劃將其擴展為多變量方程。這種方法還可以應(yīng)用于其他基于數(shù)學和邏輯的領(lǐng)域，例如物理領(lǐng)域，從而有可能開發(fā)出可幫助科學家進行廣泛工作的軟件。

但是我們的系統(tǒng)對于神經(jīng)網(wǎng)絡(luò)的研究和使用具有更廣泛的意義。通過在以前認為不可行的地方發(fā)現(xiàn)一種使用深度學習的方法，這項工作表明其他任務(wù)可以從人工智能中受益。無論是通過將NLP技術(shù)進一步應(yīng)用到傳統(tǒng)上與語言沒有關(guān)聯(lián)的領(lǐng)域，還是通過在新的或看似無關(guān)的任務(wù)中對模式識別進行更開放的探索，神經(jīng)網(wǎng)絡(luò)的局限性可能來自想象力的局限，而不是技術(shù)。

撰寫者

弗朗索瓦·沙頓 Facebook AI客座企業(yè)家

紀堯姆·蘭普爾 Facebook AI研究科學家

原文

Using neural networks to solve advanced mathematics equations

原文鏈接：

https://ai.facebook.com/blog/using-neural-networks-to-solve-advanced-mathematics-equations/

編輯：于騰凱

校對：林亦霖

譯者簡介

馮羽，算法工程師。負責設(shè)計個人或企業(yè)信用風險評估算法、市場風險評估算法、仿真優(yōu)化算法等。數(shù)據(jù)派志愿者。

—完—

關(guān)注清華-青島數(shù)據(jù)科學研究院官方微信公眾平臺“ AI數(shù)據(jù)派 ”及姊妹號“ 數(shù)據(jù)派THU ”獲取更多講座福利及優(yōu)質(zhì)內(nèi)容。