11月3日，釘釘官宣AI魔法棒功能正式上線。

作為阿里系接入大模型的一個重量級應用，釘釘AI魔法棒已經在釘釘聊天、文檔、知識庫、腦圖、閃記、Teambition等17項產品、60+場景中開放測試。

我們近日就其中應用最多的聊天AI、文檔AI進行了一系列應用測試，感受了一下阿里大模型具體在協同辦公軟件中的應用體驗。

語意理解完整，有時也會“犯懶”

釘釘魔法棒是被直接作為一個功能模塊嵌入到釘釘頁面頂部，是實實在在以一個“魔法棒”的標識出現的，在正式上線后，釘釘魔法棒已經可以正常使用，不過，現在的釘釘AI魔法棒依然有明顯的「邀請測試」標識。

由此可見，釘釘認為這一功能還需要繼續進化。

作為通過大模型提供基礎能力的產品，釘釘AI魔法棒首先是一個Chatbot。

在測試過程中，我們首先讓它回答了哲學三問：你是誰？從哪里來？到哪里去？

面對這樣一個看似簡單的問題，釘釘魔法棒能夠get到這三個問題的字面意思，并給出一個相對正確的標準答案。

進一步交流后，我們發現，釘釘魔法棒也有“犯懶”的時候，當你問它“釘釘這款軟件怎么樣”時，它會先給你一個簡單的介紹，告訴你這是阿里旗下的企業協作平臺，擁有打卡簽到、審批、日志等一些功能。

但關于釘釘的更多功能介紹，則是會甩給你一份產品使用手冊，讓你自己查閱。

在一系列對話測試中，作為一個Chatbot，釘釘魔法棒已經有了不錯的理解能力和應答能力，你可以讓它幫你推薦幾款好用的線上辦公軟件、也可以讓它給你規劃一個美國七日游的出行攻略，甚至可以讓它就一些軟件進行簡單的功能對比。

優點是，釘釘魔法棒有問必答，而且大多數情況能夠給出一些建議；缺點是，它目前給出的答案并不一定是最優解，也不一定會有多詳細。

例如，釘釘魔法棒推薦的辦公軟件中，有一款軟件是“航天易辦公app”，我們并沒有在安卓手機應用商城中找到這款軟件，顯然這款軟件很難說是一款主流或好用的協作辦公軟件。

而在被問及“飛書是不是比釘釘更好用”時，釘釘魔法棒也會指出，“釘釘界面比飛書稍有繁瑣，有一些廣告和推銷信息，如果用戶注重簡潔無廣告，飛書確實更適合。”

作為測試版功能，釘釘也在生成的每個內容后增加了評價反饋極致，如果你對生成的內容不滿意，可以直接給差評，并從“內容不匹配”、“內容不完整”、“表達不合邏輯”、“存在事實性誤差”、“有敏感詞或觀點”五個選項中選出不滿意的原因。

由于接入了通義萬相，釘釘魔法棒也具備文生圖功能，不過，這一功能在聊天AI功能中無法正常啟用，需要手動切換到文檔AI功能中再使用。

依然有幻覺，辦公新助手

釘釘魔法棒的文檔AI功能，有點像微軟引入ChatGPT的word文檔，可以提供一些文生文、文生圖、文生表格等功能。

在文檔AI中，當我們讓釘釘魔法棒“為以大模型為主要討論內容的年會做一個半天的活動策劃”時，它會自動生成年會的各個環節設置，并就相應環節做出一兩句話的簡要介紹。

如果對生成的內容不滿意，你可以通過“換一換”功能，讓釘釘魔法棒根據這個需求重新生成一個策劃。

根據半天活動需求，釘釘魔法棒原本生成了8個環節，而且生成的“主題演講”和“主題論壇”環節上其實是重復的，除此以外，生成的其他內容與主題演講內容加起來，已經遠超出半天所能涵蓋的內容。

因而，在文檔AI中通過釘釘魔法棒生成的內容更多是為我們提供創意和思路，最終生成的內容在應用時還需要二次調整。

不過，為了測試釘釘魔法棒的AI能力，我們在此基礎上也嘗試讓它“繼續寫”了三次，最終它給出了20個環節，但其中生成的部分環節多有重復，這也是當下生成式AI仍然存在的“幻覺”問題的體現。

除此以外，“文生文”功能中，還可以對生成的內容進行諸如潤色內容、豐富內容、精簡內容、改寫語氣等調整，這些功能對于學生寫論文或員工做匯報，尤其是文案創作者在改文案時，甲方提出諸如改語氣、豐富或精簡內容明確需求時，會有一定幫助。

隨后我們又讓釘釘魔法棒“根據前面的大模型年會制作一張議程表格”（流程經調整），得到了如下圖右側的這張表格：

可以看到的，表格和流程并沒有完全對齊，而且生成的是一整天的活動議程。

最后，我們還通過釘釘魔法棒為“大模型年會”生成了一張主題圖片，從而完成了這次“大模型年會”的文案策劃。

值得注意的是，釘釘為文檔AI加入了一個特別的“排版美化”功能，通過這一功能，你可以直接為你的word文檔套用釘釘事先制作好的幾個模板，來對內容進行整體美化。

小結

整體測試下來，我們有以下幾點感受：

1、釘釘魔法棒生成內容的邏輯性已經很不錯，但對內容的理解能力，尤其是隱喻、比喻等更深層含義的理解能力依然需要繼續優化；

2、AI大模型正在改變內容生產模式，新的內容生產模式中，我們更多需要考慮的是如何提供精準的提示詞，讓AI為你分擔重復、繁瑣的工作，例如擬一個年會流程、做一個簡單的活動策劃等；

3、現在AI生成的內容更多是為我們提供框架和靈感，還做不到一步到位，給你一個完整的作品，因而現在的AI更多是被定義為copilot。

對于大多數人來說，初次體驗與AI合作會很吃力，不知道它的能力邊界在哪里，也不知道如何讓它為我們生成我們想要的內容，但AI終究是大勢所趨，盡量將AI作為工具、融入工作中，是避免被AI代替最好的方式。