用製作學習歷程檔案來檢驗ChatGPT（中）
2023/3/15
國立臺灣師範大學附中 洪逸文老師
III. ChatGPT所製作的學習歷程檔案會有什麼問題
雖然ChatGPT有強大的整合寫作能力，但若同學利用它直接產生學習歷程檔案，這些文本是否可會被看出究竟是程式或人類產生的？且讓我們用ChatGPT來自我檢驗吧。輸入「對於一段文本是否是由ChatGPT產製的，可以通過哪些方法進行判斷」後，它提供了底下的說法：
對於一段文本是否是由ChatGPT產製的，可以通過以下一些方法進行判斷：
文章風格：由於ChatGPT是基於大量文本訓練而來的，因此它生成的文章風格可能比較固定，且會有一定的模式和規律，而不太會像人類書寫那樣存在個性化、情感化等方面的變化。
邏輯結構：ChatGPT生成的文本通常具有清晰的邏輯結構和組織方式，而不太會出現一些常見的語言失誤或語法錯誤，例如拼寫錯誤、標點符號錯誤等。
專業領域：ChatGPT可以在多個領域進行訓練，但由於其模型訓練的廣泛性，它在某些專業領域的文章生成方面可能會有一些限制和不足。
上述的三個面向中，最容易被發現問題的應是「文章風格」與「專業領域」這兩個面向。尤其是那些在學習中缺乏實際經驗或習得相關知識的同學，常無法輸入較完整的問題指令，導致ChatGPT寫出來的文本內容，會有相似格式且內容空洞的樣態，另外，在其文字敘述上也會有形容詞偏多的現象。接下來我們將以許多學校開設的地方學課程為例進行說明，因此類課程常會配合相對的實察，所以同學常會繳交相關的實察報告作為課程學習成果。
當輸入「試擬一份台北迪化街的實察報告」後，ChatGPT提供了以下的內容：
迪化街是台灣歷史最悠久、最有代表性的傳統市場之一。走在迪化街，可以感受到濃厚的人文氣息和豐富的歷史文化。我在實地察看迪化街時，發現以下幾點：
首先，迪化街擁有豐富的傳統工藝文化，如木雕、銅鑼、糖果、臘味等，吸引著許多遊客前來品嘗和購買。在逛迪化街的過程中，我深深體會到這些傳統手工藝品的獨特之處，也讓我更加珍惜這些珍貴的文化遺產。
其次，迪化街也是一個充滿多元文化的地方。從各種傳統的華人文化，到不同族群的移民文化，都可以在迪化街上找到。例如，有很多廟宇供奉著不同的神祇，如大龍峒保安宮、龍山寺等，也有不同國家的小吃店、文化品店等，這些多元文化的存在也豐富了迪化街的特色。
最後，迪化街的空間規劃也十分值得關注。在保留傳統特色的同時，迪化街也引進了現代的設計元素，例如庭院式的商場、寬敞的通道等，讓整個商圈更加舒適和宜人。
『綜合以上所述，迪化街不僅是台灣重要的文化遺產，也是一個多元文化融合的代表性場所。這次實地觀察讓我更深入了解台灣文化和傳統，也讓我更加珍惜我們的歷史和文化。』
上面文字敘述除了內容偏空泛外，那些畫底線的文字是較明顯不合理的地方，特別是保安宮與龍山寺根本不在迪化街上。此外，最後一段加了『』的斜體字，是同學們常見的心得敘述方式，內容相當平淡且空洞，無法呈現學習者在經歷迪化街實察後，有何「自己的」所關注的事物或觀點。
為何會出現這樣的問題呢？著名的AI專家也是紐約大學教授Gary Marcus提出兩種看法＊3，首先，他認為由於ChatGPT所使用的是大量的文本數據作為依據，來學習實體（entity）和其性質/屬性（property）的連結，而真實世界的知識在某種程度上可以看作是關於某些特定實體的特定性質（Knowledge is in part about specific properties of particular entities）。以上述的迪化街為例，迪化街這個實體雖常常會連結「歷史悠久」、「傳統」這些性質，但精確來說，迪化街並非是個「市場」，而是集結南北雜貨的「商行/市集」。這同時也意味著ChatGPT有時無法精確掌握實體及其性質之間的關係，因為它僅是透過閱讀而非真實地了解世界運作方式。
此外，ChatGPT仰賴嵌入（embedding）的技術，透過尋找同義詞或意義更廣泛的詞，來進行取代相關內容的剪切和粘貼。Marcus認為這種取代模式，容易讓內容與真實偏差愈來愈遠。它提供的文本乍看之下好像有些道理，是因為這些拼貼的內容通常來自真實文章，且存在一些模糊（但常是不相關）的關係。就像是上述的例子中，迪化街與傳統手工藝品，如木雕、銅鑼、糖果、臘味等的關係。
對此Marcus還分享一個有趣的例子，有人請ChatGPT寫一篇關於「吉拿棒(churros)用於人類腎臟移除手術」的文章，而實際上，吉拿棒是一種常見於夜市、電影院的小吃。但ChatGPT所提供的內容卻表示「吉拿棒尺寸較小，用於手術中能更為精準且更容易控制，也降低併發症的機率，整體讓病患的情況改善。」關於「用於手術中能更精準」的敘述，原本可能是連結真實情況中使用某個體積較小的物件，因手術時使用體積較小的器具，的確能有較高精準度。所以當ChatGPT在蒐尋、拼貼答案時，是去找出其中具有相互重疊的屬性來完成文章，但這個較小的物件究竟是微型開刀器具或吉拿棒，ChatGPT就無法精準掌握到其意義。
綜合以上所述，如果學生僅僅使用ChatGPT產生的內容作為學習歷程檔案，而沒有進一步的調整和查證，可能會出現內容雷同和敘述空洞等問題，甚至會存在嚴重的準確性問題。此外，也無法展現出學習的情境脈絡和自我學習的獨特性，這兩點也是學習歷程檔案中非常重要的部分。因此，在使用ChatGPT產生內容時，學生需要再進一步的編輯和確認，以確保內容的正確性和完整性，並展現出個人獨特的學習過程和成果。
*3: https://garymarcus.substack.com/p/how-come-gpt-can-seem-so-brilliant?utm_source=substack&utm_medium=email&utm_content=share
