陷入黑暗：TikTok如何鼓勵自傷與理想化自殺行為

※內容警告

本報告含敏感內容，包含自傷與自殺內容，以及 TikTok 中與之相關的影像內容。若要與世界各地提供免費心理支持的熱線與組織單位聯繫，請參見國際特赦組織的《拯救世界時依然保持心理韌性（第二版）：給青年倡議者的身心健康指引》報告。

特別感謝

國際特赦組織想向我們的技術夥伴演算法透明度機構（Algorithmic Transparency Institute）（全國公民大會 National Conference on Citizenship）、人工智慧鑑識（AI Forensics），以及各個協助此次研究進行的團體單位、倡議人士與專家表達我們的謝意。感謝夥伴包含但不限於：Dr. S.Bryn Austin、Zeyna Awan、Dr Jerome Cleofas、Julien Cornebise、Kevin Gachee、In Touch Community Services、Lillian Kariuki、KERI: Caring for Activists、Dr Amanda Raffoul、Dr Marc Reyes、Aliya Shah、Talang Dalisay、Ian Wafula，以及 Youth for Mental Health Coalition。

國際特赦組織也特別感謝來自肯亞及菲律賓的兒童與年輕人，謝謝他們在調查過程中與我們分享經驗和想法。

執行摘要

「你是否曾盯著一瓶藥丸想著要不要過量服用？你是否想過就讓一切在此結束？你是否想過這能帶來的解脫和釋放所有的痛苦？」在一部背景是像素小人穿越迷宮的街機遊戲影片裡，由 AI 生成的聲音在這 30 秒的短片中吐出這些字句。一位 13 歲的 TikTok 用戶毫無感覺地滑過這些影片，瀏覽、重看，再往下一部滑去。這是因為它是模擬帳號，由國際特赦組織與演算法透明機構（Algorithmic Transparency Institute）模擬、探索有焦慮或憂鬱這類心理健康問題的兒童與青年，在數位環境中的現實體驗。每在 TikTok 的「為你推薦」頁面中停留一小時，就有愈多兒童和年輕人哭泣或獨自在黑暗角落的影片會「推薦」給這些年輕帳號，旁邊還加上憂鬱的文字內容，或者會有旁白在敘述他們受苦、自傷或自殺的想法。

過去 3 年 Covid-19 疫情爆發後，TikTok 成為了國際平台，吸引超過百萬的兒童與青年用戶。如今 TikTok 在兒童與青年的生活中無所不在，平台的「為你推薦」頁面和演算法推薦系統佔了非常重要的角色。《我的秘密好像被揭穿了：陷入TikTok的監視網路》（I feel exposed: Caught in TikTok’s Surveillance Web）與本報告一同發布，揭露 TikTok 為了獲利、維持商業模式運作，而使用深深帶有歧視與侵入性的監控模型。這份輔助報告聚焦在 TikTok 為了提高「用戶參與度」（user engagement）實施的用戶監控、設計決策與個人化推薦模式，及其在現實生活中對兒童與年輕人帶來的負面影響。

TikTok 的推薦系統演算法會分析用戶的興趣和參與模式，接著利用符合結果的新影片來讓用戶持續投入其中，將注意力緊扣在推薦內容上。TikTok 推薦系統的設計目的並非提供無止盡的憂鬱內容，但若年輕用戶對於心理健康相關的內容有明顯興趣，系統就會為了最大化用戶參與度而找到吻合的影片。假設這次為研究而建立的模擬帳號是真人，分辨影片內容是否相關的能力較佳，系統生成推薦的速度也會變快許多。

Luis*（化名）是菲律賓馬尼拉的 21 歲大學生，患有躁鬱症。他告訴國際特赦組織自己使用 TikTok 「為你推薦」頁面的經驗：

當我感到低落時，我覺得 80%（的內容）都與心理健康有關。跟漩渦一樣，它就像個無底洞。從一個影片開始，如果一部影片吸引你的注意，就算你沒有按喜歡，下次打開 TikTok 它也會再跳出來，而你因為覺得眼熟又看了一次，那部影片出現在推薦頁面的次數就會大幅上升。

報告奠基於理論研究、範圍調查、焦點團體討論，以及與超過 300 位兒童與年輕人進行訪談，他們來自全球社群媒體使用率最高的兩個國家（肯亞與菲律賓），同時與技術夥伴演算法透明度機構（Algorithmic Transparency Institute）與人工智慧鑑識（AI Forensic）配合進行技術調查，在肯亞與美國間建立超過 30 個模擬帳號進行比對，並在肯亞、菲律賓與美國進行人工手動實驗。

在自動調查的部分，研究員設立了 40 個模擬帳號，在心理健康議題的興趣上設定了 4 種不同的投入程度，來模擬 TikTok 上不同的兒童行為。每個帳號的設定時間為每天運作不超過 60 分鐘，持續 10 天。而這些帳號又會再分成不同組別，各有不同的瀏覽習慣，每個組別設有不同的關鍵字與標籤，瀏覽時會重看相關內容並跳過無關的內容。有 20 個帳號用來模擬 13 歲的美國兒童，另外 20 個帳號用來模擬肯亞用戶（當中有 11 個帳號納入分析）。13 歲這個年齡設定是用以檢視推薦系統在平台使用年齡的最低門檻上是如何運作，TikTok 也對該年齡設有青少年安全措施。另外的人工手動實驗由研究員進行，錄製一小時的瀏覽頁面情況，記錄研究員以新設立的帳號與「為你推薦」頁面的互動情形，年齡設定同樣為 13 歲。

國際特赦組織的研究顯示，TikTok 在社群競爭對手所採用的設計決策及參與度策略中，選擇最大化成癮性，造成少數社群媒體龍頭為了競爭最多用戶和最高參與率而爭相沉淪。即便早有大量科學證據顯示社群媒體成癮有重大風險，且對兒童與年輕人健康的影響尤其嚴重，包含睡眠與注意力問題，甚至出現與藥物成癮者類似的大腦結構變化，TikTok 仍選擇採用此策略。

除了這種成癮特性，TikTok 的「為你推薦」頁面也會對原本已有心理健康問題的兒童和年輕人造成額外風險。由國際特赦組織與演算法透明度機構和人工智慧鑑識進行的一項技術調查顯示，發現在TikTok「為你推薦」頁面上瀏覽心理健康相關內容的兒童與青年，很容易被吸進進潛在有害內容的無底洞當中，包含浪漫化與鼓勵憂鬱思想、自傷及自殺的影片等。

在使用 TikTok 5 至 6 小時後，推薦給這些肯亞與美國 13 歲模擬用戶的內容中，幾乎每兩部影片就有一部與心理健康有關，且都具潛在有害風險，與對心理健康議題沒有興趣的用戶相比，心理健康相關影片出現的數量整整高出約 10 倍之多。以人工審核的方式觀看推薦給這些模擬帳號共 540 部影片後，發現第一小時到第 10 小時（連續 10 天各一小時）的瀏覽過程裡，潛在有害內容的比例從 17％ 穩定上升至 44％。

國際特赦組織也發現，研究員手動重播推薦給肯亞、菲律賓和美國 13 歲用戶模擬帳號的心理健康影片時，出現的「無底洞漩渦」變得更加嚴重，潛在有害內容的比例甚至更高。在推薦給菲律賓帳號的內容中，第一個標記 #depresionanxiety 的影片出現在瀏覽「為你推薦」頁面後的第 67 秒，內容是關於一位憂鬱的小男孩；到了第 12 分鐘後，有 58％ 的推薦內容與焦慮、憂鬱、自傷和／或自殺有關，並被歸類為對已有心理健康問題的兒童和年輕人有潛在危害。

在美國的人工實驗調查中，第四部影片開始出現#paintok的標籤，影片文字寫著「你發現自己從未被擺在第一位，始終只能填補他人的空白，直到他們再也不需要你」。從第20部影片之後（3分鐘內），57％的影片內容都與心理健康議題相關，一小時內至少有9部美化、正常化和鼓勵自殺行為的影片。

在人工手動實驗中，肯亞的帳號頁面經過最長的時間才充斥憂鬱內容，但一達到門檻（實驗進行 20 分鐘後），接下來的 40 分鐘內有 72％ 的推薦影片與心理健康困境有關，當中至少提到5次自殺思想或創作者的死亡願望。沒有任何一個心理健康相關影片是由心理衛生專家或受認可的心理醫療機構發布。

14 歲的英國女孩茉莉・羅素（Molly Russell）在瀏覽了 Instagram 的憂鬱內容後，死於自傷行為，這個案例用最悲慘的方式展現出，社群媒體推薦含有大量討論、正常化或甚至浪漫化憂鬱思想、自我傷害和自殺的內容給已有憂鬱症狀的年輕人，很可能加劇年輕用戶原先就有的心理健康問題，也可能在真實世界造成有害、甚至是毀滅性的後果。這些介入個人思想與情緒的行為，已經構成對思想自由與健康權的侵害。

鑑於兒童和年輕人在情緒上較為脆弱已得到充分紀錄，先前也有公民社會與媒體報導提供大量證據，TikTok 應當了解並已認知到自己的演算法推薦系統很可能讓年輕用戶因潛在有害的貼文而陷入「無底深淵」。

為履行《聯合國工商企業與人權指導原則》（UN Guiding Principles on Business and Human Rights）所列舉之責任，TikTok 應進行適當的人權盡職調查，識別並預防、減輕實質或潛在的危害，並負起責任。作為人權盡職調查的一部份，隨著媒體、公民社會組織和國際機構提供愈來愈多的證據，顯示演算法推薦系統存在系統性的風險，企業應辨別固有的平台設計對於兒童與年輕人所造成的風險，並採取措施減輕其影響。TikTok 在回應國際特赦組織的提問時，將解方導向一系列的單獨措施，如將某些搜尋內容重新導向可提供幫助的資源、提供「重新整理」推薦內容的選項，以及與心理衛生支持組織進行合作。TikTok 的回應顯示他們缺乏處理這些系統性風險的適當程序，且企業的措施與安全工具不足以解決報告中所指出的嚴重系統性風險。

然而，單一公司的個別行動並不足以讓根本不符人權的商業模式踩煞車（尤其是侵犯隱私權、思想自由與健康權的模式）。因此，各國必須根據國際人權法與國際標準對 TikTok 等「科技巨頭」進行有效監管，以保護並實現兒童與年輕人的權利。

國際特赦組織呼籲 TikTok 立即實施以下建議：

• 轉型為尊重權利的商業模式，不再以侵入式資料追蹤為基礎。作為踏出的第一步，TikTok 必須確保其人權盡職調查政策與程序解決其商業模型對人權所造成的系統性廣泛衝擊，尤其是隱私權、思想自由與健康權的侵害。
• TikTok 必須停止以犧牲用戶的健康權及其他人權來最大化「用戶參與度」。TikTok 在其人權盡職調查程序中，必須與包含兒童與年輕族群在內的用戶以及獨立專家合作，辨別出引發平台成癮性質和比較心態的設計元素，並以著重在「安全設計」與著重於兒童最佳利益的使用者體驗取而代之。
• 為尊重隱私並提供用戶實質的選擇與控制權，應該讓零用戶分析的社群媒體生態不再只是選項，而是成為常態。因此，TikTok 和其他網路平台不應將形塑內容的演算法建立在預設用戶分析（例如基於觀看時間或參與度）之上，並且平台必須提供事先知情同意權讓用戶在事前選擇加入（opt-in），而非事後選擇退出（opt-out），且用戶的事先知情同意應在自由、明確、知情（包含使用兒童能理解的語彙）且沒有模糊解釋空間的條件下給予。
• TikTok 必須停止以達到「個人化」內容推薦與廣告為目的，蒐集私人個人資料與利用用戶觀看時間和參與度來推斷其興趣、情緒或身心狀態。TikTok 應讓用戶透過刻意的提示來自行表達感興趣的內容（例如若用戶有意願接受個人化內容推薦，可以請用戶輸入感興趣的主題），且只在徵得用戶的自由知情同意時調整推薦內容，而非以普遍監控的機制來根據用戶的興趣調整推薦內容。

為實現兒童與年輕人的權利，各國必須：

 

• 防止公司以個人「同意」蒐集、處理或分享用戶的個人資料用於定向內容、行銷或廣告目的，作為使用公司服務之條件。
• 根據國際人權法和國際標準對社群媒體公司進行監管，確保網路平台形塑內容的演算法不會以預設用戶分析為基礎，以用戶提供事先知情同意（opt-in）作為預設選向，而非事後選擇退出（opt-out），並且應徵求用戶自由、明確、知情且沒有模糊解釋空間的同意。必須禁止以個人化廣告和內容推薦為目的，蒐集與使用推斷而得的敏感個人資料（例如：基於觀看時間和按讚內容的推薦，可推斷出敏感資訊）。