论文推介｜从符号到嵌入：计算社会科学中的“表示双城记”
2021/10/7 22:00:00 科学传播人

     导读

     “计算社会科学(Computational Social Science, CSS)”是新兴且快速发展的学科领域。数据表示则是计算机处理和分析数据的基础，但要如何“表示”庞杂无序的数据，以高效且准确地从数据中挖掘社会意义？

     本文对计算社会科学中的数据表示进行系统地调研，将现有表示形式分为“符号表示(symbol-based representation)”和“嵌入表示(embedding-based representation)”两类，并分别介绍这两种表示形式对文本数据和网络数据的具体表示方法。

     在此基础上，本文调研近十年来涉及CSS研究的六大顶级国际期刊和会议发表的400多篇论文，发现嵌入表示的研究比例正逐步提高。最后，本文分析了两种表示方法的优劣，并指出未来的可能发展方向。此外，本文附录按照社会科学子学科对于所分析的400多篇文献进行详尽分类与介绍，对于各领域的研究者是极好的参考。

     作者简介

     本文是清华大学计算机系自然语言处理与社会人文计算实验室与清华大学新闻与传播学院金兼斌教授课题组的合作成果。具体成员包括：清华大学计算机科学与技术系教授孙茂松、副教授刘知远，清华大学新闻与传播学院教授金兼斌、博士后陈慧敏，北京邮电大学计算机学院助理教授杨成、清华大学计算机科学与技术系研究助理张轩铭。

     本文今年六月发表于英文期刊《Journal of Social Computing》，由芝加哥大学James Evans教授、哥廷根大学傅晓明教授(欧洲科学院院士)和清华大学罗家德教授共同担任期刊主编。

     本文作者分别来自新闻与传播学科和计算机科学。本文的发表也体现着社会科学与计算机科学深度交叉融合的努力。

     内容摘要

     01

     两种表示

     所谓表示，是指从现实世界转换成计算机能够处理的数据。每个特定的对象(如单词或网络中的节点)可以通过这个表示记录其特征。

     传统的表示方式是基于符号，本文将这类表示定义为“显式且可辨识的描述现实世界中对象的离散或连续数值”。例如，用“出现频率”表示文本中的词语，或用“度”表示网络中的节点。

     随着人工智能技术的发展，“基于嵌入的表示”方式逐渐出现。所谓嵌入，是指用一个向量空间中的点，来代表一个对象。通过机器学习，可以基于已有的数据自动获得对象的嵌入表示。这些表示在向量空间中的位置关系，也能够同时反映现实世界中不同对象间的关系，例如“国王”与“王后”表示之差，大致等于“男人”与“女人”表示之差。

     02

     应用与趋势

     本研究收集2011至2020年间三大综合领域顶级期刊(《Nature》、《Science》、《PNAS》)和三大计算机领域顶级会议(ACL、WWW、KDD)上发表的CSS相关高引论文共400余篇，归纳了基于符号和嵌入的文本和网络表示所开展的八大原型任务，包括：描述、相关、聚类、相似、分类、回归、语言模型、排序。

     作者发现，近十年来采用嵌入表示的研究比例逐步上升，且在计算机领域的三大会议中，采用嵌入表示开展CSS相关的研究数量，已经超过采用符号表示的研究数量。

     文章指出这种趋势背后的三点观察：

     1.基于符号的表示更适合描述与相关类任务，因为它们具备更佳的显明性(explicitness)和可解释性。

     2.基于嵌入的表示更适合预测(如分类、回归)与相似性任务，因为生成这些嵌入的神经网络拥有强大的拟合能力，能够提取数据中的深层语义。

     3.嵌入表示需要的人力更少。

     03

     展望

     文章讨论了CSS中数据表示的四个重要的未来研究方向：

     1.预训练语言模型：此类模型近年迅速发展，可以为数据提供具泛化能力且鲁棒的嵌入表示。

     2.图神经网络：此类模型能够综合各类不同的信息(如网络结构本身以及网络中的点、边相关的文本信息)，提供一种融合不同类型数据表示的统一方式。

     3.将研究问题设计为预测或相似性任务：由于嵌入表示的强大能力，如果能够将研究问题操作化为其所适合解决的任务类型，则能够利用嵌入表示对这些问题给出更好的解答。

     4.可解释性：目前而言，基于嵌入表示的方法缺乏可解释性，如何克服这一困难，将是未来研究的重点。

     文献链接

     Chen, H., Yang, C., Zhang, X., Liu, Z., Sun, M., & Jin, J. (2021). From Symbols to Embeddings: A Tale of Two Representations in Computational Social Science. Journal of Social Computing, 2(2), 103–156. https://doi.org/10.23919/JSC.2021.0011

     编译 | 朱泽宇

     审阅 | 金兼斌 章倩萍

     编辑 | 李晨雨 张萌萌 朱姿伊

    源网页  http://weixin.100md.com
返回 科学传播人 返回首页 返回百拇医药