随着信息技术的飞速发展,社交网络逐步成为人们沟通、娱乐的主要平台,社交网络数据也呈现爆炸式增长。相比于传统的计算机技术产生的数据,社交网络数据有着更加鲜明的特征:时效性强、规模庞大、类型丰富、传播速度快。然而社交网络数据也存在数据杂乱、价值密度低等问题。如何从海量社交网络数据中发掘有用的信息,全方位刻画社交网络用户成为当前亟待解决的问题。为了能够挖掘社交网络数据中有价值的信息,本文设计并实现了 Twitter数据采集与用户画像系统。该系统能够实时稳定地采集社交网络数据,挖掘用户的隐性属性和社会属性,全方位刻画社交网络用户。本文主要研究了基于社交网络的数据采集和用户画像技术,并进行了系统实现。具体来讲,本文的主要工作如下:(1)设计了基于网络爬虫和开发者API的数据采集技术方案,建立了安全稳定的数据采集技术体系,能够突破社交网站的反爬机制和权限认证,实现对社交网络数据的持续稳定采集,并通过多线程和异步的方式提高了数据采集效率。搭建了社交网络数据采集系统,允许自定义数据采集的方式和采集的数据类型,能够根据数据的类型来实现格式化存储,并提供了数据采集webservice接口供其它应用调用。(2)建立了社交网络人物画像模型,定义了人物描述规范,通过基础属性、隐性属性和社会属性来刻画社交网络用户,通过挖掘方法实现了对用户隐性属性和社会属性的准确描述。实现了用户画像系统,可以根据社交网络数据自动进行用户画像,并将画像结果格式化存储与输出。另外,虽然系统以Twitter为数据采集对象,但本文所采用的挖掘方法同样适用于其它社交网络数据(如微博、Facebook等)。(3)构建了典型人物样本库,样本库中的数据来自于已采集的社交网络数据,通过清洗、筛选和人工标注,使样本库中包含了各领域有代表性的人物。定义了人物画像模型的评价指标,根据典型人物的画像结果来评价人物画像模型的准确度。