展览的首要资源 以及活动行业的专业人士

如何理解非结构化数据

了解如何为您的组织选择正确的文本分析解决方案,以帮助使用 4imprint 讲述数据的故事。

最初由 4imprint 于 2016 年 2 月 23 日发布

企业收集的有关客户、活动、竞争对手和市场的数据比以往任何时候都多。几乎每件事都有数字记录,从主动联系潜在客户到在 Twitter 上回复客户服务问题®.

生成的大量数据无法在客户关系管理系统 (CRM) 中归类。这些声音和意见意义重大,但我们能做的往往只是将它们归类为“评论”,然后绞尽脑汁思考如何处理它们。

这些非结构化数据不必未经探索。答案是文本分析:

文本分析将非结构化文本转换为可分析、更易于探索的分类信息;它帮助我们理解无定形数据,并利用其中蕴含的见解,使其成为客户眼中的 MVP。[1]

文本分析没有固定的实施方法,每个组织从非结构化数据中挖掘出的见解也各不相同。通过对非结构化数据的分析,文本分析可以帮助讲述数据的故事,并为您的组织发现新的机会。

4imprint_TextAnalytics_Infographic_无标注

什么是文本分析?

从高层次来看,文本分析处理非结构化数据,即自由格式的文本(以及其他将要介绍的示例)。你可以认为文本分析具有三个定义特征:[2]、[3]、[4]、[5]

  • 文本分析 专注于非结构化数据 (与您在 CRM 中找到的类别驱动的结构化数据相比)。
  • 文本分析 提取相关信息 来自大量非结构化数据。
  • 文本分析 组织非结构化数据 以减少洞察时间。

文本分析的目标是将非结构化数据结构化。当非结构化数据被组织起来时,可能会发生两件事:[6]

  1. 非结构化数据可以 结合结构化数据 在现有数据库中。可以对整个数据集合进行分析,以进行预测或发现。
  2. 非结构化数据可以 独立存在 进行分析。一旦进入可管理的框架,数据就可以帮助确定关系和趋势。

结构化数据(可以在 CRM 中找到的数据类型)可以告诉组织正在发生的事情。相比之下,非结构化数据可以告诉组织为什么会发生这种情况。[7]

文本分析的价值是什么?从文本分析中获得的洞察力可以推动以客户为中心的业务模式,并强化品牌的最佳部分。[8] 文本分析中处理的非结构化数据通常与组织可以获得的有关其品牌体验的真实情况最为接近。

文本分析所能创造的价值很难被夸大。让我们深入探讨一下文本分析如何应用于不同类型的组织:[9]

  • 金融交易: 执行特定领域的情绪分析和分类。从交易员那里获取有关何时交易以及交易量的信息。
  • 消费者之声: 浏览社交媒体。在客户打电话投诉或取消之前解决投诉。
  • 制造或保修索赔: 审查保修索赔、经销商技术人员行、报告订单、客户服务报告等中的文本。确定维修或损坏趋势,以确定是否启动召回。
  • 领先一代: 在社交媒体上搜索对某种产品或服务感兴趣的人。与销售人员分享以进行跟进。
  • 招聘: 在潜在员工进入市场之前了解他们。分析他们的社交媒体帖子,了解他们的文化契合度和专业知识。
  • 产品或服务评论网站: 直奔主题以帮助读者。使用文本分析将有价值的客户评论压缩为两到三个词组。

文本分析的用途几乎和数据类型一样多。营销团队可以使用文本分析进行客户流失分析和市场研究。人力资源部门可以使用文本分析来发现员工的声音。根据行业的不同,文本分析可用于欺诈检测或医学研究。[10] 文本分析使发掘隐藏的宝藏变得更容易。

了解非结构化数据

要理解文本分析,你必须理解非结构化数据。非结构化数据存在于许多地方:[11],[12]

  • 调查记录
  • 入站客户沟通
  • 评论网站
  • Facebook®、Twitter 和所有社交媒体沟通
  • 视频和视频记录
  • 电子邮件
  • 报告
  • 电子表格
  • 合同
  • 保修
  • 电话/会员名单簿
  • 广告
  • 营销材料
  • 年度报告
  • 客户通话记录
  • 员工评估
  • 订购信息
  • 博客文章

非结构化数据是指那些不能完全归入某一类别或多项选择题答案的数据。我们说的是开放式问题和主动回答的答案。非结构化数据虽然有深刻见解,但由于其固有的混乱性,很难进行分析。

每种非结构化数据来源都有其独特的优势和劣势,这些优势和劣势不容忽视。例如,社交媒体评论不受约束,且不由自主,但你通常会听到极端的声音——那些高兴或愤怒的人会大声疾呼。评论网站分享坦诚的客户体验,但许多评论都是假的,或者是公司鼓励客户留下正面评论的结果。客户调查通常更具代表性,但自由形式的答案仍然受到开放式问题措辞的影响。文本分析提供了一个查看非结构化数据和减轻此类偏见的框架。[13] 为信息提供结构可以更好地了解实际情况。

生成和收集的大部分数据都是非结构化数据。普遍估计非结构化数据约占所有商业信息的 80%。[14],[15],[16] 其中,约 70% 的非结构化数据由客户生成。[17] 几乎所有商业活动都会产生需要进行初步处理才能进行分析的数据。

数字数据世界正在爆炸式增长。到 2020 年,数字数据世界将增长 10 倍,从 2013 年的 4.4 万亿 GB 扩大到 44 万亿 GB。每两年,这个数字就会增加一倍以上。[18] 现代组织面临的最大挑战可能是信息管理。

尽管总体数据量在增长,但对企业真正重要的数据量却出奇地易于管理。企业正在寻找“目标丰富”的数据,即易于访问、实时可用、足迹大、具有变革性并具有交叉协同作用的数据(即具有多个“目标丰富”特征)。根据这些标准,整个数字世界中只有约 1.5% 的数据是“目标丰富”的。[19] 使用“目标丰富”标准使收集数据变得不那么像大海捞针。

文本分析的最大障碍之一是处理语言。然而,分析软件正在不断进步,越来越善于从文本评论中提取信息。[20] 人类仍然最善于捕捉语言的细微差别,但机器正在不断进步。

毫不奇怪,随着数据量的增长,文本分析产品的市场也在增长。预计到 2020 年,全球文本分析市场将达到 $65 亿,年增长率为 25%。[21] 各种解决方案不断涌现,以应对数据洪流。

非结构化数据为何如此重要

非结构化数据(以及随之而来的文本分析)对组织如此重要的主要原因有以下三个:[22]、[23]、[24]、[25]、[26]、[27]、[28]

  1. 非结构化数据是人类。 人类喜欢讲故事;他们不想被僵硬的尺度和有限的答案选项所束缚来描述体验。非结构化数据是我们讲述的故事,充满情感和细节。它们包含有关客户旅程的重要信息,并帮助组织更好地响应需求。此外,非结构化数据可以塑造个性化的用户体验,这是越来越多客户的期望。文本分析可以洞悉如何创造更人性化的体验。
  2. 非结构化数据正在增加。 在当今这个 24 小时不间断的商业世界中,营销数据的来源包括新渠道、竞争、细分市场、产品生命周期和更高的价格透明度。得益于互联网,我们从未捕获过如此多的数据,而且数据也从未如此容易获取。但是,如果不能将大量非结构化数据转化为可付诸行动的见解,“那么这些数据就如同海水对在海上漂流的口渴者一样毫无用处”。文本分析可以整理非结构化数据并提取见解;结果是,未被发现的商机越来越少。
  3. 同类最佳的是使用非结构化数据。 数据驱动的决策可提高盈利能力。行业中排名前三分之一的组织如果采用数据驱动的决策,其生产率将比竞争对手高出 5%,利润将高出 6%。使用多种数据源、分析工具和指标的企业“项目超出预期的可能性是未采用这些方法的企业的五倍”。通过管理非结构化数据,文本分析是一种推动业务目标和保持竞争力的工具。

随着非结构化数据量的增加,组织利用洞察力改进产品和服务的方式也越来越多。文本分析是实现这种可扩展且高效转变的关键。

文本分析的类型

那么,当对非结构化数据执行文本分析时,它“看起来”是什么样子?非结构化数据多种多样,组织正在寻找不同类型的洞察力。以下是几种不同类型的文本分析:4imprint_TextAnalytics_Infographic_无标注

  • 情绪分析: 分析文本的观点或语气。第一层是极性分析(正面或负面)。第二层是分类(例如,困惑、愤怒)。第三层是将情绪放在一个量表上(0-10)。情绪分析的下一个发展将是比较不同时期的情绪并分析趋势的诞生。[29]情绪分析的棘手部分是识别讽刺、反讽和交流背景。
  • 主题建模: 识别文本集合中的主导主题。一种建模方法称为潜在狄利克雷分配,“其中单词自动聚类到主题中,每个文档中都有混合主题。”另一种建模方法称为概率潜在语义索引,“它使用概率对共现数据进行建模。”请注意,主题建模的扩展性不佳。
  • 词频-逆文档频率(TF-IDF): 发现一组文档中某个单词的相对频率。TF-IDF 具有预测性。例如,为了提高留存率,组织可以分析以前客户的呼叫中心记录。注意:TF-IDF 可以否定词序和措辞以及类似的单词,如 hotel 和 motel。
  • 命名实体识别 (NER): 使用周围文本识别名词,例如人物、组织、地点和日期。请注意,NER 需要大量的数据准备和训练才能发挥作用。
  • 事件提取: 发现名词之间的关系,超越对话。这种类型的文本分析可以“为实体分配角色、分配子类型并链接到语义数据”。与 NER 一样,事件提取的准备工作也很广泛。

文本分析的奇妙之处在于,它能够比人脑更快地处理大量非结构化数据。然而,文本分析的不足之处在于,由于人脑不参与这项工作,因此它错过了许多细微差别。

文本分析案例研究

公司利用从此类数据中获得的洞察力来发展和改进流程。以下只是一些利用文本分析功能的组织:

内部改进

德勤®是一家国际管理和金融服务公司,利用文本分析来提高员工的文档可用性。[30] 员工可以根据自己的兴趣通过“点赞”文档来创建文档集合。员工还可以向文档添加评论,而其他具有相同兴趣的用户也可以发现这些评论。

德勤高级经理本·约翰逊 (Ben Johnson) 表示:“根据用户与文档的交互方式,系统将接受训练,了解哪些相关主题也值得关注。在这方面,我们正在采用机器学习模型。”[31] 员工使用文本分析驱动系统越多,它就越有用。

结合结构化和非结构化数据

金融资产管理公司 Climate Change Capital℠ 将其内容营销中的非结构化数据与其客户关系管理系统中的结构化数据相结合。[32]

“[我们]汇总了网站内容,以了解哪些主题吸引了更多访客的互动,”气候变化资本的营销和传播活动负责人卡洛斯·莫兰 (Carlos Moran) 表示。“通过整理我们掌握的信息并将其输入我们的 CRM 系统,我们可以从中获取见解并采取行动。”[33]

同样,纽约时报® 使用自然语言处理(一种文本分析工具)来发现吸引最多读者的内容主题。《纽约时报》的营销团队随后知道要推广哪些类型的文章。然而,该报仍然依赖其编辑人员来开发和选择内容。[34] 通过文本分析,组织可以解锁以前未被发现的创造更多价值的途径。

产品开发和营销

我们使用文本分析系统来评估亚马逊的 7,000 条客户评论® Kind Fire® HD。分析显示,人们对屏幕、扬声器、Android 持积极态度® 操作系统和应用程序。然而,用户对设备未提供充电器表示了负面情绪。[35]亚马逊可以利用这一洞察来改进下一代 Kindle Fire HD。而且,这家电子零售商对哪些功能能引起客户的反应有了更深入的了解。这些信息是塑造营销信息的金矿。

构建文本分析工具箱

选择文本分析工具和供应商取决于您的业务目标、预算和内部资源。没有一刀切的解决方案。但是,在审查文本分析解决方案时应该问这些基本问题:

1. 该解决方案如何跨系统整合数据?
结构化数据和非结构化数据的结合为您的业务活动和客户互动提供了丰富的内容。将所有相关信息集中在一个地方,可以让您更快地了解数据的“原因”。[36]

一旦所有数据都集中在同一个地方,解决方案就应该允许您的团队以不同的层次查看数据——从众所周知的 30,000 英尺到单个客户。[37] 在整个组织中,您将能够发现系统改进和留住客户的机会。

传统的分析软件可能会使非结构化数据和结构化数据的连接变得困难。应尽可能使这种连接自动化。RSS、语义分析和元数据等工具可以(分别)聚合、分析和标准化。[38]

当数据分散在不同的部门和分部时,客户的体验也会变得分散。[39] 您的团队可以利用协同工作的数据为您的客户谋福利。

2. 该解决方案如何帮助讲述数据的故事?
故事驱动的报告解决方案有助于解释从文本数据中获得的见解。[40] 故事具有相关性、情感性和令人难忘性,这使得将故事中的见解付诸行动变得不那么令人生畏,也更自然。

关键词提取、模式分析和实体提取(识别人物、公司、城市等)是整理文本和叙事起点的更有机方式。它们有助于识别感兴趣的领域。[41],[42] 这些策略可以揭示数据故事中的主题。

文本分析可以告诉我们一些可怕的故事:哪些客户即将逃离,你如何不合规或可能面临法律诉讼,或者哪些产品 / 服务存在质量问题。[43] 这些故事可能令人难以接受,但它们实际上是改进的机会。据 KAPS 集团负责人汤姆·里米 (Tom Reamy) 称,该集团专门从事文本分析咨询和开发语义基础设施:[44]

“模式识别和概念识别等工作可以很容易地完成。缺少的是更深入的分析和理解。文本内部的含义和单词周围的上下文对于文本分析至关重要。”

通过数据讲述故事,背景和见解变得生动起来。故事赋予意义,组织可以据此调整其产品。

3. 该解决方案如何推动个性化?
个性化对于赢得和留住客户至关重要,但执行起来却很困难。主要的挑战是开发单一的客户视角。北美公司平均使用 36 种不同的数据收集系统和供应商。但只有 24% 的高级管理人员表示这些系统已集成到他们的组织中。[45] 单一的客户视角可确保您的品牌始终保持一致,无论客户如何与您的组织互动。

组织通过部门、部门和团队创建孤岛,但客户只能体验一个品牌。从不同来源获取数据并利用这些数据开发接触点会造成碎片化的客户体验。”[46] 互不相连的数据系统只能用于宏观了解消费者趋势。另一方面,允许深入挖掘细粒度洞察的数据系统使个性化变得更容易。

非结构化数据可用于了解客户以及了解客户生命周期中的每个接触点。[47] 这将构建一种个性化的体验,这种体验取决于客户的个人身份以及我们作为一个组织向他们提供的服务。

整合数据源可以帮助公司形成单一的客户视图。所有类型的体验的所有事实都集中在一起;有了完整的背景信息,企业可以更轻松地做出决策。[48]

理想状态:完整的数据图

公司可以访问许多非结构化数据源,并有多种方式利用它们。文本分析是将数据转化为洞察力的关键。适合您组织的文本分析解决方案将汇总、分析和标准化所有数据,并帮助讲述数据的故事。

随着非结构化数据量的激增,企业比以往任何时候都有更多的机会发现新的方式来取悦客户。然而,如果企业不整合结构化和非结构化数据,它将很难提供个性化服务。

最好的业务决策将基于尽可能全面的背景信息做出。文本分析可以帮助您了解数据背后的故事,并为您未来的成功谱写新的篇章。

尾注

[1] Turner, Michelle. “引导比利·比恩。”社论。 营销洞察 2015 年 9 月 -10 月:无页。美国市场营销协会。美国市场营销协会,2015 年 9 月 -10 月。网络。2015 年 11 月 11 日。 。
[2] 同上
[3] Patil, Arun. “根据新研究报告,到 2019 年,北美文本分析市场价值预计将达到 $1,995.8 百万。” 什么科技。 WhaTech,2015 年 10 月 21 日。网络。2015 年 11 月 11 日。 。
[4] Halper, Fern、Marcia Kaufman 和 Daniel Kirsh。“文本分析:Hurwitz 胜利报告。” (nd): 1-22。SAS。Hurwitz & Associates,2013 年。网络。2015 年 11 月 12 日。 。
[5] 同上
[6] 同上
[7] Pickett, Stephen. “理解非结构化数据对客户洞察有何帮助。”《数字营销杂志》。 数字营销杂志, 2015 年 7 月 7 日。网络。 2015 年 11 月 11 日。 。
[8] Patil, Arun. “根据新研究报告,到 2019 年,北美文本分析市场的价值预计将达到 $1,995.8 百万美元。” 什么科技。 WhaTech,2015 年 10 月 21 日。网络。2015 年 11 月 11 日。 。
[9] “文本分析;你可能没想到的10个商业用例……” 文本分析博客。 AYLIEN,2014 年 8 月 19 日。网络。2015 年 11 月 12 日。 。
[10] Halper, Fern、Marcia Kaufman 和 Daniel Kirsh。“文本分析:Hurwitz 胜利报告。” (nd): 1-22。SAS。Hurwitz & Associates,2013 年。网络。2015 年 11 月 12 日。 。
[11] Turner, Michelle. “引导比利·比恩。”社论。 营销洞察 2015 年 9 月 -10 月:无页。美国市场营销协会。美国市场营销协会,2015 年 9 月 -10 月。网络。2015 年 11 月 11 日。 。
[12] 安德鲁·戴维斯,“非结构化数据为何是了解客户的关键。” 为什么非结构化数据是了解客户的关键。 Sift Media,2015 年 4 月 6 日。网络。2015 年 11 月 11 日。 。
[13] Turner, Michelle. “引导比利·比恩。”社论。 营销洞察 2015 年 9 月 -10 月:无页。美国市场营销协会。美国市场营销协会,2015 年 9 月 -10 月。网络。2015 年 11 月 11 日。 。
[14] 同上
[15] Halper, Fern、Marcia Kaufman 和 Daniel Kirsh。“文本分析:Hurwitz 胜利报告。” (nd): 1-22。SAS。Hurwitz & Associates,2013 年。网络。2015 年 11 月 12 日。 。
[16] Pickett, Stephen. “理解非结构化数据对客户洞察有何帮助。” 数字营销杂志。 数字营销杂志,2015 年 7 月 7 日。网络。2015 年 11 月 11 日。 。
[17] Turner, Michelle. “引导比利·比恩。”社论。 营销洞察 2015 年 9 月 -10 月:无页。美国市场营销协会。美国市场营销协会,2015 年 9 月 -10 月。网络。2015 年 11 月 11 日。 。
[18] Turner, Vernon, John F. Gantz, David Reinsel 和 Stephen Minton.“充满机遇的数字世界:丰富的数据和物联网日益增长的价值。” EMC 数字世界及研究与分析 作者:IDC。EMC,2014 年 4 月。网络。2015 年 11 月 11 日。 。
[19] 同上
[20] Patil, Arun. “根据新研究报告,到 2019 年,北美文本分析市场价值预计将达到 $1,995.8 百万美元。” 什么科技。 WhaTech,2015 年 10 月 21 日。网络。2015 年 11 月 11 日。 。
[21] Lamont, Judith.“文本分析:更高的可用性,更少的洞察时间。” KMWorld杂志。 信息今日,2015 年 10 月 29 日。网络。2015 年 11 月 11 日。 。
[22] Turner, Michelle. “引导比利·比恩。”社论。 营销洞察 2015 年 9 月 -10 月:无页。美国市场营销协会。美国市场营销协会,2015 年 9 月 -10 月。网络。2015 年 11 月 11 日。 。
[23] Pickett, Stephen.“理解非结构化数据对客户洞察有何帮助。” 数字营销杂志。 数字营销杂志, 2015 年 7 月 7 日。网络。 2015 年 11 月 11 日。 。
[24] 安德鲁·戴维斯,“非结构化数据为何是了解客户的关键”。 我的客户。 Sift Media,2015 年 4 月 6 日。网络。2015 年 11 月 11 日。 。
[25] Pickett, Stephen.“理解非结构化数据对客户洞察有何帮助。” 数字营销杂志。 数字营销杂志,2015 年 7 月 7 日。网络。2015 年 11 月 11 日。 。
[26] Keylock, Matt.“非结构化数据挑战。” 邓恩胡姆比。 Dunnhumby,2012 年 12 月 12 日。网络。2015 年 11 月 12 日。 。
[27] Patterson, Laura. “为什么你的数据科学家需要成为讲故事的人,以及如何让他们成为这样的人。” 营销专家。 MarketingProfs LLC,2014 年 11 月 12 日。网络。2015 年 11 月 11 日。 。
[28] Turner, Vernon、John F. Gantz、David Reinsel 和 Stephen Minton。“充满机遇的数字世界:丰富的数据和物联网的不断增长的价值。”EMC 数字世界,由 IDC 进行研究和分析。EMC,2014 年 4 月。网络。2015 年 11 月 11 日。 。
[29] Halper, Fern、Marcia Kaufman 和 Daniel Kirsh。“文本分析:Hurwitz 胜利报告。” (nd): 1-22。SAS。Hurwitz & Associates,2013 年。网络。2015 年 11 月 12 日。 。
[30] Lamont, Judith.“文本分析:更高的可用性,更少的洞察时间。” KMWorld杂志。 信息今日,2015 年 10 月 29 日。网络。2015 年 11 月 11 日。 。
[31] 同上
[32] 安德鲁·戴维斯,“非结构化数据为何是了解客户的关键”。 我的客户。 Sift Media,2015 年 4 月 6 日。网络。2015 年 11 月 11 日。 。
[33] 同上
[34] Burns 编辑,“《纽约时报》如何使用预测分析算法。” 搜索商业分析。 TechTarget,2015 年 10 月。网络。2015 年 11 月 13 日。 。
[35] Lamont, Judith.“文本分析:更高的可用性,更少的洞察时间。” KMWorld杂志。 信息今日,2015 年 10 月 29 日。网络。2015 年 11 月 11 日。 。
[36] Turner, Michelle. “引导比利·比恩。”社论。 营销洞察 2015 年 9 月 -10 月:无页。美国市场营销协会。美国市场营销协会,2015 年 9 月 -10 月。网络。2015 年 11 月 11 日。 。
[37]同上。
[38] 安德鲁·戴维斯,“非结构化数据为何是了解客户的关键”。 我的客户。 Sift Media,2015 年 4 月 6 日。网络。2015 年 11 月 11 日。 。
[39] Keylock, Matt.“非结构化数据挑战。” 邓恩汉比. Dunnhumby,2012 年 12 月 12 日。网络。2015 年 11 月 12 日。 。
[40] Turner, Michelle. “引导比利·比恩。”社论。 营销洞察 2015 年 9 月 -10 月:无页。美国市场营销协会。美国市场营销协会,2015 年 9 月 -10 月。网络。2015 年 11 月 11 日。 。
[41] 同上
[42] Pickett, Stephen.“理解非结构化数据对客户洞察有何帮助。” 数字营销杂志。 数字营销杂志,2015 年 7 月 7 日。网络。2015 年 11 月 11 日。 。
[43] Turner, Michelle. “引导比利·比恩。”社论。 营销洞察 2015 年 9 月 -10 月:无页。美国市场营销协会。美国市场营销协会,2015 年 9 月 -10 月。网络。2015 年 11 月 11 日。 。
[44] Lamont, Judith.“文本分析:更高的可用性,更少的洞察时间。” KM世界杂志. 今日信息,2015 年 10 月 29 日。网络。2015 年 11 月 11 日。 。
[45] “为什么营销人员还没有掌握个性化。” 电子营销员. EMarketer Inc.,2015 年 9 月 23 日。网络。2015 年 11 月 12 日。 。
[46] Keylock, Matt.“非结构化数据挑战。” 邓恩胡姆比。 Dunnhumby,2012 年 12 月 12 日。网络。2015 年 11 月 12 日。 。
[47] 同上
[48] “为什么营销人员仍然没有掌握个性化。” 电子营销者。 EMarketer Inc.,2015 年 9 月 23 日。网络。2015 年 11 月 12 日。 。

分享帖子

保持最新状态

相关文章

iaee 博客站徽标

保持最新状态

加入超过 15,000 名粉丝,致力于了解展览和活动行业的来龙去脉!