说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

利用Neo4j对电影评论进行深度学习情感分析

HTML文档下载 WORD文档下载 PDF文档下载
目前,国外一个电影网站允许用户提交关于他们针对某部电影是喜欢还是不喜欢相关信息的评论,随着这种类型评论的海量增加,依靠人工方法以及难以为继,情感分析技术被提到越来越重要的位置。

【编者按】随着互联网的发展,用户从以前的“读”网页转变为“写”网页,互联网上产生了大量的用户参与的,对于诸如人物、事件、产品等有价值的评论信息,而随着网络上评论信息爆炸式的增长,以人工的方法很难应付海量评论信息的收集和处理,情感分析技术随之产生,本文以电影影评为例,利用Neo4j对电影评论进行深度学习的情感分析。

一个电影评论网站允许用户提交关于他们针对某部电影是喜欢还是不喜欢相关信息的评论。充分挖掘这些评论继而生成有价值的元数据(针对相关内容的)将给我们提供一个难得的机会,它可以让我们以一个大众化的方式来理解用户对于这部电影的情感,这是一件很酷的事情。我们可以对主观内容做出一个客观的分析,这样可以使我们能够更好地理解产品和服务的趋势,可以为消费者做出更好的决策。

情感分析的数据模型

实现这些的主要障碍是我们的结构和转换数据。当前最先进的技术包括Naive BayesSupport Vector Machines以及Maximum Entropy。这些技术实施的挑战仍然是如何以最小的性能代价从文本中提取特征和结构化数据,这就是我决定要集中精力解决的问题。

我使用特征选择算法(详情点击这里),利用图形数据库Neo4j来解决数据转换和可用性的挑战,而最先进的自然语言解析算法的重点是关注句子结构,我决定为自然语言Grammar induction设计一个统计方法,主要是针对巨大文本语料库的概括,生成新特性,使用深度学习预测当下特性左边或右边的概率最高的新特性。

基于图形的NLP实例

我假设短语“one of the worst”作为一组文本的特征已经被提取。这个词提取的原因是这个短语有最大的统计学相关性,这意味着这个短语在父短语之后有最佳的匹配机会。使用Neo4j我们可以确定产生这一词的继承特性。


从根节点开始,它被加上“{0 } { 1 }”,路径里面” one of the worst将被解析为(the)->(ofthe)->(one of the)->(one of the worst)

这样的层次结构将会扩展为更多的可能性,如下图显示:


这种特征选择算法可以在不到一秒钟的时间从文本语料库中选择提取概率最大的相关特性和短语。这种技术对于情感分析具有非常重要意义的原因是这些模式节点可以连接到他们训练过的文本标签上,如下所示。


该算法的结果是任何自然语言文本可以在秒级解析,生成一个可用于任何分类算法的子图。这在很大程度上要归功于Neo4j图遍历。

开放源码演示

针对电影评论的例子,我选择了500个影评,包括正面和负面的标签,使用Graphify训练一个自然语言解析模型。在下一篇博文中,我将向你介绍展示如何做到比人类更好地电影评论分类,人类分类错误率为30%。

如果你想一睹为快,请点击Graphify Sentiment Analysis for Movie Reviews。

原文链接:Deep Learning Sentiment Analysis for Movie Reviews using Neo4j (编译/魏伟 审校/仲浩)

Evernote更新Android SDK:新增商务服务并拆分“印象笔记” 主流编译器对C++11的支持现状比较 GCC 4.8发布,提升对C++11的支持 英国政府下令首选开源软件 为何美国IaaS收购被引爆?基于IaaS的四个误解和四个猜想 Kinect SDK v1.7迎来重大更新 如何激励同事编写单元测试? 谷歌GCE vs. 亚马逊EC2:快源于谷歌本有的底蕴 不要责怪开源技术 它是无辜的 短命:微软将于2014年停止对WP8系统支持 Native和Web过时了,企业级移动开发流行用Hybrid App 与EverNote竞争?谷歌Google Keep浮出水面 又一次跨越:著名3D游戏引擎Unity版本更新 Feedly团队:自研后端平台或将开源 StackMob的诱惑:16小时,山寨一款移动App “云”筹帷幄 开发者必知的5大SaaS在线服务工具 超350个政府项目托管在GitHub 政府开源会成主流? Kinect for Windows SDK 1.7正式发布,支持3D建模 SafeNet与风河系统联手推出VxWorks嵌入式系统软件货币化方案 Windows Server 2012中的动态负载均衡 Google等互联网公司将成为创新中心? 在Hadoop的战争中 MapR获新一轮3000万美元融资 初创公司DNNresearch:谷歌科技帝国的新“基石” 创业了,我们该如何起名? 乐视网联手富士康推新盒子C1S “0+290元”新浪微博发售 吸引开发者:只要开发新应用 微软便奖100美元 PaintCode - 将矢量图转化为Objective-C代码的开发神器 苹果发布iOS 6.1.3 封杀evasi0n越狱所用漏洞 [API快讯] Google开放实时协作API 58同城开源轻量级Java Web框架 Argo 初创公司AppNeta:4轮融资,4780万美元 寻求:《com原理与应用》的电子版下载? 关于页面刷新的问题? 关于网络流量计算,紧急,在线等待,高手请指教 寻mp3控件,要能读取其tag信息. 请问如何将IE分成两部分,左边是一个APPLET写的tree,右边响应树中节点的事件(链接页面)? 如何才能得到本程序的cpu占有率?而不是总的cpu占有率? 如何编程枚举网上邻居 课件招标!!凡是我觉的有帮助的回答都给分!分不够可以再加!!先来100分!! 谁是高手?在线等待,立马给分! 发邮件问题 单挑高手:一个可变的字符串变量记录着类名(classname),怎么样根据这个符串的值创建所含信息的类实例?? 大放分!!!即放即給 一个在桌面上产生雪花的小程序,请帮忙修改。 请教一个程序速度的问题 辽宁沈阳的凯夫集团有知道情况的么? 好书是那本? 再请saucer(思归, MS .NET MVP),你帮忙得问题用你的方法解决了一半,还差一点。 关于界面控键问题! 为什么在设计时控件的属性不可以修改?在线等候 我的ROOT口令忘了,我该怎么办? 在RedHat8.0上安装Kylix3出现的问题?(关于文件包glibc检查出错)??????? VSS: Unable to check out the file <file> because it is already checked out. 一个暴难问题,关于两台电脑通过一个modem上网的问题。谢谢。 谁是高手,立马给分! 如何使ListControl 内容排序? 无法安装sql2000! 关于inport()和outport()的问题! 哪位仁兄手上有灰度图像的傅立叶变换和反变换的程序代码? 请教高手!死机问题 如何可以让网页内容置中显示,不管客户端的分辨率是多少? 大家注意Acrobat 5与BDE有冲突!! 怎样向客户端输出数据 如何判断一个变量是否定义过?使用if(var)的方法不行,报错 Interbase树形结构和递归调用问题,高手请进!!急!!!! 有谁知道哪有pb8.0汉化版出售。本人是个十足的英语盲! Oracle8 的blob字段,BDE读取报“Invalid Field Type”的错误 Interbase树形结构和递归调用问题,高手请进!!急!!!! 如何选出表中相同的纪录? 下面这些对编程风格的说法是否正确? Interbase树形结构和递归调用问题,高手请进!!急!!!! 请教dos中有没有类似notify的命令用于邮件通知 java有没有RTTI(runtime type information) 在DOS下开发软件,应该如何调用扩展内存? 高分求:Antechinus C# Editor4.2c和JavaScript Editor的注册码! 想自己做个字典软件,但是没有词库 怎样做个链接?链接邮件地址。 如何在工具栏statusbar的右下角(最后一个panel里)做一个走动的时钟 大家讨论一下开发JSP Web站点用什么工具比较好? 我想编一个网页管理软件,有如下要求。。。 大家帮看一下,加注释的一句是什么意思 高分求救!!有关数据同步!! 电信诈骗出新花样 装主刀医生发短信索情侣喝多了吵架动手 误伤隔壁桌客人致陈宝成完整录像 还原陈宝成被刑拘事情宁波一名男子救跳江自杀女孩 做完好事宁波一辆工程车倒下40多吨渣土差点活酒店司机撞伤人被判全责 伤者丈夫上门超级高铁时速1223公里 成本仅为高保安曾捐肾给工友治病 靠名声骗钱数十法官设计引出老板帮助小伙拿到被拖欠工宁波外海一名柬埔寨籍船长天热中暑半身煤气瓶突然爆炸 两人受伤严重被烧伤进文革红卫兵向受害者道歉 沉重忏悔罪行二代身份证存缺陷 挂失后还能被使用台湾失智老夫妻 演绎我的世界只有你的网络名人共守七条底线 微博大V传播社印度潜艇爆炸18人被困 俄军工产品质浙商解救妻女牵出万人传销团伙 涉案金新手湖州高速上开路虎飙到196码被记潜水打麻将求清凉 交流仅仅靠手势北京群体自杀事件伤者身着“哈尔滨铁路男子干活时突然心慌 飞奔回家救下面临市民免费学才艺经济“去地产化”非易事我省将评选“诚信画廊”朱树诚先生A股患上“一日游综合征”520 “我爱你”告白惊现长沙街头大试完还有礼《蒙娜丽莎的微笑》将做手机表情符号马刺35分血洗雷霆《幻想曲》戛纳首映推出汉兰达店庆版《背影》被逐出教材再遭误传象牙塔外的路,走得很辛苦周日彩虹跑,High行十公里为了回家,所以旅行新车越来越向年轻人靠近小型SUV接棒保时捷卡宴从《归来》看“眼泪叙事”乐购节全线放价湖湘建筑定将诞生惊世之作苏亚雷斯受伤或影响世界杯
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘