说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

利用Neo4j对电影评论进行深度学习情感分析

HTML文档下载 WORD文档下载 PDF文档下载
目前,国外一个电影网站允许用户提交关于他们针对某部电影是喜欢还是不喜欢相关信息的评论,随着这种类型评论的海量增加,依靠人工方法以及难以为继,情感分析技术被提到越来越重要的位置。

【编者按】随着互联网的发展,用户从以前的“读”网页转变为“写”网页,互联网上产生了大量的用户参与的,对于诸如人物、事件、产品等有价值的评论信息,而随着网络上评论信息爆炸式的增长,以人工的方法很难应付海量评论信息的收集和处理,情感分析技术随之产生,本文以电影影评为例,利用Neo4j对电影评论进行深度学习的情感分析。

一个电影评论网站允许用户提交关于他们针对某部电影是喜欢还是不喜欢相关信息的评论。充分挖掘这些评论继而生成有价值的元数据(针对相关内容的)将给我们提供一个难得的机会,它可以让我们以一个大众化的方式来理解用户对于这部电影的情感,这是一件很酷的事情。我们可以对主观内容做出一个客观的分析,这样可以使我们能够更好地理解产品和服务的趋势,可以为消费者做出更好的决策。

情感分析的数据模型

实现这些的主要障碍是我们的结构和转换数据。当前最先进的技术包括Naive BayesSupport Vector Machines以及Maximum Entropy。这些技术实施的挑战仍然是如何以最小的性能代价从文本中提取特征和结构化数据,这就是我决定要集中精力解决的问题。

我使用特征选择算法(详情点击这里),利用图形数据库Neo4j来解决数据转换和可用性的挑战,而最先进的自然语言解析算法的重点是关注句子结构,我决定为自然语言Grammar induction设计一个统计方法,主要是针对巨大文本语料库的概括,生成新特性,使用深度学习预测当下特性左边或右边的概率最高的新特性。

基于图形的NLP实例

我假设短语“one of the worst”作为一组文本的特征已经被提取。这个词提取的原因是这个短语有最大的统计学相关性,这意味着这个短语在父短语之后有最佳的匹配机会。使用Neo4j我们可以确定产生这一词的继承特性。


从根节点开始,它被加上“{0 } { 1 }”,路径里面” one of the worst将被解析为(the)->(ofthe)->(one of the)->(one of the worst)

这样的层次结构将会扩展为更多的可能性,如下图显示:


这种特征选择算法可以在不到一秒钟的时间从文本语料库中选择提取概率最大的相关特性和短语。这种技术对于情感分析具有非常重要意义的原因是这些模式节点可以连接到他们训练过的文本标签上,如下所示。


该算法的结果是任何自然语言文本可以在秒级解析,生成一个可用于任何分类算法的子图。这在很大程度上要归功于Neo4j图遍历。

开放源码演示

针对电影评论的例子,我选择了500个影评,包括正面和负面的标签,使用Graphify训练一个自然语言解析模型。在下一篇博文中,我将向你介绍展示如何做到比人类更好地电影评论分类,人类分类错误率为30%。

如果你想一睹为快,请点击Graphify Sentiment Analysis for Movie Reviews。

原文链接:Deep Learning Sentiment Analysis for Movie Reviews using Neo4j (编译/魏伟 审校/仲浩)

美国云计算价格战爆发 王寒:12岁儿童,该怎样开始iOS开发? 陈昊芝:腾讯!让我说你什么好? Top Paid与Top Grossing定价策略的差异 Android版百度云推送正式发布 为何开发者应推动公司开源? 从AppGratis被下架说起,苹果或将再次付出代价 58同城的“烦恼”——8K月薪安全工程师引发的入侵 软件开发实践的24条军规 思科 IBM 微软等巨头联合开发开源SDN项目OpenDaylight 巾帼不让须眉:2012年度云计算领域Top 10女性 中移动全力推进NFC 5月起乘公交可刷手机 支持Android与iOS,Qt 5.1 Alpha全新亮相 Google Play:劣质Android应用已无藏身之地! 360推出信用网站认证开放平台 联合百家协会围剿钓鱼网站 经验分享:百度测试架构师眼中的百度QA(一) 在线旅行服务行业开放API带来的新机遇 专访:悬疑恐怖游戏Year Walk美术及音效设计师 解密:微软都柏林数据中心的神秘“免费冷却”装置 云计算如何影响数字化营销? 榜单:十位帮我们打理数据的存储大佬 OpenStack Grizzly版发布 Comcast、CERN成为新会员 谷歌携Blink来势汹汹 WebKit将成明日黄花? 星巴克与苹果合作 顾客可免费下载付费App 微信回应信令争议 将启动2.5G网络优化计划 凤凰网CTO吴华鹏离职 先后供职长达10年 外媒:开发者每周编码时间仅19.1小时 AppGratis CEO现身说法:应用被苹果儆杀始末 一个Web设计师眼里的云计算 戴尔高管:服务器业务领先惠普五年时间 Hoodie:基于JS与CouchDB的超快速Web开发框架 那里可以下载测试工具(Loadrunner,testdirector) 如何写一个往数据库里插入记录的公共模块啊? 文本两边对齐 请问sqlserver2000中bit类型值怎样表示 谁有jspsmart 上传组件。我上不了jspsmart.com ,好心人给我发一个!!! 时间格式有误,不知是何原因? 怎样开、关进程!(不是线程)? 今年高考的一篇旷世奇文 cnn连接怎么单独写出来,让Sub或Function调用?不用每次都写一次连接, 请附上Code ,谢谢 请教multibytetowidechar的用法 请救各位. 关于用nmudp实现传输!up也有分,:)) jcreator的debug模式不是很好用,怎么(黄色小三角)指的位置不对啊? 关于用mscomm编程的问题,请大虾指教 导出数据库和操作时经常出现无法分配共享内存错误. 关于ListBox 重分请教:关于制作自定义报表的问题!!! 请问怎样编程查询一个字符串的五笔字型编码? 我们单位要上ERP,作为公司分管微机这一块的我该准备些什么? 右键菜单问题 d7+ADO+SQL2000,如何判断SQL2000数据库中存在某个表? 想要去清华读研究生,大家帮忙出出意见!!!!!!!!!!!!!!!!!!!!!!!! 大价钱求解小问题 好硕的5460!!!! iwantsay 关于MSComm的output和Chr()函数的问题 好久没来这里了这里的朋友们还在吗? 如何在TreeView的节点中调用一个方法? 关于deploytools 一个有关代理文件操作的问题,困扰很久了!! 如何由资源ID得到资源的句柄 向oracle 中插入纪录,日期格式由问题,见内 查询问题 如何取消验证 关于asp打印的一些设置的请教 dbgrid显示不同小数位数问题 关于用nmudp实现传输!up也有分,:)) 我在WSAD5.0中创建的WAS 5.0Server 为什么总是启动出错???请各位高手指点!!! 关于Apache+mysql 100分求《设计模式-可复用面向对象软件的基础》电子书! 向oracle 中插入纪录,日期格式由问题,见内 在线等候 在企业管理器里附加了一数据库,显示为readonly,为什么!!!! 就要实习了,不知哪些公司比较乐意接受实习生呢 急!!请问如何在WEB自定义控件中响应事件? 本人最近写了一个服务器端文件管理的程序,基本的功能都已经实现,但是下载的功能还是不行,欢迎大家讨论实现。 奇怪的comboBox的数据绑定问题! 为什么不能把记录成批插入到表中? 在VC中操作access:update的where子句中用"and"组织成多个表达式时出错! 在线等候 怎么将数据库中的字段项动态的添加到COMBOX里面去。(我用的是DB2数据库) sql关于多个数据库的问题 cosa=4/5,a,p∈(0,pi/2)cos(a+p)=-4/5,cosp=? sina/2=3/5,cosa/2=-4/5,求cosa如题 艰涩的意思是啥虾米? 英语翻译the concept - the cranberries - Wake up and Smell the Coffee 正文:come here,my lover something's on your mind listen to no other they could be unkind hold on to the concept of love,always darling hold on to the concept of love,always 快乐的定义是虾米 英语翻译All my life I’ve been a kind of lonelySearching high and low looking for my wayAnd all at once I saw you right in front of meI know that there and thenMy lonely days were throughYou’re just a roseThat shimmers in the sunAnd now I know 2x方减3x加1得0怎么解 虾米是什么 海米是什么 众议院和参议院是怎么回事? 直线的斜率已知等腰三角形ABC的两腰AB、AC所在的直线方程分别为7x-y-9=0和x+y-7=0,求等腰三角形ABC底角的大小 意大利酒文化展为世博会热身唐家璇:松下35年前预言成现实 中日俄远东南库页岛发生6.2级地震李克强与三国总理会晤解析:中国外交布日本驻华大使:日中关系不是能够轻易被外媒:美国监听35国政要 重创美欧外唐家璇:松下35年前预言成现实 中日唐家璇:中日关系深层次原因在于彼此认第九届北京―东京论坛26日在北京开幕查尔斯不想当国王? 英媒爆王储担心被河南“猪蹄店要账横幅”事件:欠款已全神奇国度掀起进攻狂潮 巴西世界杯小组广东前五月楼市销售量下降 但房价仍上广州中考数学难度大 恒大夺冠入选考题香港公布首份非遗清单 传统中医药文化巴古拜警局遇袭 数十名囚犯死亡特需医疗服务去留背后:焦点在于医院公电视剧《边城》将登陆央视日媒:中国对伊拉克危机难以袖手旁观俄媒称上合组织“和平使命”军演8月在韩国队领先后保守终丢胜局 顽强表现仍武汉38岁剩女欲冷冻卵子 因未婚被医
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘