说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

可视化:图像的主题色提取算法,是不是太高端了?

HTML文档下载 WORD文档下载 PDF文档下载
可视化是最热的云应用领域之一。云集无数大牛,小专和创新企业代表。本篇来自Pat Hanrahan和Jeffrey Heer两位可视化“大师”所率领的斯坦福可视化组的一篇论文,重点分享了图像的主题色提取算法。

浙江大学CAD&CG国家重点实验室可视化与可视分析小组特别将论文进行了整理,以下为文章摘要。

斯坦福可视化组非常有必要介绍一下,领头的两个大牛一个是Pat Hanrahan教授,横跨科学可视化信息可视化两个领域,即便不知道这个名字那今年红得发紫的数据可视化上市公司Tableau应该都是知道的,他就是联合创始人,Tableau原生于他的Polaris系统;另一个Jeffrey Heer信息可视化人机交互领域近几年的当红炸子鸡,论文兼顾创新性和实用性,惊才绝艳。

回到正题,这篇文章解决了图像的主题色提取的问题,属于颜色建模这个topic。论文的一作同一年在Eurovis、CHI和SIGGRAPH上都发表了颜色建模的文章(SIGGRAPH的论文现在处于conditionally accepted状态),Eurovis和CHI都是最佳论文之一,真可谓厚积厚发。

这次真的是回到正题,回到这篇论文。一般的主题色提取方法有k-means和fuzzy c-means的按像素颜色值聚类的方法和颜色直方图取峰值的方法。其实论文的思路并不复杂,对图像定义一系列的特征,套用多元线性回归模型LASSO,在众包平台亚马逊土耳其机器人上建立任务收集训练集,LASSO通过训练集的学习增加关键特征的权重减小冗余特征的影响,从而生成一个比较好的主题色提取模型。下面分别说明特征定义、回归模型和user study三个部分。

其实主题色这个概念真的是公说公有理,婆说婆有理,评判一张图像的主题色是哪些,一千个看官不可能得到同一个答案,但是他们的答案大多近似。因此本文以用户定义的主题色作为标准答案也算合理。对于每张图像,文章以k=40用k-means方法计算图像的40个颜色作为基准色。用户只能从这40个颜色中挑选5个颜色作为图像的主题色。

文章定义了以下6个方面的特征,提取计算出79个特征变量,这里作简单说明:

视觉显著性  saliency:文章以用户对图像的眼动跟踪数据取定义图像中每个像素的视觉显著性,定义某一套主题色在图像中的视觉显著性为所有主题色所在像素的视觉显著性的叠加,同时定义某颜色视觉显著性密度为叠加值对像素个数的比值。

覆盖误差  coverage error:覆盖误差定义为用主题色去覆盖整张图像所得到的图像和原图像的颜色误差,分硬误差和软误差两种,区别在于一个像素点是由单一主题色覆盖还是由多个主题色的线性叠加覆盖。相似地,还定义了像素在亮度、饱和度、红绿、蓝黄等颜色通道的覆盖误差,以及对图像进行分割后按区域计算的覆盖误差。

颜色多样性  color diversity:颜色多样性考虑颜色之间的平均、最大、最小距离。

颜色集中性  color impurity:颜色集中性考虑与主题色相近的前5%的像素之间的距离。

颜色可命名性  color nameability与颜色统计  color statistics:这两个听起来比较直观,实际上非常模糊,文中也没有详细介绍。

定义好这79个特征之后,就要轮到LASSO上场了。LASSO(least absolute shrinkage selection operator)是一种多元线性回归方法,在传统的多元线性回归式子之余,通过一个约束条件达到特征选择的目的(下图公式摘自于LASSO原文)。其中x是特征,β是特征的权重,如果约束t是一个无穷大的值,那么就跟一般多元线性回归没有差别,但是t逐渐减小的时候特征权重就收到挤压(shrinkage),从而达到去除冗余特征的选择(selection)作用。通过LASSO方法对训练集的学习,所定义的79个特征就被减少到非常有限个。


移步这里有对这个方法的思想和发展比较详细的介绍。

User study就是作者在这个众包平台上设置了40张图像,每个用户接受10张图像的任务,在基准色中找到图像的5个主题色。另外作为对比,作者又找了11个艺术系的学生执行相同的任务。

下图是一张图像的user study结果统计,可以看出用户所选的主题色和艺术系同学的还是差不多的,但是和自动方法选出来的颜色相差较大。


对于建模得到的主题色,作者又以user study去鉴定是否和图像真实主题相近,由用户以评分的方式判断,对给出主题给出1到5分,5分是非常接近而1分是非常不接近。从下图可以看出建模得到颜色和用户组的打分都广受好评(左上角标出平均分),而其它两种方法则稍显劣势。


最后来看下对新图像的建模情况对比:可以看出文章方法能够提取出一些像素覆盖度不是很高,但是在视觉上比较显著的区域,如蝴蝶的白色以及海上的红色太阳等等。


最后文章给出了这79个特征的权重,似乎就可以用于类似于基于主题色的图像检索一类的应用。但实际上,由于视觉显著性是通过用户的眼动跟踪数据得到的,所以无法对没有视觉显著性的图像进行建模,就大大降低了可用性。如果对这个特征进行改进的话,就能让这个方法得到更广泛的应用。

几点补充:

1.之前视物致知已经报道过这篇文章,本博文则是从学术角度重新审视这篇文章。

2.Eurovis的文章针对数据实体本身的颜色语义和设计图元所对应颜色的一致性的问题,比如是水果的数据,那蓝莓就用蓝色,香蕉就用黄色等,感兴趣的看官可以看原论文。(文/浙江大学可视化分析,编辑/郭雪梅)

原文链接:乱色渐欲迷人眼,学习才能得主题

独立开发者的自白:Objective-C最糟糕的13件事 回顾Google这一年——Android篇 百度手机卫士正式发布 “防吸费”功能全球首创 2013年平板电脑市场竞争回顾 Apple太阳能数据中心进展顺利,但却在税负减免上备受争议 一名开发者的年度回顾 智能手表Pebble明年初推应用商店 开发者今日起可提交应用 够快科技推出企业级云存储服务“够快云库” 项目开发中,质量和速度哪个更重要? 亚马逊AWS落地中国,云计算产业圈集体发力 Node.js 2013年大事记 【开源推荐】ThinkPHP:大道至简,让Web开发更简单 IE11中的WebGL探秘:渲染速度超Chrome 数据驱动智能:百度在计算广告学领域的技术突破 UX设计师和软件开发者,谁将是2014年的老大? 爸爸去哪儿:开发知名题材手游压力山大 多平台同步 谈IE11全新功能 高通副总裁沈劲:移动是产生变革的强大原动力 高性能、高流量Java Web站点打造的22条建议 云巅:第三代虚拟技术+搜索引擎+乐高理念打造分布式桌面云 Intel:从“芯”构建下一代数据中心 WhatsApp:50名员工,月4亿活跃用户,日160亿条消息和5亿张图片 三星Galaxy Gear智能手表失利 需改进的8个方面 IE11全新的F12开发人员工具详解 研发周报:为什么开发者担心将代码公布 Hadoop YARN的发展史与详细解析 一周消息树:Firefox OS会不会成为下一个Android PhoneGap 3.3.0发布,支持Android 4.4 KitKat 移动周报:两岸三地在线编程学习网站大搜罗 有道周枫和他的“放养”团队 看IE11如何助力AAF推动公益事业 如何在delphi中截获com中的错误信息 《Windows95程序设计》哪有下载? 在AdoQuery中in的参数该怎么写 熟悉组件的朋友帮忙看看!! 数据库引擎问题 (亟待解决) 来者有分!!!! 请问大哥们如何在ASP中实现在线对WORD文件进行修改 。。。。。急。。。。 请问 gmp 是什么东西 局域网视音频合成传输!!! DELPHI 调用过程ADOStoredProc1的问题?? 如何在多页面浏览器里面设置“前进”,“后退”的按扭的状态?? 使用CppWebBrowser控件显示WEB页面,如何以流的方式读入web页面数据 javabean的一个问题 vc的远程调试 请教一个局域网视音频合成传输的问题!!! 用SQL如何更新数据表的图片? 一个30多岁的人,他刚开始学VC,请问他有前途吗? 关于Cookie的问题,不知道在哪里问合适 谁有用ASP做用MSchart控件生成的饼图源程序给我一份,给他30分! 为什么我的显卡驱动程序安装不上???主板是815Ep的! 请教一个局域网视音频合成传输的问题!!! 不好!出现错误!请帮忙! 有谁对java3d熟悉阿,急需探讨 暴笑中国队连环画 谁能帮帮新手啊!!!!! 如何通过一个网卡用adsl将整个局域带上网 程序中的消息对话框怎么不直接蹦出来,而是要按一下Alt才行? 程序中的消息对话框怎么不直接蹦出来,而是要按一下Alt才行? ListBox->Items->Add()的问题! 为什么我们的局域网内客户机不自动得到dns server 和默认网关??? 请推荐几款多系统启动控制软件 问各位高手一个很菜的问题! 数据窗口中的检索数据问题 毕业设计要交了!急啊!请问fastreport预览时,怎么没有“页面设置”菜单?? SetCellTextColor 的问题 ===读取时如何成比例的改变一张图片的尺寸及大小=== 毕业设计要交了!急啊!请问fastreport预览时,怎么没有“页面设置”菜单?? 意大利终于出线了 QuickRep1.PrinterSettings.duplex中duplex(双重,双向)是怎样用? 怎样使FORM上默认的最大,最小按钮变小一点,比如象OICQ的FORM上按钮? 关于servlet的问题 数组使用的问题,两种下标为什么只一种可以? 关于C语言编写数值计算的,事关人命啊~~~~ 关于组件问题? 急!急!急!一个宽带的问题? 做了个网站,希望大家看看!!!www.gz111.net 谁有window blinds的注册码 在DOS下,如何设置成1024 X 768,256色 如何分页显示XML数据岛内容 非常常见的一个问题,现在也没有解决,请高手帮忙。 公司要求学日语,学三个月,没工资,不知道努力学三个月能否达到凑合能用水平 欧恩净水器过滤后的水做电解实验为什么呈淡茶色? 把冰水混合物放在-10℃的室外,混合物的温度将是? 高中化学+乙烯通入溴水方程式 怎样测量一个乒乓球的直径? 氮气在点燃条件下到底会不会反应啊?无 1、将盛有冰水混合物的容器放在-10℃的室外,则( ).A.冰和水的温度都逐渐降为-10℃ B.水温渐渐降为-10℃,且水渐渐结冰C.水温保持0℃,且水渐渐结冰 D.水渐渐降温而结冰,但冰的温度保持0 怎么判断水 氯化氢 溴化氢 一氧化碳的分子极性大小 铁与稀硝酸反应 生成氮气Fe+ HNO3 (很稀)—— N2↑+Fe(NO3)3+H2O怎麼配平?在线等 你知道哪些国家和城市的名称与河流,湖泊有关? 向水里撒盐后,水面是上升还是下降?为什么?因为没这答案另外:盐是完全溶解在水里的那么应该是不饱和 可以再溶此乃《联合对抗》出的题 它的答案是下降它给的答案与我物理老师给的答案 新建鸡舍与羊舍用什么消毒水消毒好?鸡舍是半放养状态的,地不大就十来只鸡.最好能说明下能用消毒水哪里有售. 碱性水和酸性水对身体(生活)方面有什么好处?市场上有一种饮水机,可以把水分成碱性和酸性,我想知道长期喝碱性水是否对身体有好处?如果在怀孕前喝碱性水对以后胎儿有什么影响?酸性 食盐溶解在水里后,水面会升高吗 食盐溶解在水里后,水面会升高吗 在完全溶解的情况下盐水和糖水哪个质量大?水都是1L,盐和糖都是20g,水温都是35摄氏度,将它们混合后,哪个会在上面? 哪些国家和城市的名称和河流、湖泊有关? 为什么在水里加盐水面反而降低? 84消毒液可以用于鸡舍消毒吗 哪些国家的名称和河流湖泊有关?哪些城市的名称和河流湖泊有关? 食盐溶解在水里后水面会升高吗?请你来研究一下这个问题,并记录你的研究发现和结果. 扩句:今天的天气真冷啊! 碱性水对身体有什么好处? 食盐溶解在水里后,水面会升高吗? 天气真冷.扩句 那些国家和城市的名字与河流、湖泊相关?尽量要多,因为有可能会和书上的重复哦! 生成的新盐+新酸 正盐是什么?实验正盐+碱 现象?结论 天气太热了(扩句) 那些国家与城市的名字和河流,湖泊有关求求各位博学的人 怎样理解弱酸(碱)的正盐的碱(酸)性比酸(碱)式盐强? 求苏教版六年级语文下册第二单元的作文提纲,就是老师不在场的 一个上下粗细一样的平底玻璃杯放在水平桌面上,内盛有深度h1=6.80cm的水.把一个玉石小酒盅开口向上轻轻放在水面上,使其漂浮,用刻度尺量出此时杯中水的深度h2=7.30cm,把小酒盅完全浸没到水 氮气会不会与碳发生反应 石块扔到水中引起水的____而发声,这时鱼会被吓跑,主要是因为____能传播声音. 那些国家的名称和河流、湖泊有关 弱碱性水有哪些品牌 请写出异戊二烯臭氧分解的各种产物的结构简式,他们的物质的量的比为?有两个小问的,别漏啊 李白的诗描写最高的楼是那句 如图:阴影甲比阴影乙的面积大28平方米,AB长40米,BC长多少米? 石头扔在水中引起什么的什么而发声 描写楼的古诗 六年级下册语文第三单元习作 石块扔到水中引起的是什么 写古诗之最 最高的楼—— 最长的头发—— 在常温下,有体积为m升、pH值为a的稀硫酸和pH值为b,体积为n升的烧碱溶液混和后,溶液呈中性.(1)如果a+b=14,则m/n= (填数字)(2)如果a+b=13,则m/n= (填数字)(3)如果a+b>14,则m/n 为什么脂肪是非极性化合物,就可以以无水形式存在体内 醇中的oh的极性为什么比水弱? 是六年级下册人教版语文第三单元习作 我出了山洞(扩句,至少两处) 四季分明的地方的冬天有什么特点?使用生动的语言描述一下 求人教版语文六年级下册第三单元习作!今天之内要!主题是人与人之间的关爱! 小溪从山洞里流出.扩句急 你家乡的冬天有什么特点?用生动的语言描述40~50字. 六年级下册语文第三单元习作,急需 山洞里很黑,________________.(划线部分写山洞里到底怎么个黑法) 镁能把酸性水变成碱性水吗?金属镁,能把偏酸性的水变成碱性水吗?我是看到一款净水机的滤芯里有镁的成分,真的很神奇,偏酸性的水一过滤就变碱性的了。这么直接加镁对身体会不会有什 镁在氮气中反应的条件到底是高温还是点燃?氮气不是没有助燃性吗?可是有些人说要点燃,怎么可能啊。 冬天的词语 怎么能让碱性水变成酸性的? 如下图所示,梯形面积为28平方米.求阴影部分面积 冬天的词语有哪些 如何能让酸性水变为碱性水而且还能直接引用
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘