正在阅读:麻省理工神科技:大数据分析自动化

麻省理工神科技:大数据分析自动化

2016-03-22 16:53:33来源:网络大数据 关键词:云计算大数据大数据分析阅读量:34348

导读:大数据分析包括寻找有某种预测能力的埋藏模式。但是,选择哪些数据的“特征”来进行分析通常需要靠人类的直觉。
  【中国智能制造网  技术前沿】大数据分析包括寻找有某种预测能力的埋藏模式。但是,选择哪些数据的“特征”来进行分析通常需要靠人类的直觉。
  麻省理工神科技:大数据分析自动化

  在一个包含数据库中,举个例子,各种促销和每周的利润的开始和结束日期,其关键数据可能不是日期本身而是它们之间的跨度,或着不是总利润,但平均跨越这些跨度。
  
  这套取代人的直觉与算法的系统,优于906个人类团队中的615个团队。
  
  大数据分析包括寻找有某种预测能力的埋藏模式。但是,选择哪些数据的“特征”来进行分析通常需要靠人类的直觉。在一个包含数据库中,举个例子,各种促销和每周的利润的开始和结束日期,其关键数据可能不是日期本身而是它们之间的跨度,或着不是总利润,但平均跨越这些跨度。
  
  麻省理工学院的研究人员的目标是,用一个不仅能搜索模式也能设计特征的新系统把人类元素从大数据分析中剥离出来。为了测试他们系统的个原型,他们参加了三个数据科学竞赛,它与人类团队比赛,在不熟悉的数据集中找到预测模式。906个团队参与了三项比赛,研究人员的“数据科学机器”先于615个团队完成。
  
  在三项比赛中,数据科学机器的预测的准确率是94%和96%。第三个数字则是一个更为温和的数字87%。人类的团队通常需要进行好几个月的预测算法,而数据科学机器产生它的每一个条目只花了2-12小时。
  
  “我们把数据科学机器视为人类智能的自然补充,”Kanter说,他在麻省理工的硕士论文是《数据科学机器的基础》。“有这么多的数据需要进行分析。现在它(机器)只是待在那里没有做任何事。因此,也许我们可以拿出一个至少让我们能够开始着手、让我们前进的解决方案。”
  
  项目之间
  
  Kanter和他的导师KalyanVeeramachaneni,麻省理工学院计算机科学和人工智能实验室的研究科学家(CSAIL),在他们的论文中描述了数据科学机器,Kanter将在下周的IEEE科学数据和先进分析会议上发表。
  
  Veeramachaneni统一领导计算机科学与人工智能实验室的所有成员组,在大数据分析的实际问题中采用机器学习技术,如依据风电场场址确定其发电能力或预测学生从在线课程中辍学的风险。
  
  “我们从解决一些工业数据科学问题的经验中观察到的是一个非常关键的步骤,称为特征工程,”Veeramachaneni说。“你要做的件事就是把你的数据从数据库或结构中提取出来,为了做这个,你必须得有很多想法。”
  
  例如,2个关键指标被用在预测辍学上:一个学生花多少时间解决一个问题集和一个学生相比他或她的同学花了多少时间在课程网站上。麻省理工学院的在线学习平台MITx不记录那些统计数字,但它可以从推断中收集数据。
  
  特色组成
  
  Kanter和Veeramachaneni使用了一些技巧来制定数据分析候选特征。一种是利用数据库设计中固有的结构关系。数据库通常在不同的表中存储不同类型的数据,使用数字标识表示它们之间的相关性。数据科学机器跟踪这些相关性,将它们作为一个线索进行功能建设。
  
  例如,一个表可以列出零售项目和它们的成本;另一个表可能包括在个别客户购买的项目中列出的项目。数据科学机器将从个表中的个表输入到第二个。然后,从第二表的关联的几个不同的项目中选择相同的购买数量,它将执行一套操作,以产生候选功能:总成本,每个订单,每个订单的平均成本,低成本,每个订单,等等。作为跨表格的数字标识,数据科学机器会在各自层的顶端进行相互操作,找到小的平均值、平均数、和等。
  
  它也寻找所谓的分类数据,这似乎是限制在一个有限的范围内的值,如一周的天数或品牌名称。然后,它会依据划分现有的跨类别的功能产生新的功能。
  
  一旦它生成了一系列的备选项,它会减少它们的数量以确定这些值具有相关性。然后开始测试其样本数据的简化特征,使它们以不同的方式来优化它们预测收益率的准确性。
  
  “数据科学机器是一个令人惊奇的、前沿的研究解决实际问题的项目,是一种看问题的全新的方式。”MargoSeltzer说到,他是一个没有参与这项工作的哈佛大学计算机科学教授。“我想他们所做的将迅速成为一种标准——很快就会。”
我要评论
  • 2025年4月1日开始施行的重要新规一览

    四月,一系列新规定即将实施,包括《公共安全视频图像信息系统管理条例》、《车联网网络安全异常行为检测机制》等。
    大数据服务平台
    2025-04-02 09:31:36
  • 铁塔大数据灾害分析平台:提升自然灾害智能化预警水平

    目前,我国灾害预防面临着监测预警网络不健全、实效性不高、精准性不强,“三断”(断路、断网、断电)无法及时发现等问题,亟需建立防灾减灾预警网络,实现“灾后救助”向“灾前预防”转变的目标。
    大数据灾害分析平台
    2025-03-19 10:47:45
  • 淄博市召开大数据系统工作会议暨“三拼三比”动员部署会

    会议指出,2024年是新一轮机构改革后全市大数据系统全面履职的第一年,全市大数据系统在市委市政府的坚强领导和省大数据局的有力指导下,数据要素价值加速释放、数字经济发展步伐加快、数字政府建设深入推进、数字支撑底座更为夯实,数字淄博建设取得明显成效。
    大数据服务平台
    2025-03-18 10:07:30
  • 公司重要动态速览|海康威视、新华三、宇树科技......

    近期,智慧城市领域的企业有哪些动态呢?小编整理了一下,一起来回顾。海康威视发布视觉大模型周界摄像机;宇树科技入驻阿里速卖通AliExpress出海......
    大数据服务平台
    2025-03-16 14:10:47
  • 贵州省大数据局召开数字企业座谈会

    会上,朱宗尧介绍了全省数据工作“一体两翼三大转型”总体思路及数字产业重点发展方向,数字产业处就起草促进数字产业发展相关政策措施有关情况作了说明。
    大数据服务平台
    2025-03-10 11:14:27
  • 2025年政府工作报告指引下的6G发展图景

    6G即第六代移动通信技术,支持更高的传输速率、极低的延迟,且提出了新的场景,如通信和感知的结合、通信和人工智能的融合以及泛在物联等。
    大数据6G智慧城市
    2025-03-10 10:57:11
版权与免责声明:

凡本站注明“来源:智能制造网”的所有作品,均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品,未经本站授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:智能制造网”。违反上述声明者,本站将追究其相关法律责任。

本站转载并注明自其它来源(非智能制造网)的作品,目的在于传递更多信息,并不代表本站赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、平台或个人从本站转载时,必须保留本站注明的作品第一来源,并自负版权等法律责任。如擅自篡改为“稿件来源:智能制造网”,本站将依法追究责任。

鉴于本站稿件来源广泛、数量较多,如涉及作品内容、版权等问题,请与本站联系并提供相关证明材料:联系电话:0571-89719789;邮箱:1271141964@qq.com。

不想错过行业资讯?

订阅 智能制造网APP

一键筛选来订阅

信息更丰富

推荐产品/PRODUCT 更多
智造商城:

PLC工控机嵌入式系统工业以太网工业软件金属加工机械包装机械工程机械仓储物流环保设备化工设备分析仪器工业机器人3D打印设备生物识别传感器电机电线电缆输配电设备电子元器件更多

我要投稿
  • 投稿请发送邮件至:(邮件标题请备注“投稿”)1271141964.qq.com
  • 联系电话0571-89719789
工业4.0时代智能制造领域“互联网+”服务平台
智能制造网APP

功能丰富 实时交流

智能制造网小程序

订阅获取更多服务

微信公众号

关注我们

抖音

智能制造网

抖音号:gkzhan

打开抖音 搜索页扫一扫

视频号

智能制造网

公众号:智能制造网

打开微信扫码关注视频号

快手

智能制造网

快手ID:gkzhan2006

打开快手 扫一扫关注
意见反馈
我要投稿
我知道了