当前位置:刘伯温高手心水论坛1 > 软件库管理员 >

数据库驱动的应用程序新软件可以将硬件需求降低95%

  对于许多公司而言,将他们的网络应用服务器迁移到云是一个有吸引力的选择,因为云计算服务可以提供规模经济,广泛的技术支持和容易适应需求波动。

  但对于严重依赖数据库查询的应用程序,云托管可能会造成解决的问题。云服务通常将其服务器划分为“虚拟机”,每个虚拟机在服务器的中央处理单元上每秒进行如此多的操作,在内存中有如此多的空间等。这使得云服务器更易于管理,但对于数据库密集型应用程序,它可以分配大约20倍的硬件。过度供应的成本会转嫁给客户。

  麻省理工学院的研究人员正在开发一种名为DBSeer的新系统,它应该有助于解决这个问题和其他问题,例如云服务的定价和应用程序减速的诊断。在最近的创新数据系统研究双年度会议上,研究人员阐述了他们对DBSeer的愿景。6月,在计算机协会数据管理特别兴趣小组(SIGMOD)年会上,他们将揭示DBSeer核心的算法,这些算法利用机器学习技术建立精确的性能和资源模型。数据库驱动的应用程序的需求。

  DBSeer的优势也不仅限于云计算。Teradata是一家主要的数据库公司,已经指派其多名工程师将MIT研究人员的新算法(已在开源许可下发布)导入其自己的软件中。

  Barzan Mozafari是电气工程和计算机科学教授Samuel Madden的实验室博士,也是两篇新论文的主要作者,他解释说,对于虚拟机,必须根据应用程序的峰值需求分配服务器资源。“你不会一直达到峰值负荷,”莫扎法里说。“这意味着这些资源大部分时间都未得到充分利用。”

  此外,Mozafari说,高峰需求的供应主要是猜测。“这非常违反直觉,”Mozafari说,“但你可能会承担某些类型的额外负载,这可能有助于你的整体性能。”需求的增加意味着数据库服务器将更多的常用数据存储在其高速内存中,这可以帮助它更快地处理请求。

  另一方面,需求的略微增加可能导致系统急剧减速 - 例如,如果太多请求需要修改需要在多个服务器上更新的相同数据。“这非常非线性,”Mozafari说。

  Mozafari,Madden,博士后Alekh Jindal和Carlo Curino,前Madden团队的成员,现在在微软,在SIGMOD论文中使用两种不同的技术来预测数据库驱动的应用程序将如何响应增加的负载。Mozafari将第一种方法描述为“黑匣子”方法:DBSeer只监控用户请求和系统性能的数量和类型的波动,并使用机器学习技术来关联这两者。这种方法很好地预测了不会超出训练数据范围的波动的后果。

  但是,数据库管理员(或未来的云计算客户)通常会对需求增加四倍,十倍甚至百倍的后果感兴趣。对于这些类型的预测,Mozafari解释说,DBSeer使用“灰盒子”模型,该模型考虑了特定数据库系统的特性。

  例如,Mozafari解释说,更新存储在硬盘驱动器上的数据是非常耗时的,因此大多数数据库服务器会尝试推迟该操作,只需将它们存储起来,而不是将数据修改存储在速度更快但非易失性的主存储器中。但是,在某些时候,服务器必须将其挂起的修改提交到磁盘,并且做出该决定的标准可能因数据库系统而异。

  在SIGMOD上展示的DBSeer版本包括MySQL的灰盒模型,MySQL是最广泛使用的数据库系统之一。研究人员目前正在为另一个流行的系统PostgreSQL构建一个新模型。尽管调整模型并不是一件可以忽略不计的事,但仅针对少数系统量身定制的模型将涵盖大多数数据库驱动的Web应用程序。

  研究人员针对一组称为TPC-C的基准数据测试了他们的预测算法,该数据通常用于数据库研究,并针对维基百科数据库修改的实际数据进行测试。平均而言,该模型在预测CPU使用率方面准确率约为80%,在预测磁盘操作所消耗的带宽方面准确率为99%。

  Teradata的数据库软件架构师道格布朗说:“我们真的很着迷,也很高兴有人在做这项工作。” “我们已经采用了这些代码并且正在进行原型设计。”最初,布朗说,Teradata将使用麻省理工学院研究人员的预测算法来确定客户的资源需求。“对我们的客户来说,线;我们如何扩大规模?”布朗说。

  然而,Brown希望该算法最终有助于在数据库请求进入时动态分配服务器资源。如果服务器可以相应地评估各个请求和预算所强加的需求,他们可以确保事务时间保持在由设置的范围内。客户的服务协议。例如,“如果你有两个大的,大的资源消费者,你可以提前计算我们只会并行运行其中两个,”布朗说。“你可以在工作负载管理中玩各种各样的游戏。

http://juliekusyk.com/ruanjiankuguanliyuan/90.html
点击次数:??更新时间2019-05-25??【打印此页】??【关闭
  • Copyright © 2002-2017 DEDECMS. 织梦科技 版权所有  
  • 点击这里给我发消息
在线交流 
客服咨询
【我们的专业】
【效果的保证】
【百度百科】
【因为有我】
【所以精彩】