博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
简单了解阿里云批量计算(下篇)
阅读量:6471 次
发布时间:2019-06-23

本文共 1261 字,大约阅读时间需要 4 分钟。

hot3.png

关于阿里云批量计算的详细内容:

(批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,并按实际使用量计费。BatchCompute广泛应用于电影动画渲染、生物数据分析、多媒体转码、金融保险分析、科学计算等领域。)

功能特性

1. 提交作业
用户使用工具(如SDK,命令行工具等)向 BatchCompute 提交作业,BatchCompute 使用用户指定的镜像(如:ubuntu)启动虚拟机(VM), 在虚拟机中运行用户程序, 运行完成后释放虚拟机(VM)。

  • BatchCompute中使用OSS作为持久化存储。您可以在程序运行完成时将结果数据保存到OSS中。在批量计算中,也可以通过文件接口的方式访问OSS上的数据,请参阅OSS挂载功能。
  • BatchCompute程序默认运行在VM中,也可以支持 Docker容器。 
  • 也就是说,您可以自定义ECS镜像或者使用Docker,在镜像中安装自己需要的任何软件,用来运行您的任何程序。

作业描述

用户需要提交一个作业(Job)描述JSON文件到批量计算服务,该JSON文件中详细描述了需要执行哪些程序(可以多个程序),运行哪些程序需要启动多少台机器,机器的规格(内存和CPU等),运行日志打印到哪里,完成后结果输出到哪里等。
一个作业(Job)包含多个任务(Task), 按照您指定DAG描述的顺序执行。
每个任务定义了使用哪个镜像,使用什么实例规格,运行哪个程序,需要多少台机器运行,还有结果存储在哪里等。
2. 管理我的作业
您可以使用工具(控制台,命令行工具等),查看我提交的作业,可以停止,重启,或删除作业。 查看各个任务的情况,各个实例(VM实例)的情况和日志。下图是控制台的作业管理界面:
3. 使用集群
由于每次运行程序前需要启动虚拟机,会占用一定的时间(一般几分钟左右),遇到忙时有可能申请不到资源(虚拟机被其他客户使用了),您提交作业后可能需要等待一段时间才能运行。
如果您想要提高运行效率,可以先创建好集群,指定需要的虚拟机数量(比如:5台)和镜像ID,BatchCompute会为您分配好机器并启动,这些机器会一直处于运行状态,一旦您提交作业上来,就可以直接运行,效率较高。
4. 自定义镜像
您提交作业或者创建集群时,可以使用批量计算官方提供的镜像,也可以使用自定义镜像。自定义镜像的好处是,可以自己安装需要的软件。
产品优势

  • 海量并发
  • 支持十万核级别并发规模。
  • 自动高效完成数据及计算分布。
  • 弹性伸缩
  • 根据作业需求动态分配计算资源。
  • 支持任务依赖关系(DAG),轻松组建工作流。
  • 易用安全
  • 支持自定义镜像。
  • 支持Open API易于集成。
  • 多租户隔离。
  • 按量付费:按照计算资源实际使用量付费。

更多精品课程:

阿里云大学官网()

转载于:https://my.oschina.net/u/3637633/blog/1813665

你可能感兴趣的文章
01-19asp.net基础--网站登录及验证
查看>>
字符串匹配--manacher算法模板
查看>>
网络编程
查看>>
自定义分页控件-基于Zhifeiya的分页控件改版
查看>>
计算A+B
查看>>
注解总结
查看>>
ios使用kvc机制简化对json的解析
查看>>
IOS 简单的 加减分 动画
查看>>
walsh矩阵
查看>>
响应式开发一招致胜 学习视频 分享
查看>>
网易 线代
查看>>
hdu 1695 gcd
查看>>
CDN技术学习
查看>>
写数据到文件注意事项write方法
查看>>
swift 如何删除subviews
查看>>
LeetCode刷题笔记-递归-路径总和
查看>>
Linux编程 bool 类型的问题
查看>>
java的字符串
查看>>
Google Analytics SEO 实时 网站 访问量 统计
查看>>
转:加强debug能力来提高工作效率
查看>>