【编者的话】本次分享介绍了企业用户私有云的建设与变迁过程。从VMware虚拟化起步到后期的管理多种类型计算池与存储池的异构云平台，用户的需求，软硬件选型都具有代表性。主要内容包括：
- 云平台管理CloudStack资源池拓扑介绍
- CloudStack到OpenStack的变迁
- OpenStack对接多种类型存储
- 云平台升级与对接多种类型资源池
大家好，今天分享一个私有云平台的实施和升级案例。
客户是一家研发公司。用户主要是公司的研发测试人员。
这个环境的特点是虚拟机的生命周期较短。一般一个项目开始会申请一批虚拟机，随着研发测试结束虚拟机就会销毁，而且在使用中经常会有测试失败虚拟机重建的情况。
还有一个特点就是负载较集中，每逢月底或周末前会有一个业务高峰期，周末或节假日时间负载明显变小。
我们先来看看第一个版本的云架构：
上图中：
- 用户新建了两个资源池，并且都采用CloudStack平台。
- Hypervisor采用了VMware vSphere 和Linux KVM 两种。
- 存储分别用到了本地存储和共享存储，共享存储VMware 使用iSCSI，KVM使用NFS。
当一期项目实施时，OpenStack还在测试阶段，但是CloudStack已经稳定上了生产，而且考虑到用户已经有了vSphere 虚拟化池，所以采用了CloudStack平台作为资源池。同时这个项目也是用户试点，客户提出要使用异构的虚拟化技术，所以之后又新加了一个KVM的POD。
存储方面，vSphere底层使用iSCSI存储，KVM使用NFS存储，计算节点上都配置2个千兆网卡绑定后作为存储网专用。然后SkyForm CMP统一管理这两个资源池。
第二个CloudStack池是第一个池上线后扩容的，主要是考虑到使用部门要求的底层隔离，没有采用扩容集群而是新建了一个资源池。这个池主要是提供用户大数据研发使用，对于数据隔离有较高要求，而且考虑到不影响其他业务。所以采用了本地存储的方式。
两个资源池采用SkyForm CMP 3.0平台统一管理。用户通过SkyForm Portal登陆后可以申请相应业务虚拟机虚拟机。管理员可以审批或是代开资源给用户。完全实现了用户的自服务。
后来，我们发布了SkyForm CMP 3.1 。客户环境也很容易实现了升级。
这是SkyForm CMP 3.1标准版的功能视图。
之后，随着客户公司业务的扩展，之前创建的资源池已经饱和，而且部分资源池已经超卖比较严重。客户启动了二期扩容项目。
二期是一期的扩容，主要工作是：
- 扩容更多资源池以满足快速增长的业务需求。
- 原有机器扩容配置（增加内存）实现更高的虚拟化利用率。
在一期运维期间，客户成立了自己的云平台运维部门，而且OpenStack 新版本也开始在生产中使用。一期CloudStack池中的VMware Esxi主机由于其他原因，有大量主机需要下线，客户打算下线之后重装成KVM。
于是，一期到二期过渡期间客户的架构图就是这样：
这一期用户新建设了2个OpenStack资源池。SkyForm CMP也升级到了4.0版本。
最右侧的资源池计算节点配了双万兆存储网卡，同时用户新购了1台SAN存储。这个资源池用户计划部署一批重要的业务虚拟机，要求该资源池的计算节点能使用本地存储、Ceph存储和SAN存储（iSCSI）三种类型的存储。
OpenStack支持多种存储是Cinder实现的，关于配置细节我们有相关的配置文档，大家有兴趣可以去我们网站下载。
另一个资源池主要还是提供研发测试使用，包括新购的一批设备和从一期下架的原Esxi主机。
之前已经说过，由于用户虚拟机的应用场景主要是研发测试，所以一期cloudstack资源池的主机下线并不是非常麻烦的事情。随着虚拟机的销毁，一期主机逐步释放，随后下架增加内存再重装系统作为KVM计算节点加入到OpenStack资源池使用。
这里也顺带提一下，很多虚拟化云平台项目中，计算节点往往都是CPU使用率普遍较低，但是内存使用率一般都比较高。所以在虚拟化主机选型的时候最好配置大内存。
对于迁移到最后剩下的虚拟机处理方式：
- 原先CloudStack池KVM上的虚拟机，我们申请关机后采用rbd import直接拷贝卷到Ceph池中，之后在新OpenStack池开机。
- 原先在CloudStack 池中VMware 主机上的虚拟机。采用qemu-img convert 的方式转成qcow2，之后导入Ceph池，采用上面同样的办法开启。
- 还有一部分虚拟机始终没有申请到关机时间窗口。最后保留。我们把需要保留的虚拟机全部热迁移到3台esxi主机上，其他主机全部下线重装KVM。最后在SkyForm中删除CloudStack资源池，再纳管保留下来的VMware Vcenter做为一个单独的VMware 资源池。
这样，一期的CloudStack资源池全部下线。二期实施改造也算成功完成。
最后，请大家看看SkyForm CMP4.0的功能架构。
今天的分享内容就是这些。
Q&A
Q：CMP怎样实现易构多资源池管理，一个OpenStack，一个VMware？Q：CloudStack和OpenStack也属于云管平台 上层套SkyForm的定位也是云管平台 这样做的原因是什么？会不会有些臃肿或是在功能会有冲突？
A：CMP针对每种类型的资源池提供特定的driver，当前4.0版本已经支持CloudStack、OpenStack、VMware，公有云支持阿里云、Amazon等。
Q：请问OpenStack的Keystone、Glance、Neutron分别与VMware如何结合的？
A：对SkyForm CMP来说，OpenStack和CloudStack只是一个虚拟化资源池。SkyForm CMP是一个统一的管理平台，不仅能管理不同类型的虚拟化资源池，企业版CMP平台还能管理物理机资源池。
Q：看到图例里面SkyForm也支持Docker容器 开始也提到客户的VM生命周期很短 为何不建议用户用容器取代一部分虚拟机的工作呢？
A：这个项目的OpenStack 资源池中，我们只使用了KVM。VMware是最为一个和OpenStack平级的虚拟化资源池。SkyForm CMP 在上层管理网络和镜像。SkyForm CMP和OpenStack使用同一套Keystone。
Q：镜像可以跨平台，跨资源池使用吗？
A：是的，我们已经支持容器了。使用虚拟机主要是用户业务决定了，这个项目用户的程序都在虚拟机里面跑的，还没有容器化。
Q：好多OpenStack版本中不支持克隆和快照，SkyForm CMP是否完善过这些功能呢？
A：镜像是不能跨平台的，比如VMware的镜像是OVA，KVM的镜像是qcow2，是无法直接使用的。补充一个功能，CMP支持使用IOS创建虚拟机。
Q：这家的OpenStack使用的是什么版本的OpenStack，上到生产环境了么 ？
A：对于VMware资源池和CloudStack资源池，快照和克隆功能已经支持。OpenStack我们有修改过，支持Ceph存储的快照，对于san存储还需要看具体设备了。
Q：VMware尚不具备SDN，OpenStack具备SDN这块是怎么补齐的呢？
A：先后有I版和K版上线。是生产环境。
以上内容根据2016年9月8日晚微信群分享内容整理。分享人高铭，天云软件高级实施架构师。从事SkyForm云管理平台的实施与技术支持工作。对VMware vSphere、Citrix XenServer、KVM、CloudStack、OpenStack有较多的实施部署与运维经验。 DockOne每周都会组织定向的技术分享，欢迎感兴趣的同学加微信：liyingjiesz，进群参与，您有想听的话题或者想分享的话题都可以给我们留言。
A：SkyForm CMP 支持VMware 分布式交换机，可以实现基本的网络隔离和控制需求。在这个项目中，用户虚拟机都在客户企业内网，虚拟机网关直接使用网络设备。
有疑问加站长微信联系（非本文作者）
