时间：2019年11月14日 9:00

地点：西苑饭店鸿运厅

会议内容：

    为便于各方及时了解我国高技术领域科技创新成果，结合国家重点研发计划重点专项研究进展，高技术中心分期召开西苑高技术会议，致力于促进高校、科研院所和企业深度融合，加强产业链创新链协同衔接，构建科技创新成果交流平台，加速科技成果应用，切实为我国经济社会高质量发展提供强大的科技供给。本次会议为西苑高技术会议的首期会议，重点围绕国家重点研发计划“云计算和大数据”重点专项部分研究成果邀请专项总体组专家进行解读宣介。

时间：2019年11月12日 13：30-17：00

地点：北京应物会议中心A座第四会议室

参会单位：中国电子技术标准化研究院、中国人民解放军国防科技大学、北京航空航天大学、IBM、中国移动

会议内容：

1. 国防科大欧阳雪老师介绍了Joint cloud computing概念的由来和主要内容，IBM专家指出，在当前技术报告中定义新概念较难，建议先通过描述场景的方式向国际组织推广云际，让大家熟悉该概念

2. SC38答复标准意见讨论

3. SC38其他议题。

课题三（软件所子课题）2017年十二月份工作总结如下：
一、技术研究
主要在如下方面取得进展：
在大数据处理系统优化配置方面： 优化贝叶斯算法预测大数据系统资源配置，通过引入先验知识，过滤噪音数据，提高贝叶斯算法的收敛速度，目前正在Hadoop、Spark上进行最后的实验效果验证，工作进展提交了一篇JCC论文。
在云存储服务的量化评估方面： 优化现有的应用，并构造出相应的应用场景，包括股票交易、网上购物、温度监控以及车辆行驶等。对测试出现问题的应用进行进一步的测试分析，完善测试报告；对没有出现问题的应用调整参数配置，进一步发现问题。
在云存储服务的优化选择方面：进一步优化缓存模块，为缓存模块添加运行时动态调整缓存容量和参数的功能，与先前的实现方式相比在进行缓存调整时不需要挂起虚拟机，从而有效降低维护时间。此外，正在将改进后的缓存模块与原有系统进行对接，以构建完整的服务优化框架。在系统验证方面，目前初步确定使用Cassandra进行验证，后续将搭建测试环境并设计负载。
二、论文专利
截至目前，已发表、录用论文5篇（CCF B类会议1篇，CCF C类会议1篇，JCC会议1篇，软件学报2篇），已申请2项、正在申请1项关于存储管理的专利。

北航2017年12月项目进度如下：

1. 重构云际存储系统结构， 将之前云际存储集中管理模块重构为分布式管理模式，在各个公有云上分布式部署云际存储管理系统。

2. 云际计算子系统GeoSpark系统的详细设计。 

3. 多云存储数据放置的优化模块开发及测试。

4. 论文投稿1篇：
    [1] Y.Wang etc. A Unified Framework to Predicting Passenger Demands for Ride-Hailing Applications, TKDD.

课题三（软件所子课题）2017年十一月份工作总结如下：
一、技术研究
主要在如下方面取得进展：
在大数据处理系统优化配置方面：验证主流机器学习方法，在配置预测方面的准确性，最后发现，贝叶斯算法的预测准确较好，拟打算基于贝叶斯实现大数据处理系统的优化配置。
在云存储服务的量化评估方面： 对Flink中有代表性的应用进行测试，并给出了测试结果及分析。其中，测试SessionWindowing应用以验证Session窗口的Gap值变化对应用运行时的性能影响；测试ExactSemantics应用以验证“恰好一次”语义保障的性能影响；测试TemperatureMonitor应用以验证Flink中CEP API。
在云存储服务的优化选择方面：改进缓存模块的数据和元数据存储格式以降低不必要的针对快速介质的访问操作，初步测试表明与之前的实现相比降低了80%的冗余读写操作。此外，从缓存模块中提取了关键参数（缓存块大小、缓存容量、缓存策略等）以供后续运行时动态调节，为云存储服务优化选择提供支撑。前期介质优化的相关工作已整理并提交至JCC会议，扩展版提交至中国科学期刊。
二、论文专利
截至目前，已发表、录用论文5篇（CCF B类会议1篇，CCF C类会议1篇，JCC会议1篇，软件学报2篇），已申请2项、正在申请1项关于存储管理的专利。

课题三（软件所子课题）2017年十月份工作总结如下：
一、技术研究
主要在如下方面取得进展：
在大数据处理系统优化配置方面：选取Hadoop、Spark的典型测试基准，采用7种常见的机器学习方法，用于大数据处理系统的优化配置预测（涉及虚拟机CPU、内存配置，虚拟机个数等），并给出了测试报告。测试结果显示，利用KNN算法效果较优。
在云存储服务的量化评估方面： 选取了Flink的两个典型应用WindowWordCount和WindowJoin进行测试，并给出了测试报告。测试过程中，通过工具FlinkProfiler收集Metrics信息；测试结束后，使用工具FlinkScripts给出相应的数据统计图，从而验证两个工具的可用性。
在云存储服务的优化选择方面：正在对嵌入QEMU的缓存模块进行性能测试，并同步进行性能优化。目前正在使用IO基准测试工具进行性能测试，并与主流方案（如dm-cache等）进行对比。进一步地，正在扩展QEMU的命令行参数，添加缓存模块相关的配置，以适配不同的云际服务提供商，并提供与决策模块交互的接口。
二、论文专利
截至目前，已发表、录用论文5篇（CCF B类会议1篇，CCF C类会议1篇，JCC会议1篇，软件学报2篇），已申请2项、正在申请1项关于存储管理的专利。

课题三（软件所子课题）2017年九月份工作总结如下：
一、技术研究
主要在云存储服务的量化评估与优化选择方面取得进展：
在云存储服务的量化评估方面： 进一步改进流式处理系统可靠性测试框架，制定了更详细的测试方案，明确了用于测试结果分析的metrics信息，总结了整套测试流程。针对相关metrics信息的需求，修改了flink-1.3.1的部分源码，并提供了以下两个工具：（1）FlinkProfiler，用于收集测试中产生的metrics信息，并保存成文件；（2）FlinkScripts，用于对收集的metrics信息进行图表处理，便于对测试结果进行对比分析。
在云存储服务的优化选择方面：已在QEMU中嵌入了基于LRU的缓存逻辑，从而初步实现短I/O路径的介质加速。在此基础上使用IO基准测试工具完成了功能测试。后续将使用应用的存储需求模型指导缓存参数配置、I/O路径优化及云存储的差分服务。
二、论文专利
截至目前，已发表、录用论文5篇（CCF B类会议1篇，CCF C类会议1篇，JCC会议1篇，软件学报2篇），已申请2项、正在申请1项关于存储管理的专利。

课题三（软件所子课题）2017年八月份工作总结如下：
一、技术研究
主要在如下方面取得进展：
1 云际存储资源抽象模型与聚合：研究存储代码的自动生成技术。对比、调研了阿里云、Amazon和Azure的存储实现相关代码，提取接口，找到了两种接口实现模式。
2 云存储服务的量化评估与优化选择：
在云存储服务的量化评估方面： 进行了流式处理系统可靠性测试和Spark SQL测试。在流式处理系统可靠性测试方面，针对Flink添加应用运行时的CPU负载数据收集，发现并修复Flink系统CPU数据收集的bug，并根据TaskManager的资源使用情况，调整整体测试方案。在Spark SQL测试方面，对TPC-H测试数据进行统计分析与绘图，主要包括应用执行时间、应用阶段（stage）执行时间、任务执行时间等。
在云存储服务的优化选择方面：分析主流虚拟机仿真器QEMU的相关源代码，识别QEMU的IO操作流程，并初步实现对这一流程的控制。后续将实现通讯机制以及具体云存储服务的适配。
二、论文专利
截至目前，已发表、录用论文5篇（CCF B类会议1篇，CCF C类会议1篇，JCC会议1篇，软件学报2篇），已申请2个关于存储管理的专利。

北航8月份项目进度如下：（其中5-20日学生放假两周）

1. 完成云际网盘CloudFS服务化重构，实现了利用统一账户批发公有云的存储空间，再在云际管理系统层实现多租户。

2. 跨云际多方计算子系统GeoSpark设计。 
3. 多云存储数据放置的优化模块开发： 在基本模型基础上，考虑标准存储，低频存储，冷存储等存储模式，预计9月中旬完成。
4. 论文录用2篇，专利受理1项：
    [1] L.Du, T.Wo, R.Yang and C.Hu. Cider: a High Performance Network Storage Based Container Deployment System. IEEE HPCC 2017（CCF C）
    [2] X.Ouyang, C.Wang, R.Yang, P.Townend, J.Xu. ML-NA: a Machine Learning based Node Performance Analyzer Utilizing Straggler Statistics,   IEEE ICPADS 2017(CCF C)
    [3] 沃天宇、杜炼、杨任宇、胡春明.  一种大规模容器的快速部署方法 （中国专利）

课题三（软件所子课题）2017年七月份工作总结如下：
一、技术研究
主要在云存储服务的量化评估与优化选择方面取得进展。
在云存储服务的量化评估方面：调研并选取了云际场景下流式处理系统中的典型应用进行了可靠性测试及分析。
对于Flink平台，选取了Flink Streaming中的WindowWordCount以及WindowJoin两个应用进行测试，包括负载测试（针对不同Source并发度、不同负载类型）和窗口组合测试（组合翻滚窗口、滑动窗口、会话窗口等不同类型）。
对于Spark平台，全面测试并统计Spark SQL基准测试应用（TPC-H queries）在不同配置下的性能，主要调整指标包括数据规模、倾斜度、系统物理资源、数据并行度等，最终测试各个SQL语句运行时间及其线性加速比值。观察并明确SQL语句执行失败原因。同时，查看SQL执行计划，统计各个执行计划算子类型和算子数目，进一步分析这些因素对SQL语句执行的影响。
在云存储服务的优化选择方面：针对大数据应用集群，对其中的虚拟机进行细粒度监测，并使用虚拟机的IO性能以及IO流量占网络流量的比例确定虚拟机存储的收益，初步建立云际大数据应用的存储需求模型。
二、论文专利
截至目前，已发表、录用论文5篇（CCF B类会议1篇，CCF C类会议1篇，JCC会议1篇，软件学报2篇），已申请2个关于存储管理的专利。