【开源分享】深入研究 kvm,ceph,fuse特性，包含开源项目，代码案例，文章，视频，架构脑图等

## 一、KVM  ### [文档](https://github.com/0voice/kernel_awsome_feature#文档) - 官方文档: - 官方网址：https://www.linux-kvm.org/page/Main_Page - Avi Kivity 在Linux 内核中的邮件: http://lkml.iu.edu/hypermail/linux/kernel/0610.2/1369.html - KVM 博客：http://planet.virt-tools.org/ - KVM 论坛：https://events.linuxfoundation.org/kvm-forum/ - 其他文档： - Linux_2_6_20 版本文献：https://kernelnewbies.org/Linux_2_6_20#head-bca4fe7ffe454321118a470387c2be543ee51754 - kvm源码托管仓库 : https://git.kernel.org/pub/scm/virt/kvm/kvm.git/ - kvm源码下载：https://sourceforge.net/projects/kvm/files/?source=navbar ### 与虚拟化相关的程序包 - [qemu-kvm](https://www.qemu.org/)：主要的KVM程序包 - [libvirt](https://libvirt.org/)：用于管理超级监视程序的libvirtd服务 - 代码管理仓： https://gitlab.com/libvirt/libvirt - [libvirt-client](https://centos.pkgs.org/7/centos-updates-x86_64/libvirt-client-4.5.0-36.el7_9.3.x86_64.rpm.html)：用于管理虚拟机的virsh命令和客户端API - [virt-install](https://linux.die.net/man/1/virt-install)：创建虚拟机需要的命令行工具 - [virt-manager](https://virt-manager.org/)：GUI虚拟机管理工具（图形界面） - [virt-top](https://linux.die.net/man/1/virt-top)：虚拟机统计命令 - [virt-viewer](https://gitlab.com/virt-viewer/virt-viewer)：用于连接到虚拟机的图形控制台 ## 图形管理工具 - Kimchi（英语：[Kimchi (software)](https://www.wikiwand.com/en/Kimchi_(software))） – 网页版KVM虚拟化管理工具 - [Virtual Machine Manager](https://www.wikiwand.com/zh-sg/Virtual_Machine_Manager) – 支持创建、编辑、启动与停止基于KVM的虚拟机，同时也支持对宿主之间的实时或冷拖拽虚拟机迁移。 - [Proxmox虚拟环境](https://www.wikiwand.com/zh-sg/Proxmox_VE) – 一项开源的虚拟化管理包，包括KVM与[LXC](https://www.wikiwand.com/zh-sg/LXC)。同时它还有裸机安装器、网页版远程管理界面、HA集群堆栈、统一存储、柔性网络及可选的商业支持。 - OpenQRM（英语：[OpenQRM](https://www.wikiwand.com/en/OpenQRM)） – 用于管理不同数据中心基础设施的平台。 - [GNOME 机柜](https://www.wikiwand.com/zh-sg/GNOME_機櫃) – Linux上用于管理libvirt客户机的Gnome界面。 - oVirt（英语：[oVirt](https://www.wikiwand.com/en/oVirt)） – 用于管理基于libvirt的KVM开源工具。 ### [文章](https://github.com/0voice/kernel_awsome_feature#文章) - KVM 学习笔记 - KVM与VMware哪个好？如何选择更好的 Hypervisor - KVM之内存虚拟化 - KVM详解 - QEMU-KVM 虚拟化环境的搭建与使用 - 详解KVM虚拟化原理 - KVM到底是个啥？ - KVM实践初步 - KVM管理工具libvirt - KVM虚拟机的各种安装方法 - KVM虚拟机全生命周期管理实战 - KVM虚拟机存储管理实战（上篇） - KVM虚拟机存储管理实战（下篇） - KVM虚拟机网络管理实战 ### [学术论文](https://github.com/0voice/kernel_awsome_feature#学术论文) - Linux-based Virtualization - Architecture of the Kernel-based Virtual Machine (KVM) - IBM-Best practices for KVM - Introduction to KVM - Virtio-blk Performance Improvement - Virtualization with KVM - KVM客户机主动共享的内存超量使用策略研究 - KVM系统任务管理的设计与实现 - KVM虚拟化动态迁移技术的安全防护模型 - KVM虚拟机CPU虚拟化的研究与调度策略的优化 - KVM虚拟机热迁移算法分析及优化 - KVM虚拟机的性能研究与改进 - KVM虚拟机的漏洞验证与利用方式研究 - QEMU-KVM设备虚拟化研究与改进 - Xen与KVM虚拟化方案的设计与性能评比 - Xen和KVM等四大虚拟化架构对比分析 - 基于KVM的虚拟桌面基础架构设计与优化 - 基于IEEE1588的虚拟集群任务同步测量技术研究 - 基于KVM云计算平台的分布式关系型数据库的设计与实现 - 基于KVM的桌面虚拟化VDI研究以及实现 - 基于KVM的私有云应用平台的设计与实现 - 基于KVM的虚拟机自省系统设计与实现 - 基于KVM的虚拟机调度方法研究 - 基于KVM虚拟化技术的研究与实验评估 - 基于KVM虚拟化的TCP_IP协议栈隔离 - 基于KVM虚拟机动态迁移的研究与实现 - 基于KVM虚拟机的恶意行为检测系统设计与实现 - 基于KVM设备虚拟化技术的研究 - 基于KVM集群的负载均衡机制系统的设计与实现 - 基于Linux的虚拟化技术研究和应用 - 基于QEMU-KVM的办公桌面云系统的设计与实现 - 基于QEMU-KVM的桌面云服务端软件架构设计与实现 - 基于oVirt_Qemu_Kvm云平台系统分析与安全加固设计 - 基于内核的虚拟机的研究 - 基于多核的虚拟化技术研究 - 网络功能虚拟化平台研究 - 虚拟机应用系统的设计与实现 ### [视频(提取码：1024)](https://github.com/0voice/kernel_awsome_feature#视频提取码1024) - Analysis of AMD HW-assisted vIOMMU Implementation and Performance - Background Snapshots in QEMU- Towards Asynchronous Revert - Denis Lunev, Virtuozzo - Debugging Secured Windows OS guest using KVM_QEMU and Windbg - Marek Kędzierski, Red Hat - Dirty Quota-Based VM Live Migration Auto-Converge - Manish Mishra & Shivam Kumar, Nutanix India - Don't Peek Into my Container! - Alice Frosi, Christophe de Dinechin & Sergio Lopez Pascual, Red Hat - Encrypted Virtual Machine Images for Confidential Computing - James Bottomley, IBM & Brijesh Singh - HCK-CI- Enabling CI for Windows Guest Paravirtualized Drivers - Kostiantyn Kostiuk - High Performance NVMe Offloading in SPDK Using the New vfio-user Protocol - Host & Guest Tracing in Virtualization- -To sync, or not to sync - How Hard Could it be to Flip a bit- KVM PV Feature Enablement up the Virtualization Stack_2 - Hyperscale vDPA - Jason Wang, Red Hat - Hypervisor-less Virtio for Real-time and Safety - Maarten Koning, Wind River - Is QEMU too Complex, and What Can we do About It- - Paolo Bonzini, Red Hat, Inc. - Is QEMU too Complex, and What Can we do About It- - Paolo Bonzini, Red Hat, Inc._2 - Know your QEMU and KVM Test Frameworks - Thomas Huth, Red Hat - Kubevirt and the Cost of Containerizing VMs - KVM Dirty Page Tracking - Peter Xu, Red Hat - KVM Memory Cost Optimization in Alibaba Cloud - Huaitong Han, Alibaba Cloud - Lessons Learned Building a Production Memory-Overcommit Solution - Florian Schmidt & Ivan Teterevkov - libkrun- More than a VMM, in Dynamic Library Form - Sergio Lopez Pascual, Red Hat_2 - libvfio-user- Status Update - Thanos Makatos & John Levon, Nutanix - libvfio-user- Status Update - Thanos Makatos & John Levon, Nutanix_2 - Live Migrating VFIO, vhost-user, and vfio-user Devices - Stefan Hajnoczi, Red Hat - Live Migrating VFIO, vhost-user, and vfio-user Devices - Stefan Hajnoczi, Red Hat_2 - Mitigating Excessive Pause-Loop-Exiting in VM-Agnostic KVM - Kenta Ishiguro, Keio University - New Qemu Backup Architecture and API - Vladimir Sementsov-Ogievskiy, Virtuozzo - Passthrough_Headless GPU Gets Ahead - Tina Zhang & Vivek Kasireddy, Intel - Protecting from MaliciousHypervisor Using AMD SEV-SNP - Brijesh Singh, AMD - QEMU Emulated NVMe - Lessons Learned and Future Work - Klaus Jensen, Samsung Electronics - QEMU Emulated NVMe - Lessons Learned and Future Work - Klaus Jensen, Samsung Electronics_2 - Qemu Performance Regression CI - Lukáš Doktor, Red Hat Czech, s. r. o. - Receive Side Scaling (RSS) with eBPF in QEMU and virtio-net - Yan Vugenfirer, Daynix - rust-vmm- A Security Journey - Andreea Florescu, Amazon - Secure Live Migration of Encrypted VMs - Tobin Feldman-Fitzthum & Dov Murik, IBM - Securing Linux VM boot with AMD SEV measurement - Dov Murik & Hubertus Franke, IBM Research - Securing the Hypervisor with Control-Flow Integrity - Daniele Buono, IBM - Sharing IOMMU PageTables with TDP in KVM - Lu Baolu & Zhao Yan, Intel Corporation - Status Update on TDX Support - Isaku Yamahata, Intel - Support SDEI Virtualization and Asynchronous Page Fault for arm64 - Gavin Shan, Redhat - TDX Live Migration - Wei Wang, Intel Corp. - The Traps of Using Hyper-V Features in KVM Environment - Liang Li, Alibaba - Towards a More Efficiently Synchronization in KVM - Wanpeng Li, Tencent Cloud - Towards High-availability for Virtio-fs - Jiachen Zhang & Yongji Xie, ByteDance - Unmapped Guest Memory - Yu Zhang, Intel - vdpa-blk- Unified Hardware and Software Offload for virtio-blk - Stefano Garzarella, Red Hat_2 - VDUSE - vDPA Device in Userspace - Yongji Xie, ByteDance - VFIO User - Using VFIO as the IPC Protocol in Multi-process QEMU - John Johnson & Jagannathan Raman ## 二、Ceph  ### 文档 - 官方文档: https://docs.ceph.com/en/pacific/# - GitHub仓：https://github.com/ceph/ceph - 其他文档： - IMB：Ceph: A Linux petabyte-scale distributed file system：https://developer.ibm.com/tutorials/l-ceph/ - 红帽 Ceph：https://www.redhat.com/en/technologies/storage/ceph - 红帽 文件系统指南：https://access.redhat.com/documentation/zh-cn/red_hat_ceph_storage/4/html/file_system_guide/introduction-to-the-ceph-file-system - Ceph v10.0 中文文档：https://www.bookstack.cn/read/ceph-10-zh/cd0dcad3545db7c0.md - Ceph 手册：https://www.kancloud.cn/willseecloud/ceph/1788233 - Ceph 中文文档：https://www.wenjiangs.com/doc/trfbacev - Ceph 学习笔记：https://www.bookstack.cn/read/zxj_ceph/deploy - Ceph 运维手册：https://lihaijing.gitbooks.io/ceph-handbook/content/ - Ceph 13.2.1 常用命令手册：https://www.siguadantang.com/cloud/ceph/ceph-command/  ### [学术论文](https://github.com/0voice/kernel_awsome_feature#学术论文-1) - RELIABLE, SCALABLE, AND HIGH-PERFORMANCE DISTRIBUTED STORAGE - Ceph分层存储优化策略研究与实现 - Ceph分布式文件系统的研究及性能测试 - Ceph存储引擎中基于固态盘的日志机制优化 - Ceph存储系统纠删码覆盖写的设计与实现 - Ceph对象文件系统添加任务迁移特性的研究 - Ceph异构存储优化机制研究 - Ceph文件系统元数据访问性能优化研究 - OpenStack和Ceph结合的云存储设计与实现 - 一种面向云环境的Ceph集群能耗管理策略研究 - 基于CEPH分布式文件系统的云盘系统的设计与实现 - 基于Ceph分布式存储系统副本一致性研究 - 基于Ceph分布式存储系统的安全访问控制设计和实现 - 基于Ceph分布式系统的存储虚拟化技术的研究与实现 - 基于Ceph构建EB级对象存储系统 - 基于Ceph的企业云存储系统的设计与实现 - 基于Ceph的分布式存储在数据中心的设计与实现 - 基于Ceph的分布式存储系统跨机架修复技术优化 - 基于Ceph的分布式存储节能技术研究与实现 - 基于Ceph的分布式异构存储系统数据处理优化研究 - 基于Ceph的分布式网盘系统的设计与实现 - 基于Ceph的对象存储服务系统的研究与实现 - 基于Ceph的数据读写性能优化研究 - 基于Ceph的非共享存储虚拟机动态迁移系统的优化 - 基于ceph文件系统的元数据缓存备份技术的研究与实现 - 基于ceph的云存储系统的设计与实现 - 基于客户端缓存与请求调度的Ceph文件系统读时延优化策略研究 - 基于对象存储的Ceph分布式文件系统的研究 - 开源分布式存储系统Ceph测试及在桌面虚拟化平台中的应用 - 漫谈分布式存储方案，GPFS 对话 CEPH - 面向分布式存储系统Ceph的遥感影像瓦片存储及其关键技术 ### [文章](https://github.com/0voice/kernel_awsome_feature#文章-1) - 「基础理论」CEPH 基础介绍 - 「核心」Ceph学习三部曲之一:A First Glance At CRUSH - 「核心」Ceph学习三部曲之二: CEPH 纠删码操作&API - 「核心」Ceph学习三部曲之三: 迁移之美——PG读写流程与状态迁移详解 - 「核心」Ceph学习三部曲之四: 下一代对象存储引擎BlueStore - 「核心」Ceph学习三部曲之五：分布式块存储RBD - 「核心」Ceph学习三部曲之六：对象存储网关RGW - 「核心」Ceph学习三部曲之七：分布式文件系统CephFS - 「核心」Ceph学习三部曲之八: 控制先行——Ceph的QoS策略 - 「模块」Ceph-Monitor 集群的代脑 - 「模块」Ceph-OSD 集群的奠基石 - 分布式存储 Ceph 的演进经验 · SOSP '19 - 分布式存储Ceph - 分布式文件系统ceph知识整理 - 基于Ceph打造高性能高可靠的分布式块存储系统 - Ceph论文译文 Ceph：一个可扩展，高性能分布式文件系统 ### [视频(提取码：1024)](https://github.com/0voice/kernel_awsome_feature#视频提取码1024-1) - What is Ceph? - The Kernel of Software Defined Storage - Haomai Wang, ZhaoChen - Ceph, the future of Storage - Sage Weil - Extending Ceph's Reach - Tushar Gohad, Zhong Xin_3 - Ceph's journey at SUSE - Lars Marowsky Brée, Marc Koderer ## 三、fuse  ### 文档 - 官方文档: - Linux内核官方文档：https://www.kernel.org/doc/html/latest/filesystems/fuse.html - 源码仓：https://github.com/libfuse/libfuse ### [学术论文](https://github.com/0voice/kernel_awsome_feature#学术论文-2) - FUSE - lab-FUSE - Kernel Bypass for File Systems - Performance of User-Space File Systems - A Diagnostic Tool for FUSE Modules Final Report - Develop your own filesystem with FUSE - Extension Framework for File Systems in User Space - Benefit of DDN’s IME-FUSE for I_O intensive HPC applications - Performance Evaluations of Distributed File Systems for Scientific Big Data in FUSE Environment - Performance and Extension of User Space File Systems - Performance and Resource Utilization of FUSE User-Space File Systems - To FUSE or not to FUSE- Analysis and Performance Characterization of the FUSE User-Space File System Framework - When-eBPF-Meets-FUSE-Improving-Performance-of-User-File-Systems-Ashish-Bijlani-Georgia-Tech - FUSE: Finding File Upload Bugs via Penetration Testing - 基于FUSE的MBR编码的并行化研究 - 基于FUSE的云数据访问与存储优化研究 - 基于FUSE的安全网络文件系统的研究与实现 - 基于FUSE的用户态文件系统的设计与实现 - 基于FUSE的透明文件加密系统研究与实现 - Android系统动态权限机制的研究与实现 - 用户态并行文件系统性能优化研究 - EDFUSE：一个基于异步事件驱动的 FUSE用户级文件 系统框架 ### [文章](https://github.com/0voice/kernel_awsome_feature#文章-2) - 吴锦华、明鑫 : 用户态文件系统 ( FUSE ) 框架分析和实战 - 详解 FUSE 用户态文件系统 - 自制文件系统 — 01 文件系统的样子 - 自制文件系统 — 02 FUSE 框架，开发者的福音 - 自制文件系统 — 03 Go实战：hello world 的文件系统 - 自制文件系统 — 04 HelloFS 进阶 分布式加密文件系统 - 自制文件系统 — 05 总结：一切都为了狙击“文件” ## 更多关于Linux内核学习资料，Github：[https://github.com/0voice/kernel_awsome_feature](https://github.com/0voice/kernel_awsome_feature)