网络IO的虚拟化模型小结
网络IO的虚拟化模型随着技术发展,出现了多种方式,例如emulation、para-virtualization、pass-through和SR-IOV等,本文试图对其做一个简单的总结。
- Emulation(仿真):
全虚拟化是最早出现的IO虚拟化方式,效率也最低。以接收网络报文为例,其处理步骤可以简单描述如下:
- 数据包到达主机物理网卡,向host CPU发出中断。QEMU创建的网桥(br0)它会分析报文目的地。如果目的地是host,调用host的中断处理函数;如果目的地是虚拟机的话将报文转发至TAP设备。之前初始化时qemu进程已经打开了TAP的字符设备。
- TAP设备由两部分组成,一侧是网络驱动,另一侧是字符设备驱动,前者负责接受来自物理网卡的数据报,后者则将报文转发至qemu进程。过程为:TAP 将字符设备的文件描述符置位,qemu进程通过select调用接收。
- qemu调用tap_send函数,将网络数据报通过e1000_receive函数写入网卡的缓存区,依次会调用pci_dma_write,最后是qemu_get_ram_ptr,做一次内存拷贝。在虚拟机中,网卡缓存可以通过DMA方式访问,但虚拟机的物理内存映射到qemu的虚拟内存区,因此虚拟机的OS读取的实际是qemu进程的缓存。最后调用set_ics向虚拟机注入中断。
- 虚拟机读取中断后引发VM-Exit,停止VM进程执行,进入root操作状态。KVM要根据KVM_EXIT_REASON判断原因。对于IO请求,其标志为KVM_EXIT_IO。因为kvm无法处理此操作,需要重新回到qemu的用户态,调用kvm_handle_io进行处理。
- Para-virtualization(半虚拟化)
可以认为是一种改进后的仿真模型,由各厂商提供虚拟网卡驱动,并加入Guest OS。vhost driver创建了一个字符设备 /dev/vhost-net,这个设备可以被用户空间打开,并可以被ioctl命令操作。当给一个Qemu进程传递了参数-netdev tap,vhost=on 的时候,QEMU会通过调用几个ioctl命令对这个文件描述符进行一些初始化的工作,然后进行特性的协商,从而宿主机跟客户机的vhost-net driver建立关系。与此同时,kernel中要创建一个kernel thread 用于处理I/O事件和设备的模拟。 kernel代码 drivers/vhost/vhost.c:在vhost_dev_set_owner中,调用了这个函数用于创建worker线程(线程名字为vhost-qemu+进程pid)。这个内核线程被称为"vhost worker thread",该worker thread的任务即为处理virtio的I/O事件。而在Guest中,会打开virtio设备,将virtio的vring映射到host kernel。vhost与kvm的事件通信通过eventfd机制来实现,主要包括两个方向的event,一个是Guest到Vhost方向的kick event,通过ioeventfd承载;另一个是Vhost到Guest方向的call event,通过irqfd承载。
guest_notifier的使用:
- vhost在处理完请求(收到数据包),将buffer放到used ring上面之后,往call fd里面写入;
- 如果成功设置了irqfd,则kvm会直接中断guest。如果没有成功设置,则走以下的路径:
Qemu通过select调用监听到该事件(因为vhost的callfd就是qemu里面对应vq的guest_notifier,它已经被加入到selectablefd列表);
- 调用virtio_pci_guest_notifier_read通知guest;
- guest从used ring上获取相关的数据。
host_notifier的使用:
- Guest中的virtio设备将数据放入avail ring上面后,写发送命令至virtio pci配置空间;
- Qemu截获寄存器的访问,调用注册的kvm_memory_listener中的eventfd_add回调函数kvm_eventfd_add();
- 通过kvm_vm_ioctl(kvm_state, KVM_IOEVENTFD, &kick)进入kvm中;
- kvm唤醒挂载在ioeventfd上vhost worker thread;
- vhost worker thread从avail ring上获取相关数据。
- Pass-through
VMM直接将一个PCI设备分配给VM,通过iommu保证VM间内存访问不冲突。这种方式性能最快,但是一个设备只能给一个VM使用,灵活性差,而且不支持迁移。
- SR-IOV
SR-IOV主要用来解决pass-through只能被一台虚拟子机访问的问题。SR-IOV标准由PCI-SIG,这个标准实现需要CPU、芯片组和PCI设备(主要是网卡等I/O资源)协同在硬件层面实现。支持SR-IOV功能的网卡可以在Hypervior里面注册成多个网卡(每个网卡都独立的中断ID、收发队列、QOS管理机制)。每个设备可以通过pass-through方式分配给虚拟子机。Intel公司的82599 10G网卡以PF/VF的形式提供了对SR-IOV的支持。
最新文章
- android 自定义控件——(二)圆形按钮,圆形View
- MVC缺点
- 将一列包含多个ID拆分多行
- filter:Alpha总结
- bootstrap响应式布局简单实例
- SAE/ISO standards for Automotive
- C如何获取文件夹下所有文件
- 天气情况(思维,dp思想)
- springMVC的拦截器工作流程
- 简析ASP.NET WebApi的跨域签名
- java学习笔记IO之字节输入输出流
- UEditor (富文本编译器)
- C#语言————第二章 C#语言快速热身
- p中不能包含div
- vs2017创建支持多框架(net4.6.1;net4.6.2;netstandard2.0;netcoreapp2.0)版本
- koa2实现拦截器进行登录前session校验
- 关于多线程中使用ArrayList的问题
- (转)OAuth 2.0的设计思路
- Safari 不能播放Video ,Chrome等可以 问题解决。
- vue2.0中的计算属性
热门文章
- prometheus-operator告警模块alertmanager注意事项(QQ邮箱发送告警)--大大坑
- [AWS] EC2 &; GPU
- 用docker部署RabbitMQ环境
- linux环境下Nginx的安装
- jquery的api以及用法总结-数据/操作/事件
- redis-分布式锁-刷新信号量
- 命名对象继承2-验证Open*命名对象安全属性的传递
- 前端获取后台传输过来是数据 {张三:12} 解析为[object object],获取其中内容
- Angular Cli 升级到最新版本
- 教老婆学Linux运维(二)Linux常用命令指南【上】