在Linux内核开发中磁盘设备驱动是一个复杂而关键的领域。很多开发者在学习块设备驱动时往往对gendisk这一核心数据结构感到困惑它到底如何工作与blk-mq机制如何配合本文将深入剖析Linux内核中通用磁盘设备的实现原理从数据结构到IO流程为你揭开gendisk的神秘面纱。无论你是正在学习Linux驱动开发的新手还是希望深入理解内核块子系统的工作原理本文都将提供完整的理论解析和实用的代码示例。我们将重点分析gendisk结构体的作用、blk-mq多队列机制的工作流程以及在实际驱动开发中如何正确使用这些组件。1. Linux块设备驱动架构概述1.1 块设备驱动的基本组成Linux内核中的块设备驱动负责管理硬盘、SSD、USB存储设备等块存储设备。与字符设备不同块设备支持随机访问数据以固定大小的块为单位进行读写。一个完整的块设备驱动包含以下几个核心组件gendisk结构体代表一个通用的磁盘设备包含设备容量、分区表、操作函数集等信息请求队列request_queue管理IO请求的队列负责请求的排序、合并和调度块设备操作函数集实现具体的读写、IO控制等操作设备注册机制将驱动注册到内核的块设备子系统中1.2 传统单队列与多队列架构的演变在早期的Linux内核中块设备使用单一全局请求队列来处理所有IO请求。这种设计在机械硬盘时代是有效的因为机械硬盘的磁头寻道时间是主要瓶颈通过请求合并和排序可以显著提升性能。然而随着SSD和NVMe等高速存储设备的普及单队列架构遇到了扩展性问题。在多核处理器系统中单个全局锁成为了性能瓶颈。为了解决这个问题Linux内核引入了blk-mq多队列块设备机制。2. gendisk结构体深入解析2.1 gendisk的定义和关键字段gendisk结构体定义在include/linux/genhd.h中它是Linux内核中表示磁盘设备的核心数据结构。让我们来看一下它的主要字段struct gendisk { int major; // 主设备号 int first_minor; // 起始次设备号 int minors; // 次设备号数量分区数1 char disk_name[DISK_NAME_LEN]; // 磁盘名称如sda、hda struct block_device_operations *fops; // 块设备操作函数集 struct request_queue *queue; // 请求队列 void *private_data; // 驱动私有数据 sector_t capacity; // 磁盘容量扇区数 // ... 其他字段 };每个gendisk实例代表一个物理或虚拟的磁盘设备。当我们在系统中看到/dev/sda、/dev/sdb等设备文件时每个都对应一个gendisk实例。2.2 gendisk的创建和初始化过程在驱动中创建和初始化gendisk的典型流程如下#include linux/blkdev.h #include linux/genhd.h static int myblk_init(void) { struct gendisk *disk; struct request_queue *queue; int ret; // 分配gendisk结构体 disk alloc_disk(1); // 参数表示分区数1 if (!disk) return -ENOMEM; // 创建请求队列 queue blk_mq_init_queue(my_mq_ops, NULL); if (IS_ERR(queue)) { ret PTR_ERR(queue); goto out_free_disk; } // 设置gendisk属性 disk-major MYBLK_MAJOR; disk-first_minor 0; disk-minors 1; strcpy(disk-disk_name, myblk); disk-fops myblk_fops; disk-queue queue; disk-private_data mydev; // 设置容量假设为1GB set_capacity(disk, 1024*1024*1024 / 512); // 添加磁盘到系统 add_disk(disk); return 0; out_free_disk: put_disk(disk); return ret; }2.3 gendisk与分区的管理gendisk不仅管理整个磁盘设备还负责管理分区。当用户执行fdisk或parted等分区工具时内核会为每个分区创建对应的block_device结构体// 分区相关的关键函数 void part_inc_in_flight(struct request_queue *q, struct hd_struct *part, int rw); void part_dec_in_flight(struct request_queue *q, struct hd_struct *part, int rw); // 分区统计信息更新 void part_stat_inc(struct hd_struct *part, int cpu, enum stat_item item); void part_stat_add(struct hd_struct *part, int cpu, enum stat_item item, int val);分区信息存储在hd_struct结构中每个分区都有独立的统计信息和引用计数。3. blk-mq多队列机制详解3.1 blk-mq的架构设计blk-mq引入了两级队列架构来解决单队列的扩展性问题软件暂存队列Software Staging Queues每个CPU核心都有一个独立的软件队列用于暂存IO请求硬件派发队列Hardware Dispatch Queues与硬件上下文对应的队列驱动直接从这些队列获取请求这种设计的好处是减少了锁竞争每个CPU核心操作自己的软件队列无需全局锁更好的缓存局部性请求在本地CPU处理减少缓存失效更高的并行性多个硬件队列可以并行处理请求3.2 blk-mq的工作流程当用户空间发起IO请求时blk-mq的处理流程如下请求提交IO请求通过VFS和文件系统层到达块层队列选择根据CPU亲和性选择对应的软件队列请求处理在软件队列中进行可能的请求合并和调度硬件派发将请求派发到硬件队列供驱动处理完成通知驱动处理完成后通知上层// blk-mq的核心数据结构关系 struct request_queue { struct blk_mq_ops *mq_ops; // 多队列操作函数集 struct blk_mq_hw_ctx **queue_hw_ctx; // 硬件上下文数组 unsigned short nr_hw_queues; // 硬件队列数量 // ... 其他字段 }; struct blk_mq_hw_ctx { struct request_queue *queue; // 所属的请求队列 unsigned long state; // 队列状态 struct blk_mq_ctx *ctxs; // 软件上下文数组 // ... 硬件相关的字段 }; struct blk_mq_ctx { struct request_queue *queue; // 所属的请求队列 unsigned int cpu; // 关联的CPU编号 struct list_head rq_list; // 请求链表 // ... 每个CPU的软件队列数据 };3.3 请求的合并与调度在软件队列中blk-mq会尝试合并相邻的IO请求以减少请求数量// 请求合并的典型逻辑 bool blk_attempt_plug_merge(struct request_queue *q, struct bio *bio, unsigned int *request_count, struct request **same_queue_rq) { struct blk_plug *plug current-plug; struct request *rq; if (!plug) return false; list_for_each_entry_reverse(rq, plug-list, queuelist) { if (rq-q q blk_rq_merge_ok(rq, bio)) { if (blk_attempt_bio_merge(q, rq, bio) BIO_MERGED) { *request_count blk_plug_queued_count(q); if (same_queue_rq) *same_queue_rq rq; return true; } } } return false; }这种合并机制对于顺序IO特别有效可以显著减少实际发送到硬件的请求数量。4. 块设备操作函数集实现4.1 基本的块设备操作每个gendisk都需要提供一个block_device_operations结构体定义设备支持的操作static const struct block_device_operations myblk_fops { .owner THIS_MODULE, .open myblk_open, .release myblk_release, .ioctl myblk_ioctl, .getgeo myblk_getgeo, .rw_page myblk_rw_page, };4.2 打开和关闭操作当用户空间打开块设备文件时内核会调用open操作static int myblk_open(struct block_device *bdev, fmode_t mode) { struct myblk_device *dev bdev-bd_disk-private_data; // 增加引用计数 atomic_inc(dev-open_count); // 检查独占打开 if ((mode FMODE_WRITE) atomic_read(dev-open_count) 1) { atomic_dec(dev-open_count); return -EBUSY; } return 0; } static void myblk_release(struct gendisk *disk, fmode_t mode) { struct myblk_device *dev disk-private_data; atomic_dec(dev-open_count); }4.3 IO控制命令实现块设备驱动通常需要实现一些特定的ioctl命令static long myblk_ioctl(struct block_device *bdev, fmode_t mode, unsigned int cmd, unsigned long arg) { struct myblk_device *dev bdev-bd_disk-private_data; switch (cmd) { case BLKFLSBUF: // 刷新缓冲区 return myblk_flush_buffers(dev); case HDIO_GETGEO: // 获取磁盘几何信息 return myblk_getgeo(bdev, (struct hd_geometry __user *)arg); case BLKRRPART: // 重新读取分区表 return myblk_reread_partitions(dev); default: return -ENOTTY; } }5. 请求处理机制实战5.1 blk-mq驱动操作函数集要实现blk-mq驱动需要定义blk_mq_ops结构体static const struct blk_mq_ops my_mq_ops { .queue_rq myblk_queue_rq, // 处理请求的核心函数 .complete myblk_complete, // 请求完成回调 .init_hctx myblk_init_hctx, // 初始化硬件上下文 .exit_hctx myblk_exit_hctx, // 清理硬件上下文 .init_request myblk_init_request, // 初始化请求 .exit_request myblk_exit_request, // 清理请求 .timeout myblk_timeout, // 请求超时处理 };5.2 请求处理函数实现queue_rq是驱动处理IO请求的核心函数static blk_status_t myblk_queue_rq(struct blk_mq_hw_ctx *hctx, const struct blk_mq_queue_data *bd) { struct request *rq bd-rq; struct myblk_device *dev hctx-queue-queuedata; blk_status_t ret; // 开始处理请求 blk_mq_start_request(rq); // 根据请求类型处理 switch (req_op(rq)) { case REQ_OP_READ: ret myblk_handle_read(dev, rq); break; case REQ_OP_WRITE: ret myblk_handle_write(dev, rq); break; case REQ_OP_FLUSH: ret myblk_handle_flush(dev, rq); break; default: ret BLK_STS_IOERR; break; } if (ret BLK_STS_OK) { // 请求处理完成 blk_mq_complete_request(rq); } return ret; }5.3 请求完成处理当驱动完成请求处理后需要调用完成回调static void myblk_complete(struct request *rq, blk_status_t error) { struct myblk_cmd *cmd blk_mq_rq_to_pdu(rq); // 更新统计信息 if (error BLK_STS_OK) { blk_stat_add(rq-q, rq); } // 释放资源 if (cmd-dma_addr) { dma_unmap_single(dev-dev, cmd-dma_addr, blk_rq_bytes(rq), rq_data_dir(rq) READ ? DMA_FROM_DEVICE : DMA_TO_DEVICE); } // 调用标准完成函数 blk_mq_end_request(rq, error); }6. 完整的虚拟块设备驱动示例6.1 设备结构定义让我们实现一个完整的基于内存的虚拟块设备驱动#include linux/module.h #include linux/blkdev.h #include linux/blk-mq.h #include linux/vmalloc.h #define MYBLK_MAJOR 0 // 动态分配主设备号 #define MYBLK_MINORS 1 // 设备数量 #define MYBLK_SECTOR_SIZE 512 // 扇区大小 #define MYBLK_SECTOR_COUNT 2048 // 扇区数量1MB容量 struct myblk_device { struct gendisk *disk; struct request_queue *queue; u8 *data; // 设备数据存储 atomic_t open_count; }; struct myblk_cmd { struct scatterlist sg; dma_addr_t dma_addr; };6.2 驱动初始化和清理static int __init myblk_init(void) { struct myblk_device *dev; int ret; // 分配设备结构 dev kzalloc(sizeof(*dev), GFP_KERNEL); if (!dev) return -ENOMEM; // 分配设备数据存储空间 dev-data vmalloc(MYBLK_SECTOR_SIZE * MYBLK_SECTOR_COUNT); if (!dev-data) { ret -ENOMEM; goto out_free_dev; } // 创建请求队列使用blk-mq dev-queue blk_mq_init_sq_queue(myblk_mq_ops, dev, 128); if (IS_ERR(dev-queue)) { ret PTR_ERR(dev-queue); goto out_free_data; } // 分配gendisk dev-disk alloc_disk(MYBLK_MINORS); if (!dev-disk) { ret -ENOMEM; goto out_free_queue; } // 设置gendisk属性 snprintf(dev-disk-disk_name, DISK_NAME_LEN, myblk); dev-disk-major MYBLK_MAJOR; dev-disk-first_minor 0; dev-disk-fops myblk_fops; dev-disk-queue dev-queue; dev-disk-private_data dev; // 设置容量 set_capacity(dev-disk, MYBLK_SECTOR_COUNT); // 添加到系统 add_disk(dev-disk); pr_info(myblk: Virtual block device initialized, capacity: %llu sectors\n, (unsigned long long)MYBLK_SECTOR_COUNT); return 0; out_free_queue: blk_cleanup_queue(dev-queue); out_free_data: vfree(dev-data); out_free_dev: kfree(dev); return ret; } static void __exit myblk_exit(void) { struct myblk_device *dev myblk_dev; if (dev) { if (dev-disk) { del_gendisk(dev-disk); put_disk(dev-disk); } if (dev-queue) blk_cleanup_queue(dev-queue); if (dev-data) vfree(dev-data); kfree(dev); } pr_info(myblk: Module unloaded\n); } module_init(myblk_init); module_exit(myblk_exit);6.3 读写操作实现static blk_status_t myblk_handle_read(struct myblk_device *dev, struct request *rq) { struct bio_vec bv; struct req_iterator iter; sector_t sector blk_rq_pos(rq); unsigned int nsectors blk_rq_sectors(rq); u8 *buffer; // 检查边界 if (sector nsectors MYBLK_SECTOR_COUNT) { return BLK_STS_IOERR; } // 遍历请求中的每个bio段 rq_for_each_segment(bv, rq, iter) { buffer page_address(bv.bv_page) bv.bv_offset; // 从设备数据复制到缓冲区 memcpy(buffer, dev-data sector * MYBLK_SECTOR_SIZE, bv.bv_len); sector bv.bv_len / MYBLK_SECTOR_SIZE; } return BLK_STS_OK; } static blk_status_t myblk_handle_write(struct myblk_device *dev, struct request *rq) { struct bio_vec bv; struct req_iterator iter; sector_t sector blk_rq_pos(rq); unsigned int nsectors blk_rq_sectors(rq); u8 *buffer; // 检查边界 if (sector nsectors MYBLK_SECTOR_COUNT) { return BLK_STS_IOERR; } // 遍历请求中的每个bio段 rq_for_each_segment(bv, rq, iter) { buffer page_address(bv.bv_page) bv.bv_offset; // 从缓冲区复制到设备数据 memcpy(dev-data sector * MYBLK_SECTOR_SIZE, buffer, bv.bv_len); sector bv.bv_len / MYBLK_SECTOR_SIZE; } return BLK_STS_OK; }7. 性能优化和最佳实践7.1 请求队列优化配置根据设备特性优化请求队列参数可以显著提升性能static void myblk_optimize_queue(struct request_queue *q) { // 设置最大扇区数避免过大的IO请求 blk_queue_max_hw_sectors(q, 256); // 128KB最大请求 // 设置最大段数和段大小 blk_queue_max_segments(q, 128); blk_queue_max_segment_size(q, 65536); // 设置物理块大小和IO最小大小 blk_queue_physical_block_size(q, 512); blk_queue_io_min(q, 512); // 设置IO优化大小通常是物理块大小的倍数 blk_queue_io_opt(q, 4096); // 启用写入缓存如果设备支持 blk_queue_write_cache(q, true, true); }7.2 DMA和缓存优化对于高性能设备正确使用DMA可以大幅提升吞吐量static blk_status_t myblk_setup_dma(struct myblk_device *dev, struct request *rq, struct myblk_cmd *cmd) { int dir rq_data_dir(rq) READ ? DMA_FROM_DEVICE : DMA_TO_DEVICE; // 映射散射列表用于DMA cmd-dma_addr dma_map_sg(dev-dev, rq-sg, rq-nr_phys_segments, dir); if (!cmd-dma_addr) { return BLK_STS_RESOURCE; } return BLK_STS_OK; } static void myblk_cleanup_dma(struct myblk_device *dev, struct request *rq, struct myblk_cmd *cmd) { int dir rq_data_dir(rq) READ ? DMA_FROM_DEVICE : DMA_TO_DEVICE; if (cmd-dma_addr) { dma_unmap_sg(dev-dev, rq-sg, rq-nr_phys_segments, dir); cmd-dma_addr 0; } }7.3 中断合并和批处理对于高IOPS设备合理的中断合并可以减少CPU开销static irqreturn_t myblk_irq_handler(int irq, void *dev_id) { struct myblk_device *dev dev_id; unsigned int completed 0; // 处理所有已完成的请求 while (myblk_check_completion(dev)) { struct request *rq myblk_get_completed_request(dev); if (rq) { blk_mq_complete_request(rq); completed; } else { break; } } // 如果处理了多个请求可以考虑延迟中断确认 if (completed 1) { myblk_enable_batch_mode(dev); } return IRQ_HANDLED; }8. 常见问题排查和调试技巧8.1 驱动加载问题排查当驱动加载失败时可以按照以下步骤排查检查依赖关系确保所有依赖的符号都可用# 检查模块依赖 modinfo myblk.ko # 查看内核日志 dmesg | tail -20验证设备号分配检查/proc/devices确认设备号是否正确分配检查sysfs节点验证/sys/block/myblk等相关节点是否创建成功8.2 IO请求处理问题当IO请求处理出现问题时可以添加调试输出// 在关键函数中添加调试信息 #define myblk_dbg(fmt, ...) \ pr_debug(myblk: %s: fmt, __func__, ##__VA_ARGS__) static blk_status_t myblk_queue_rq(struct blk_mq_hw_ctx *hctx, const struct blk_mq_queue_data *bd) { struct request *rq bd-rq; myblk_dbg(Processing request: op%d, sector%llu, nr_sectors%u\n, req_op(rq), (unsigned long long)blk_rq_pos(rq), blk_rq_sectors(rq)); // ... 处理逻辑 }8.3 性能问题诊断使用blktrace工具分析IO路径性能# 安装blktrace工具 sudo apt-get install blktrace # 跟踪块设备IO blktrace -d /dev/myblk -o trace # 分析跟踪结果 blkparse trace.* analysis.txt分析结果可以显示每个IO请求在块层各个阶段的耗时帮助定位性能瓶颈。9. 实际应用场景和扩展9.1 虚拟化环境中的块设备在虚拟化环境中gendisk常用于实现虚拟磁盘设备// KVM virtio-blk驱动示例片段 static struct virtio_driver virtio_blk { .driver.name virtio_blk, .driver.owner THIS_MODULE, .id_table id_table, .probe virtblk_probe, .remove virtblk_remove, .config_changed virtblk_config_changed, }; static int virtblk_probe(struct virtio_device *vdev) { struct virtio_blk *vblk; struct gendisk *disk; u64 capacity; u32 v, blk_size, sg_elems; // 创建gendisk和配置virtio-blk设备 // ... 具体实现 }9.2 网络块设备NBD实现网络块设备驱动也使用gendisk来提供远程存储访问// NBD设备操作函数集 static const struct block_device_operations nbd_fops { .owner THIS_MODULE, .open nbd_open, .release nbd_release, .ioctl nbd_ioctl, .compat_ioctl nbd_ioctl, }; // NBD请求处理 static void nbd_request_handler(struct request *req) { struct nbd_device *nbd req-q-queuedata; struct nbd_cmd *cmd blk_mq_rq_to_pdu(req); // 将请求通过网络发送到服务器 nbd_send_request(nbd, cmd); }9.3 加密块设备实现基于gendisk可以实现加密块设备驱动// 加密块设备请求处理 static blk_status_t crypt_queue_rq(struct blk_mq_hw_ctx *hctx, const struct blk_mq_queue_data *bd) { struct request *rq bd-rq; struct crypt_device *cd hctx-queue-queuedata; // 对写入数据进行加密或读取数据进行解密 if (rq_data_dir(rq) WRITE) { return crypt_encrypt_request(cd, rq); } else { return crypt_decrypt_request(cd, rq); } }通过本文的详细分析我们可以看到gendisk在Linux块设备驱动中的核心地位。从简单的内存虚拟设备到复杂的网络存储和加密设备gendisk提供了统一的接口来管理各种块设备。结合blk-mq多队列机制现代块设备驱动能够充分发挥多核处理器和高速存储硬件的性能潜力。在实际开发中理解gendisk的工作原理和blk-mq的架构设计对于编写高效、稳定的块设备驱动至关重要。建议读者在掌握基本原理后参考Linux内核源码中真实的块设备驱动实现如drivers/block/null_blk.c等进一步深入学习实践。
