Go 文件与 IO 操作 完整精讲文章目录Go 文件与 IO 操作 完整精讲一、先理清三大包定位面试必区分二、底层前置知识操作系统 IO 基础文件描述符 File Descriptorfd两种 IO 模式三、io 包核心接口抽象层重中之重1. io.ReadAll () 一次性读取全部数据2. io.Copy(dst Writer, src Reader)3. io.CopyN(dst Writer, src Reader, n int64)4. io.LimitReader(r Reader, n int64)5. io.MultiReader 拼接多个 Reader6. io.MultiWriter 多目的地同时写入7. io.TeeReader(r Reader, w Writer)四、os 包文件基础操作 路径操作一、文件操作最高频1. os.Open () 只读打开文件2. os.Create () 创建 / 覆写文件3. os.OpenFile () 万能打开函数底层Open/Create 都是封装它flag 常用常量可组合| 连接perm 文件权限Linux4. File 对象读写方法5. 文件删除、重命名二、文件夹操作三、文件信息查询四、环境变量相关五、进程标准流Stdin/Stdout/Stderr六、进程相关七、路径工具搭配 os 使用更多路径操作推荐 path /filepath 包⚠️ 高频易错坑基础读写示例1. 常用 flag 组合背诵2. 易错坑点3. 使用场景建议五、bufio 缓冲 IO高效流式处理考点核心底层原理bufio.Reader 读流程bufio.Writer 写流程常用代码示例高频函数bufio.Scanner最适合**按行遍历大文件**一、基础创建二、核心执行流程固定模板三、常用方法清单1. Scan() bool2. Text() string3. Bytes() []byte4. Err() error5.Split(split SplitFunc)6. Buffer(buf []byte, max int)7. MaxScanTokenSize四、完整可运行示例五、面试对比Scanner VS bufio.Reader ReadLine / ReadString六、高频坑必背极简背诵总结2.bufio.NewReader/bufio.NewWriter 常用方法汇总面试速记一、bufio.ReaderNewReader核心方法记忆重点二、bufio.WriterNewWriter核心方法致命坑必背极简对比速查表六、三种读写方案对比选型标准七、底层深入os.File 源码结构简化bufio.Reader 简化结构八、关键坑点面试高频九、完整流式大文件 Demo贴合题干「高效流式处理」十、知识点总结背诵版核心包os/io/bufio目标文件读写、路径操作、高效流式处理附带操作系统底层原理 Go 源码层面讲解一、先理清三大包定位面试必区分os操作系统资源封装直接操作文件、目录、进程、权限os.File代表操作系统打开的文件描述符 (fd)提供路径、文件创建、删除、文件元信息查询。io基础抽象接口整个 Go IO 体系基石定义标准接口ReaderWriterCloserSeeker所有可读对象只要实现Read(p []byte)(n int, err error)就是 Reader实现解耦。bufio缓冲 IO流式高效读写在 os.File 之上增加内存缓冲区减少系统调用次数优化 IO 性能。二、底层前置知识操作系统 IO 基础文件描述符 File Descriptorfd进程打开文件时操作系统内核返回一个非负整数 fdos.File内部封装了 fd所有读写操作最终都会调用 Linux 系统调用open/read/write/close。两种 IO 模式无缓冲 IOos.File 直接 Read/Write每次调用 Read → 直接发起一次系统调用频繁读写小数据时开销巨大。用户态缓冲 IObufio在应用内存开辟一块缓冲区程序先读写缓冲区缓冲区满 / 空时才向内核发起系统调用大幅减少系统调用次数。系统调用需要 CPU 从用户态切换内核态切换成本很高这就是 bufio 性能优势根源。三、io 包核心接口抽象层重中之重// 基础读接口 type Reader interface { Read(p []byte) (n int, err error) } // 基础写接口 type Writer interface { Write(p []byte) (n int, err error) } // 关闭资源 type Closer interface { Close() error } // 偏移读写文件支持管道/网络流不支持 type Seeker interface { Seek(offset int64, whence int) (int64, error) }✅os.File同时实现了Reader/Writer/Closer/Seeker。工具函数io.Copy(dst Writer, src Reader)不需要手动开辟缓冲区自动把源数据拷贝到目标通用流式拷贝。1. io.ReadAll () 一次性读取全部数据作用循环读取 Reader 直到 EOF返回全部 [] byte✅适用小数据❌禁止超大文件、无限数据流会爆内存r : bytes.NewBufferString(read all demo) data, err : io.ReadAll(r) if err ! nil { panic(err) } fmt.Println(string(data))2. io.Copy(dst Writer, src Reader)作用从 src 读取写入 dst内置 32KB 缓冲不用手动循环 Read重点Copy不会自动关闭 src /dst文件、网络连接需要手动 Closesrc : bytes.NewBufferString(copy test) var dst bytes.Buffer _, err : io.Copy(dst, src) if err ! nil { panic(err) } fmt.Println(dst.String())3. io.CopyN(dst Writer, src Reader, n int64)只复制最多 N 个字节超过部分直接丢弃// 只拷贝前5个字节 io.CopyN(dst, src, 5)4. io.LimitReader(r Reader, n int64)包装 Reader限制最多读取 n 字节常用于防攻击限制请求 body 最大大小r : bytes.NewBufferString(123456789) limitR : io.LimitReader(r, 4) // 最多读4字节 data, _ : io.ReadAll(limitR) fmt.Println(string(data)) // 输出12345. io.MultiReader 拼接多个 Reader按顺序读取多个数据源读完第一个自动读取第二个r1 : bytes.NewBufferString(a) r2 : bytes.NewBufferString(b) rAll : io.MultiReader(r1, r2) data, _ : io.ReadAll(rAll) fmt.Println(string(data)) // ab6. io.MultiWriter 多目的地同时写入一份数据同时写入多个 Writer类似日志同时输出到控制台 文件var buf1, buf2 bytes.Buffer w : io.MultiWriter(buf1, buf2) _, _ w.Write([]byte(hello)) fmt.Println(buf1.String(), buf2.String())7. io.TeeReader(r Reader, w Writer)一边读取源数据一边自动复制一份写入 w实现「读取同时备份」src : bytes.NewBufferString(content) var backup bytes.Buffer teeR : io.TeeReader(src, backup) data, _ : io.ReadAll(teeR) fmt.Println(读到的数据, string(data)) fmt.Println(备份缓冲区, backup.String())四、os 包文件基础操作 路径操作一、文件操作最高频1. os.Open () 只读打开文件func Open(name string) (*File, error)特性只读模式不能写入文件不存在返回错误。file, err : os.Open(test.txt) if err ! nil { panic(err) } defer file.Close() // 必须关闭防止文件句柄泄漏 // 搭配io.ReadAll直接读取全部内容 data, err : io.ReadAll(file) fmt.Println(string(data))2. os.Create () 创建 / 覆写文件func Create(name string) (*File, error)规则文件不存在 → 创建文件已存在 →清空原有内容截断权限0666rw-rw-rw读写模式。file, err : os.Create(out.txt) defer file.Close() file.Write([]byte(hello os))3. os.OpenFile () 万能打开函数底层Open/Create 都是封装它简易封装os.Open(path)→ O_RDONLY 只读打开os.Create(path)→ O_RDWR|O_CREATE|O_TRUNC 创建 / 清空文件func OpenFile(name string, flag int, perm FileMode) (*File, error)flag 常用常量可组合|连接常量含义os.O_RDONLY只读os.O_WRONLY只写os.O_RDWR读写os.O_APPEND追加写入不覆盖旧数据os.O_CREATE不存在则创建os.O_TRUNC存在就清空截断perm 文件权限Linux0644所有者读写其他人只读最常用0755可执行文件权限示例追加写文件不会覆盖file, err : os.OpenFile(log.txt, os.O_WRONLY|os.O_CREATE|os.O_APPEND, 0644) defer file.Close() file.Write([]byte(追加一行日志\n))4. File 对象读写方法// 实现 io.Reader n, err : file.Read(buf []byte) // 实现 io.Writer n, err : file.Write([]byte) n, err : file.WriteString(文本) // 文件指针跳转实现 io.Seeker offset, err : file.Seek(10, io.SeekStart)5. 文件删除、重命名// 删除文件 err : os.Remove(test.txt) // 重命名/移动文件 err : os.Rename(old.txt, new.txt) // RemoveAll递归删除文件夹内部所有内容rm -rf err : os.RemoveAll(./tmpdir)二、文件夹操作// 创建单层目录 err : os.Mkdir(mydir, 0755) // MkdirAll递归创建多级目录mkdir -p err : os.MkdirAll(a/b/c, 0755) // 读取目录下所有文件信息 entries, err : os.ReadDir(./) for _, entry : range entries { fmt.Println(entry.Name(), entry.IsDir()) }三、文件信息查询// 获取文件元信息大小、修改时间、是否目录 info, err : os.Stat(test.txt) fmt.Println(大小, info.Size()) fmt.Println(是否目录, info.IsDir()) fmt.Println(修改时间, info.ModTime()) // os.Lstat()和Stat类似但不跟随软链接 info, err : os.Lstat(link.txt)四、环境变量相关// 获取环境变量不存在返回空字符串 val : os.Getenv(PATH) // 设置环境变量 err : os.Setenv(TEST_KEY, 123) // 查询环境变量是否存在 val, ok : os.LookupEnv(TEST_KEY) // 清除环境变量 os.Unsetenv(TEST_KEY) // 获取全部环境变量 envs : os.Environ()五、进程标准流Stdin/Stdout/Stderros.Stdin // 标准输入终端输入*os.File os.Stdout // 标准输出 fmt.Println底层写入这里 os.Stderr // 标准错误输出示例直接往控制台输出os.Stdout.WriteString(打印到终端\n)六、进程相关// 获取当前进程PID pid : os.Getpid() // 获取父进程PID ppid : os.Getppid() // 退出程序非0代表异常退出 os.Exit(1)七、路径工具搭配 os 使用更多路径操作推荐 path /filepath 包filepath跨平台路径处理Windows / Linux 分隔符自动适配优先使用常用 APIfilepath.Join(a,b,c)拼接路径自动处理分隔符filepath.Abs(path)获取绝对路径filepath.Base(path)获取文件名filepath.Dir(path)获取目录filepath.Glob(*.txt)通配符匹配文件// 判断文件是否存在易错不能用errnil直接判断 func FileExists(path string) bool { _, err : os.Stat(path) return !os.IsNotExist(err) } // 判断错误是否为「文件不存在」 os.IsNotExist(err) // 判断是否权限不足 os.IsPermission(err)⚠️ 高频易错坑打开文件必须 defer Close ()长期运行服务会耗尽文件句柄os.Create()打开已有文件直接清空追加场景必须使用OpenFile O_APPENDos.Mkdir只能创建单层目录多级目录请用MkdirAllos.File实现io.Reader所以可以直接传入io.Copy、io.ReadAllWindows 和 Linux 文件路径分隔符不一样路径拼接优先使用filepath.Join()。基础读写示例package main import ( os ) func main() { // 只读打开 f, err : os.Open(test.txt) if err ! nil {panic(err)} defer f.Close() // 必须关闭释放文件描述符 buf : make([]byte, 1024) n, err : f.Read(buf) // 直接无缓冲读取 _ n }⚠️ 重要规范打开文件一定要 defer Close ()底层进程不 closefd 不会释放大量泄漏会触发「打开文件数过多」崩溃。1. 常用 flag 组合背诵// 等价 os.Open只读打开 f, _ : os.OpenFile(a.txt, os.O_RDONLY, 0) // 等价 os.Create读写不存在创建存在清空 // O_RDWR | O_CREATE | O_TRUNC f, _ : os.OpenFile(a.txt, os.O_RDWR|os.O_CREATE|os.O_TRUNC, 0666) // 追加写入文件尾部添加不清空旧内容 f, _ : os.OpenFile(a.txt, os.O_WRONLY|os.O_CREATE|os.O_APPEND, 0666) 数字含义拆分 权限格式0 [所有者][同组用户][其他用户] 0 6 4 4 第一位 0八进制前缀无权限含义 第二位 6 → 文件拥有者user 第三位 4 → 同组用户group 第四位 4 → 外部其他用户other 单个数字 读 写 执行权限之和 4 读权限 r 2 写权限 w 1 执行权限 x 拆解 0644 所有者 6 42 → r w - 可读、可写不可执行 同组用户 4 4 → r - - 仅可读 其他用户 4 4 → r - - 仅可读 字符表示-rw-r--r--2. 易错坑点os.Open 拿到的文件句柄不能 Write ()f, _ : os.Open(test.txt) f.Write([]byte(hello)) // ❌ 报错只读文件无法写入perm 参数仅新建文件时生效文件已经存在时perm 参数会被直接忽略不会修改已有文件权限。想要修改已有文件权限单独调用os.Chmod()。err os.Chmod(fileName, 0644) if err ! nil { fmt.Println(修改权限失败:, err) return } fmt.Println(权限修改成功设置为 0644 (-rw-r--r--))flag 三大基础模式三选一不能同时写多个O_RDONLY只读O_WRONLY只写O_RDWR读写错误示范O_RDONLY | O_WRONLY非法3. 使用场景建议只读取文件内容→ 直接用os.Open简洁需要写入、创建、追加、覆盖文件→ 必须使用os.OpenFile五、bufio 缓冲 IO高效流式处理考点核心底层原理bufio.Reader/bufio.Writer内部维护一块[]byte缓冲区。bufio.Reader 读流程用户调用 Read → 先尝试从内存缓冲区拿数据缓冲区空 → 调用底层 os.File.Read一次性读取一大块数据填满缓冲区后续读取继续复用缓冲区减少系统调用。bufio.Writer 写流程Write 数据先写入内存缓冲区缓冲区满自动刷入底层文件文件关闭前必须调用 Flush ()把缓冲区残留数据写入磁盘常用代码示例package main import ( bufio os ) func main() { f, _ : os.OpenFile(test.txt, os.O_RDWR|os.O_CREATE, 0644) defer f.Close() // 带缓冲写入 w : bufio.NewWriter(f) w.WriteString(hello go io\n) w.Flush() // 强制刷盘不可省略 // 带缓冲读取 r : bufio.NewReader(f) // ReadString(\n) 按行读取流式处理大文件首选 line, _ : r.ReadString(\n) _ line }高频函数bufio.Scanner最适合按行遍历大文件scanner : bufio.NewScanner(f) for scanner.Scan() { line : scanner.Text() // 逐行处理不需要一次性把整个文件加载进内存流式 }优势处理 GB 级大文件不会 OOM流式处理题干重点要求。一、基础创建// 从io.Reader创建文件、strings.Reader都可以 scanner : bufio.NewScanner(r)二、核心执行流程固定模板scanner : bufio.NewScanner(reader) // 循环扫描直到读到末尾或者出错 for scanner.Scan() { // 获取当前扫描到的文本 line : scanner.Text() fmt.Println(line) } // ❗必须检查扫描过程中的错误不能忘 if err : scanner.Err(); err ! nil { fmt.Println(读取失败, err) }三、常用方法清单1.Scan() bool作用向前读取下一段数据返回值true成功读到一段内容可以调用 Text ()/Bytes () 取值false读取结束EOF或者发生错误⚠️ 注意Scan 不会返回错误错误统一在循环结束后用scanner.Err()获取2.Text() string获取本次扫描内容返回string。底层是把字节切片转为字符串。3.Bytes() []byte获取本次扫描内容返回[]byte。✅ 性能更好注意下一次调用 Scan () 会覆盖这个切片内容不要异步保存4.Err() error获取扫描期间产生的错误排除 io.EOFEOF 不算错误循环结束一定要调用防止漏掉读写异常。5.Split(split SplitFunc)⭐重点自定义分割函数控制 Scanner 按什么规则切割数据内置 4 种分割器直接背// 1. bufio.ScanLines 默认按行分割自动去掉 \n \r\n scanner.Split(bufio.ScanLines) // 2. bufio.ScanWords 按空格分割单词 scanner.Split(bufio.ScanWords) // 3. bufio.ScanBytes 逐个字节读取 scanner.Split(bufio.ScanBytes) // 4. bufio.ScanRunes 按utf8字符读取 scanner.Split(bufio.ScanRunes)6.Buffer(buf []byte, max int)设置缓冲区解决单行超过 64KB 默认上限报错默认限制单行最大 64KB超长直接返回错误// 设置最大支持 1MB 的单行 buf : make([]byte, 1024*1024) scanner.Buffer(buf, 1024*1024)7.MaxScanTokenSize常量默认最大扫描长度 64 * 1024 65536四、完整可运行示例package main import ( bufio fmt strings ) func main() { data : strings.NewReader(第一行\n第二行\r\n第三行) sc : bufio.NewScanner(data) // 默认分割ScanLines for sc.Scan() { str : sc.Text() fmt.Printf(行内容%q\n, str) } // 检查错误 if err : sc.Err(); err ! nil { fmt.Println(err:, err) } }五、面试对比Scanner VS bufio.Reader ReadLine / ReadStringbufio.Scanner ✅推荐业务使用API 简洁自动处理换行\n \r\n不用手动处理截断、缓冲区碎片唯一缺点单行默认上限 64KB超长要手动扩容bufio.Reader ReadLine ❌不推荐底层原始 API容易出现超长行截断 bug需要自己循环拼接碎片bufio.Reader ReadString(‘\n’)可控性更强适合精细 IO 场景适合学习底层原理六、高频坑必背循环结束必须判断scanner.Err()很多人漏掉scanner.Bytes()返回的切片会被下一次 Scan 覆盖如果需要保存要手动拷贝// 错误直接保存下次Scan内容会变 tmp : scanner.Bytes() // 正确拷贝 tmp : append([]byte(nil), scanner.Bytes()...)单行超过 64KB 直接报错大日志文件要调用Buffer()扩容极简背诵总结bufio.Scanner是封装好的扫描工具Scan()推进读取Text()/Bytes()获取内容支持自定义分割规则默认按行切割单行上限 64KB循环结束务必检查 Err ()。2.bufio.NewReader/bufio.NewWriter 常用方法汇总面试速记前置// 读缓冲 r : bufio.NewReader(io.Reader) // 写缓冲 w : bufio.NewWriter(io.Writer)一、bufio.ReaderNewReader核心方法ReadString(delim byte) (string, error)读到分隔符停止返回内容包含分隔符。示例r.ReadString(\n)按行读取。读到文件末尾无分隔符时返回读到的数据 io.EOF。ReadBytes(delim byte) ([]byte, error)功能和 ReadString 一致返回[]byte而非字符串。ReadLine() ([]byte, bool, error)按行读取丢弃换行符\n/\r\n官方不推荐优先使用存在缓冲区截断问题。Read(p []byte) (n int, err error)标准 io.Reader 接口方法填充字节切片。Peek(n int) ([]byte, error)预读 n 个字节不移动读取指针只偷看不消费。高频考点。Discard(n int) (discarded int, err error)直接跳过 n 个字节丢弃数据。记忆重点✅ 按行优先ReadString(\n)✅ 偷看数据Peek()❌ 少用 ReadLine二、bufio.WriterNewWriter核心方法Write(p []byte) (n int, err error)写入字节切片数据存入缓冲区不直接落盘。WriteString(s string) (n int, err error)写入字符串优先使用省去 string→[] byte 转换开销。Flush () error 【重中之重】强制把缓冲区所有缓存数据写入底层流。⚠️ 忘记 Flush → 缓冲区残留数据丢失Buffered() int查询当前缓冲区暂存的字节数量。Available() int缓冲区剩余空闲空间大小。致命坑必背defer 文件.Close()不会自动调用 Flush ()标准顺序w.Flush() f.Close()极简对比速查表对象高频方法核心考点ReaderReadString、Peek、ReadBytesReadString 带回分隔符Peek 不移动指针WriterWriteString、Flush、Buffered必须 Flush否则丢数据六、三种读写方案对比选型标准os.File 直接 Read/Write无缓冲适用单次读写大块数据不适合频繁小 IO。缺点小循环读写大量系统调用性能差。bufio 缓冲读写适用频繁小数据读写、按行读取大文件、流式处理。优点合并 IO 请求减少用户态 / 内核态切换性能高。os.ReadFile / os.WriteFileos.ReadFile(a.txt) // 一次性把整个文件读入内存⚠️致命限制一次性加载全部内容到内存禁止用于超大文件极易内存溢出不属于流式处理。七、底层深入os.File 源码结构简化// src/os/file.go type File struct { *file // 指针 } type file struct { fd int // 文件描述符 name string dirinfo *dirInfo }所有f.Read()最终调用平台相关系统调用Linuxsyscall.Read(fd, buf)bufio.Reader 简化结构type Reader struct { buf []byte // 缓冲区内存 rd io.Reader // 底层数据源os.File r, w int // 读写位置指针 }缓冲区默认大小 4096 字节可以手动指定bufio.NewReaderSize(f, 8192)八、关键坑点面试高频bufio.Writer 忘记 Flush ()程序退出缓冲区剩余数据丢失忘记 Close () 文件→ 文件描述符泄漏os.ReadFile读取大文件造成 OOM不能用于流式场景filepath和path包区别path只处理/分隔符url 路径filepath适配操作系统本地文件路径必须用它权限参数0644Linux 文件权限读写权限创建文件时必须指定。九、完整流式大文件 Demo贴合题干「高效流式处理」package main import ( bufio fmt os ) func main() { f, err : os.Open(bigfile.log) if err ! nil { panic(err) } defer f.Close() scanner : bufio.NewScanner(f) // 逐行流式读取内存只保存一行数据 lineNo : 0 for scanner.Scan() { lineNo content : scanner.Text() fmt.Printf(行%d%s\n, lineNo, content) } // 检查扫描是否出现错误 if err : scanner.Err(); err ! nil { panic(err) } }特点无论文件 1GB 还是 10GB内存占用稳定典型流式 IO。十、知识点总结背诵版io包定义Reader/Writer抽象接口统一所有可读写资源os包封装操作系统文件、fd、路径、目录操作bufio在用户态提供缓冲区减少系统调用实现高效 IO无缓冲 IO每次读写触发系统调用缓冲 IO 批量合并请求超大文件处理使用bufio.Scanner流式逐行读取避免一次性载入内存文件打开务必defer Close()bufio 写入结束必须Flush()。
