GORM 批量操作性能调优

批量操作在 GORM 中需特殊处理,本文介绍使用 CreateInBatches 等方法优化批量插入的性能策略。

什么是批量操作性能问题

逐条插入大量数据时,每次插入都涉及网络往返、事务提交,导致性能急剧下降。

// 错误示例:逐条插入 10000 条
for _, user := range users {
    db.Create(&user) // 10000 次网络往返
}

CreateInBatches 批量插入

GORM 提供 CreateInBatches 方法,按指定批次大小批量插入。

// 批量插入,每批 500 条
users := make([]User, 10000)
// ... 填充数据
db.CreateInBatches(&users, 500)

**内部实现:**GORM 将数据切分为多个批次,每个批次生成单条 INSERT 语句。

-- 生成的 SQL(每批 500 条)
INSERT INTO users (name, email, created_at) VALUES (...), (...), ..., (...) -- 500 条

批次大小调整

批次大小需权衡内存与性能:

// 根据数据量动态调整批次
batchSize := 1000
if len(users) > 50000 {
    batchSize = 200 // 数据量大时缩小批次
}
db.CreateInBatches(&users, batchSize)

批量更新

使用 Save 或 Updates 配合批量操作。

// 批量更新:IN 条件
db.Model(&User{}).
    Where("id IN ?", ids).
    Updates(map[string]interface{}{"status": "active"})

**批量 Upsert:**使用 Clauses 实现 ON CONFLICT。

db.Clauses(clause.OnConflict{
    Columns:   []clause.Column{{Name: "email"}},
    DoUpdates: clause.AssignmentColumns([]string{"name", "updated_at"}),
}).CreateInBatches(&users, 500)

事务优化

批量操作应包裹在事务中,保证原子性与性能。

tx := db.Begin()
defer func() {
    if r := recover(); r != nil {
        tx.Rollback()
    }
}()

if err := tx.CreateInBatches(&users, 500).Error; err != nil {
    tx.Rollback()
    return err
}

return tx.Commit().Error

• **批次大小:**过大导致内存飙升,过小失去批量优势,建议 200-2000 之间调整。
• **SQL 限制:**MySQL 默认 max_allowed_packet 限制单条 SQL 大小,批次过大可能报错。
• **索引影响:**批量插入时索引需同步维护,数据量大时可考虑先禁用索引,插入后再重建。

要点总结

• 逐条插入性能差,必须使用 CreateInBatches 批量操作。
• 批次大小建议 500 左右,根据内存和数据量调整。
• 批量更新使用 IN 条件或 Upsert 语法。
• 大批量操作应包裹在事务中,保证原子性。

存放路径: D:\git2\jwdev\articles\GORM\专家\性能优化与调优\批量操作性能调优.md