【华为云MySQL技术专栏】InnoDB事务回滚机制

//一、Insert row产生Undo record
btr_cur_optimistic_insert 或 btr_cur_pessimistic_insert
  btr_cur_ins_lock_and_undo //这里会过滤，只有主键索引才能生成undo，其他索引直接return
    trx_undo_report_row_operation
      trx_undo_page_report_insert

//二、Update row产生Undo record
btr_cur_optimistic_update 或 btr_cur_pessimistic_update 或 btr_cur_update_in_place
  btr_cur_upd_lock_and_undo //这里会过滤，只有主键索引才能生成undo，其他索引直接return
    trx_undo_report_row_operation
      trx_undo_page_report_modify

//三、Delete row产生undo
btr_cur_del_mark_set_clust_rec //删除主键索引的row record时才会调用此函数
  trx_undo_report_row_operation
    trx_undo_page_report_modify

row_ins_clust_index_entry_low(......) {
  ......
  //检查主键冲突，如果主键冲突，则报错返回
  row_ins_duplicate_error_in_clust_online(......)
  //已通过主键冲突检查，但如果要插入的主键索引项已存在，则说明是已经被Delete Mark的索引项，则把insert操作改为update操作 
   if (!index->allow_duplicates && row_ins_must_modify_rec(&cursor)) 
     row_ins_clust_index_entry_by_modify(......)
       btr_cur_optimistic_update 或者 btr_cur_pessimistic_update
  ......
}

• Table ID：对应的table id；

• Primary Key Fields：INSERT操作产生row record中，主键索引字段的length

• Virtual Column Fields：如果有虚拟列，且基于虚拟列创建了索引，会产生这部分undo信息，包含虚拟列的length和value；

• Prev record offset：本条record在页面内的起始偏移。

//场景1：运行时主动执行rollback，或运行时异常导致的rollback
trx_rollback_to_savepoint_low(trx_t *trx, trx_savept_t *savept) {
  //trx参数表示待回滚的事务，savept参数表示指定回滚到事务内的哪个savepoint，trx_savept_t实际上就是undo_no(Undo Number)，
  //undo_no是一个事务内单调递增的编号，表示当前事务内修改的第几行，每条undo log record中都会记录undo_no，
  //如事务内修改第1行产生的undo log record中的undo_no为0。部分回滚时savept参数会被记录到后续生成的Row Undo Query Graph
  //中，从而控制只回滚到某个undo record就结束。整个事务回滚时savept参数为nullptr。
  ......
  roll_node_t *roll_node = roll_node_create(heap); 
  ......
  //如果事务有对应的undo log
  if (trx_is_rseg_updated(trx))  {
    //创建回滚的Trx rollback的Query Graph结构
    thr = pars_complete_graph_for_exec(roll_node, trx, heap, nullptr);
    //初始化Trx rollback的Query Graph结构
    ut_a(thr == que_fork_start_command(static_cast<que_fork_t *>(que_node_get_parent(thr)))); 
    //执行Trx rollback的Query Graph构建出undo_node_t,基于undo_node_t创建出Row Undo的Query Graph
    que_run_threads(thr);
    //执行Row Undo的Query Graph，从后向前遍历事务的undo record，进行undo操作。
    que_run_threads(roll_node->undo_thr); //函数解析见下方
  }
}

// 场景2：Recover过程中，对Crash时的活跃DDL事务执行rollback
// 场景3：Recover完成后，后台rollback线程(ib_tx_recov)对Crash时的活跃的DML事务执行rollback
void trx_rollback_active(trx_t *trx) /*!< in/out: transaction */
{
  roll_node_t *roll_node = roll_node_create(heap);
  //创建回滚的Trx rollback的Query Graph结构,和上述的pars_complete_graph_for_exec函数类似
  fork = que_fork_create(nullptr, nullptr, QUE_FORK_RECOVERY, heap);
  fork->trx = trx;
  thr = que_thr_create(fork, heap, nullptr);
  thr->child = roll_node;
  roll_node->common.parent = thr;
  trx->graph = fork;
  //初始化Trx rollback的Query Graph结构
  ut_a(thr == que_fork_start_command(fork));
  //执行Trx rollback的Query Graph构建出undo_node_t,基于undo_node_t创建出Row Undo的Query Graph
  que_run_threads(thr);
  //执行Row Undo的Query Graph，从后向前遍历事务的undo record，进行undo操作。
  que_run_threads(roll_node->undo_thr); //函数解析见下方
  ......
}

//上述场景最终都要通过执行row_undo函数完成undo操作，调用栈如下
//Row Undo的Query Graph执行，从后向前遍历事务的undo record，进行undo操作。
que_run_threads(roll_node->undo_thr)
  que_run_threads_low(roll_node->undo_thr) 
    que_thr_step(roll_node->undo_thr) //这一层被包在循环中，驱动内层函数从后向前遍历事务的undo record，进行undo操作。
      row_undo_step(roll_node->undo_thr) 
        row_undo(roll_node->run_node, thr) //正在干活的函数，从事务的undo log中取出一条undo record，进行undo操作。

row_undo (undo_node_t *node, que_thr_t *thr) {
  if (node->state == UNDO_NODE_FETCH_NEXT) {
    //读取undo_page，从后往前遍历trx的undo record，此函数返回trx的下一个待处理的undo record
    node->undo_rec = trx_roll_pop_top_rec_of_trx(trx, trx->roll_limit, &roll_ptr, node->heap);
    //trx对应的undo_log都处理完了，说明回滚完成
    if (!node->undo_rec) {
      //将thr->run_node指向undo_node_t的parent，结束undo_node_t对应的处理
      thr->run_node = que_node_get_parent(node);
      trx->roll_limit = 0;
      return DB_SUCCESS;
    }
    node->roll_ptr = roll_ptr; //保留undo_record的roll_ptr到undo_node_t上下文
    node->undo_no = trx_undo_rec_get_undo_no(node->undo_rec); //保留undo_record的undo_no到undo_node_t上下文
    if (trx_undo_roll_ptr_is_insert(roll_ptr))
      //对于INSERT操作产生的undo log record，标记为UNDO_NODE_INSERT
      node->state = UNDO_NODE_INSERT;
    else
      //对于UPDATE/DELETE操作产生的undo log record，标记为UNDO_NODE_MODIFY
      node->state = UNDO_NODE_MODIFY;
  }

  //分别执行INSERT和UPDATE/DELETE操作对于的undo处理函数
  if (node->state == UNDO_NODE_INSERT) {
    //Apply TRX_UNDO_INSERT_REC类型的undo record，函数内部解析见后文
    err = row_undo_ins(node, thr);
    node->state = UNDO_NODE_FETCH_NEXT;
  } else {
    //Apply TRX_UNDO_DEL_MARK_REC/TRX_UNDO_UPD_DEL_REC/ TRX_UNDO_UPD_EXIST_REC类型的undo record，函数内部解析见后文
    err = row_undo_mod(node, thr); 
  }
}

trx_undo_rec_t* trx_roll_pop_top_rec_of_trx_low(trx_t *trx, trx_undo_ptr_t* undo_ptr, limit, roll_ptr_t *roll_ptr, mem_heap_t *heap) {
  if (trx->pages_undone >= TRX_ROLL_TRUNC_THRESHOLD) //如果已经处理过的undo page到达阈值
    trx_roll_try_truncate(trx, undo_ptr); //回收已经处理过的undo page到Undo Segment
  //trx_undo_t表示了事务的undo log管理结构，insert undo和update undo分别管理
  trx_undo_t *ins_undo = undo_ptr->insert_undo;
  trx_undo_t *upd_undo = undo_ptr->update_undo;

  //选择insert_undo和update_undo中undo_no较大的一个
  trx_undo_t * undo = nullptr
  if (!ins_undo || ins_undo->empty) {
    undo = upd_undo;
  } else if (!upd_undo || upd_undo->empty) {
    undo = ins_undo;
  } else if (upd_undo->top_undo_no > ins_undo->top_undo_no) {
    undo = upd_undo;
  } else {
    undo = ins_undo;
  }

  //如果undo已经空了，或者已经处理了足够多的undo page
  if (!undo || undo->empty || limit > undo->top_undo_no) {
    trx_roll_try_truncate(trx, undo_ptr); //回收已经处理过的undo page到Undo Segment
    return nullptr;
  }

  bool is_insert = (undo == ins_undo);
  //根据undo record的[is_insert标记, 所在的space_id, 所在的page_no, page内的offset]信息，构造undo_rec的roll_ptr，构造方式如下
  //roll_ptr = is_insert << 55 | undo->rseg->space_id << 48 | undo->top_page_no << 16 | undo->top_offset
  //对应主键中的roll_pointer系统列记录的roll_ptr.
  *roll_ptr = trx_undo_build_roll_ptr(is_insert, undo->rseg->space_id, undo->top_page_no, undo->top_offset);

  mtr_start(&mtr); //后续操作要读取undo页面，用mtr对访问的页面进行并发保护,保证根据页面进行btree访问时不发生btree结构断裂。
  // trx_roll_pop_top_rec函数根据trx_undo_t中的游标信息，读取undo_page，从中获取上一条undo_record。
  undo_page = trx_roll_pop_top_rec(trx, undo, &mtr, &undo_offset);

移通过出参undo_offset返回。.
  undo_no = trx_undo_rec_get_undo_no(undo_page + undo_offset);
  trx->undo_no = undo_no;
  trx->undo_rseg_space = undo->rseg->space_id;
  //将undo_record从undo_page中拷贝出来一份。
  undo_rec_copy = trx_undo_rec_copy(undo_page, static_cast<uint32_t>(undo_offset), heap);
  mtr_commit(&mtr);
  return (undo_rec_copy);
}

row_undo_ins(undo_node_t *node, que_thr_t *thr) {
  THD *thd = dd_thd_for_undo(node->trx); 
  //解析node->undo_record，找到对应的主键叶子节点row_record，保存在node->row中，主键索引游标保存在node->pcur中
  //其中mdl参数为null表示不需要对表加mdl锁，否则会在函数内部加mdl锁，有以下四种场景：
  //1) 在recover阶段，没有业务query并发，不需要mdl锁，mdl参数为nullptr
  //2) 在recover完成后的后台回滚场景，有业务query并发，需要mdl锁。
  //3) runtime transaction rollback，即事务主动rollback，不需要mdl锁
  //4) runtime asynchronous rollback，即因死锁检测、超时等机制，由innodb判定事务需终止的场景，不需要mdl锁
  row_undo_ins_parse_undo_rec(node, thd, dd_mdl_for_undo(node->trx) ? &mdl : nullptr);
  //根据node->row保存的undo_record对应的row_record,构造出对应索引的index_entry，然后删除二级索引中的index_entry，循环处理所有二级索引。
  row_undo_ins_remove_sec_rec(node, thr);
  //删除在主键索引上删除row_record，利用node->pcur保存的游标信息快速定位，避免再次从根节点开始扫描主键btree。
  //如果此时表正在做online_DDL，当前执行undo删除的row_record有可能已经被DDL thread拷贝到新表去了，所以需要在online ddl
  //的row_log中记录这个row_record的删除操作，这样在online ddl进入row log apply阶段后，能够将新表中可能存在的对应row_record也删除掉。
  row_undo_ins_remove_clust_rec(node);
}

row_undo_mod(undo_node_t *node, que_thr_t *thr) {
  THD *thd = dd_thd_for_undo(node->trx);
  //解析node->undo_record，找到对应的主键叶子节点row_record，保存在node->row中，主键索引游标保存在node->pcur中
  //其中mdl参数为null表示不需要对表加mdl锁，具体解释见上述row_undo_ins中的解析注释
  row_undo_mod_parse_undo_rec(node, thd, dd_mdl_for_undo(node->trx) ? &mdl : nullptr);
  switch (node->rec_type) {
    case TRX_UNDO_UPD_EXIST_REC:
      //对所有二级索引B+tree执行TRX_UNDO_UPD_EXIST_REC类型的undo record对应的row operation 
      err = row_undo_mod_upd_exist_sec(node, thr);
      break;
    case TRX_UNDO_DEL_MARK_REC:
      //对所有二级索引B+tree执行TRX_UNDO_DEL_MARK_REC类型的undo record对应的row operation 
      err = row_undo_mod_del_mark_sec(node, thr);
      break;
    case TRX_UNDO_UPD_DEL_REC:
      //对所有二级索引B+tree执行TRX_UNDO_UPD_DEL_REC类型的undo record对应的row operation 
      err = row_undo_mod_upd_del_sec(node, thr);
      break;
  }
 //对主键B+tree执行undo record对应的row operation 
  row_undo_mod_clust(node, thr);
}