数字人重建UI界面操作文档

一、环境配置

该软件需要在包含Nvidia独立显卡环境中运行， 所需CUDA版本>=12.4，需要下载配置cudnn；此外还需要下载Visual Studio 2022并从中下载“使用C++的桌面开发”组件以配置相关环境。

1.安装CUDA

CUDA版本可通过 https://developer.nvidia.com/cuda-toolkit-archive 选择并下载，下载完成之后打开安装程序按照以下顺序依次点击安装即可：






安装完成后关闭安装程序即可，此时打开cmd输入 “nvcc -V”，如果提示以下信息则说明CUDA已安装配置完毕。

2.配置cudnn

首先进入 https://developer.nvidia.com/rdp/cudnn-archive 下载对应CUDA版本的cudnn，按照以下步骤配置cudnn即可，以 cudnn v8.9.7为例，首先是下载该版本：

下载cudnn时可能需要注册Nvidia账户，直接注册账户然后下载即可；下载完成之后解压，打开解压好的文件夹，会发现里面有三个文件夹（bin、include、lib）和一个证书文件，将这三个文件夹（bin、include、lib）复制：

找到刚刚的CUDA安装路径，将复制的三个文件夹直接粘贴到CUDA安装路径下，替换之前的同名文件夹即可：

3.安装Visual Studio 2022

首先进入 https://visualstudio.microsoft.com/zh-hans/vs/ 下载Visual Studio 2022社区版：

下载完毕之后双击打开安装程序，等待一小会弹出以下页面，按顺序首先选择“使用C++的桌面开发”，然后点击安装，等待安装完成即可：

如果提示需要重启计算机则点击重启即可：

二、数据准备与重建操作

1.数据准备

首先进入3D_Rec_UI_Win_Data/StreamingAssets/3D_Rec_win_data 文件夹目录下，此时该文件夹路径下只有Exe_Resources 文件夹，该文件夹中存放的是各算法模块的程序文件以及环境配置文件。

在该目录下新建images和human文件夹，把拍摄的箱子(协助标定相机位姿)图片和人体图片分别放入images和human文件夹中。

2.人物重建操作

做好数据准备之后，按照程序中按钮的数字顺序，依次点击各按钮运行对应模块，等前一个操作模块运行完毕之后再点击下一个模块，直到前九个模块全部运行完毕，可在3D_Rec_UI_Win_Data/StreamingAssets/output文件夹目录下得到对应的数字人模型文件和贴图文件，详细操作过程如下。

2.1 计算相机参数

首先打开UI操作界面，如下所示：

点击"1、相机参数计算"按钮，此时程序会自动进行所有相机参数的计算和后续的图片转换、去畸变操作，如下所示：

直到程序下方出现相关信息提示该操作已完成则说明该过程已完全结束，假如使用48台相机拍摄的图片进行该操作，如果48台相机的参数全部计算成功则会出现以下提示，此时可以进行后续2-10操作，信息提示如下所示：

假如只有3台相机参数计算成功，则会出现以下提示：

此时需要点击"重新准备数据与计算参数"按钮，这样程序会自动进行数据准备与参数计算过程：

如果再次计算全部相机参数成功，则可以进行后续操作；如果依然存在部分相机参数没有计算成功的问题，则可以继续进行该过程直到成功；也可以手动重新进行数据准备操作之后重启软件进行操作1；或者重新调节相机拍摄环境，重新拍摄并更换human与images的拍摄数据之后再进行操作1。直到所有相机参数计算成功再进行后续操作。

2.2 生成人物掩码

等所有相机参数计算成功之后，点击"2、生成人物掩码"按钮，此时会自动进行图片的读取与匹配操作，然后会弹出带有拍摄图片的操作框，如下所示：

此时需要用户在弹出的照片框中手动框选要进行重建的人物：按住鼠标左键然后拖动鼠标进行框选，框选完成后松开鼠标左键即可完成框选，如下所示：

完成框选之后，按"ESC"键即可，此时稍作等待该操作过程会自动完成，在程序下方会出现相关信息提示。

2.3 后续操作说明

完成以上1和2操作之后，剩下的3-9操作只需要在前一个操作完成时按照数字顺序依次点击下一个操作按钮即可，无任何附加操作。每个模块运行完毕都会在程序下方出现提示信息，提示用户当前模块操作已结束，直到前九个按钮所对应的模块全部操作完毕，通过勾选操作9下的obj、ply选项，算法可以导出不同文件类型的数字人文件，这里以生成obj文件为例。此时可以在3D_Rec_UI_Win_Data/StreamingAssets/output文件夹目录下找到 texture.obj、texture.mtl和texture_material_00_map_Kd.jpg，这就是针对拍摄的人物重建得到的3D数字人模型源文件和它的贴图文件，如下图所示。

操作10是针对重建得到的数字人模型进行骨骼和动作绑定，点击操作10按钮之后，会弹出第一个对话框，需要选择进行骨骼绑定的数字人模型文件(texture.obj)；

注意：需要绑定骨骼的数字人为Tpose姿态，十指分开的状态

选择完毕后会弹出第二个对话框，此时需要选择绑定的动作文件(动作文件的命名中不能包含空格)；

选择完毕后，程序会自动执行后续绑定过程，最终可在3D_Rec_UI_Win_Data/StreamingAssets/output目录下找到一个与数字人模型文件相同命名的文件夹(texture)，打开该文件夹之后找到与刚刚选择的动作文件命名相同的文件夹，找到result文件夹下的texture.glb，该文件即是根据动作文件生成的数字人动作动画，rest.glb是绑定骨骼后的Tpose姿态的数字人模型。

三、参数设置

如下所示，UI界面有四个参数可以进行动态输入：

首先这四个参数都需要在运行各自对应的操作5和操作6之前输入才可生效，不输入则运行时会使用各参数的默认值；其中5.1和5.2分别控制操作模块5中的减少高斯点云数量阈值和迭代次数；6.1和6.2分别控制操作模块6中的渲染最大深度值和体素尺寸；一般来讲，使用默认的参数即可得到良好的数字人重建模型，如果要增加模型重建之后的面数，则可以在进行操作6时先将参数6.2的值调小，然后再进行操作6以及后续操作，要注意，参数6.2的值越小，在后续网格重建与优化时耗时会越高。