IC的帆哥 https://www.icfgblog.com/ zh-CN “君子终日乾乾,夕惕若厉,无咎。” Sun, 21 Sep 2025 19:03:29 +0800 Sun, 21 Sep 2025 19:03:29 +0800 智元机器人比赛排坑记录 https://www.icfgblog.com/index.php/NN/390.html https://www.icfgblog.com/index.php/NN/390.html Sun, 21 Sep 2025 19:03:29 +0800 icfg66 赛事链接 我选择的是Manipulation 赛道,从8月初到9月中的过程中,为了跑通flow,获得更好的训练效果,踩了不少坑,经过官方老师的耐心解答,热心队伍的无私帮助,终于磕磕碰碰完成了初赛。

一、环境准备

Manipulation 赛道是官方提供baseline 模型,需要完成10项任务,每项任务的完成分为1分,总分10分,提交自己的模型,获得更高的分数。十个任务分别如下,提高的模型有两个:UniVLA 和RDT 在这里插入图片描述

1.1 推理环境准备

智元的Genie Sim 环境是在NVIDIA ISAAC Sim基础上开发的机器人仿真平台,能够查看机器人在仿真环境中的任务表现。 在这里插入图片描述

具体的准备过程在这个链接: Genie Sim Benchmark

1.2 没有GPU怎么办?

租用云服务器是很好的选择,如果自己购置GPU,一方面无法灵活配置,价格昂贵,另一方面安装环境也容易被折腾。云服务器随时取用,非常方面,我租用的平台是“智星云”,开始测试的时候用的RTX 4090, 可以选择多GPU和CPU 内存,后面训练的时候切换A100,可谓非常灵活。

在这里插入图片描述 租用的版本主要分三个阶段:

  • 数据准备及推理阶段:GPU内存不大,选择4090(24G)
  • try 训练阶段:排查训练过程中的坑,单GPU 选择4090(48G)
  • 冲刺阶段:两卡A100(80G),多batch size 收敛训练

1.3 数据集下载慢怎么办?

大模型训练的另一个特点是数据集非常庞大,一般都要在huggingface上下载,虽然用git 也行,但下载速度慢,且容易卡断。如果你遇到相同的问题,一定要看这篇知乎,加速效果异常好! 使用 HFD 加快 Hugging Face 模型和数据集的下载 仿真数据集将近1T,直接扩容硬盘到了2T。

wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh
echo 'export HF_ENDPOINT=https://hf-mirror.com' >> ~/.bashrc
source ~/.bashrc

./hfd.sh gpt2 --tool aria2c -x 4
./hfd.sh agibot-world/AgiBotWorldChallenge-2025  --tool aria2c -x 4 --include Manipulation-SimData/*

二、模型推理

按Genie Sim Benchmark的流程可以跑起仿真。期间有遇到几个问题

SIM_ASSETS=~/GenieSimAssets ./scripts/start_gui.sh
./scripts/autorun.sh iros_pack_in_the_supermarket infer UniVLA

2.1 仿真画面完全不出来

报错信息: 在这里插入图片描述 这是terminal的问题,运行autorun.sh 脚本的时候,会遍历系统已有的terminal,首选是gnome_terminal,但我这边有些问题,调整成“terminator”之后就ok了。 在这里插入图片描述

2.2 仿真无法进行,自动退出

还是在auto_run.sh 的脚本,它会通过terminator 运行三个任务:

  • 运行仿真环境的服务平台
  • 运行仿真任务的场景
  • 运行推理任务的大模型 在这里插入图片描述 脚本最后有个while 循环,会检测后台的任务,判断是否超时来退出仿真。我这边的仿真加载慢,经常被强制kill,最后索性注释退出机制,就能成功run起来!

在这里插入图片描述

三、模型训练

模型训练卡了很久,需要下载额外下载依赖,添加配置。 按此步骤,不用安装Depth-Anything 在这里插入图片描述

3.1 没有internvl库

在这里插入图片描述 这个库其实包含在仓库的InternVL 文件夹里,需要export 对应的路径 在这里插入图片描述

3.2 没有facebookresearch_dinov2_main

在这里插入图片描述 需要把Depth-Anything仓库的facebookresearch_dinov2_main 放到latent_action_model 目录下: 在这里插入图片描述

3.3 没有dinov2_vitb14_reg4_pretrain.pth 模型

训练过程中需要加载这个权重,但原仓库下没有这个权重。 在这里插入图片描述

在hf 里面搜关键字,终于找到同名的模型权重! 在这里插入图片描述

3.4 训练脚本问题

README.md展示的只是示例,具体训练的时候需要修改 在这里插入图片描述 其中dataset 的结构如下,hf下载的数据集需要先解压,并放一起: 在这里插入图片描述

3.5 内存问题

训练到了10%,后续异常退出。此时GPU内存48G,htop查看训练过程中CPU内存的使用量,发现才16G,远远不够!提高CPU 内存能够解决问题。 在这里插入图片描述 服务器CPU 内存的选取有限,为了不让cpu 内存爆掉导致训练终止,需要用其他方法提高内存,最有效的是提高swap分区的大小!后期训练的时候,直接把swap 分区提高到了300G,内存自由! 在这里插入图片描述 Linux系统swap分区扩容保姆级教程

3.6 训练后的得分反而更低很多

univla 的训练效果和batch size 有很大关系,一般训练的标配都是8卡A100,每张卡80G,bs=8。然后训练5万步左右。

开始训的时候,我只有可怜的单卡,48G,bs=1,根本没法收敛,越训越烂。 训练的调整过程如下:

  1. 单卡4090 48G:从baseline开始,先训task8,得到权重,再训task5,再训task9... -> 容易遗忘,无法收敛 -> 0.35
  2. 单卡4090 48G:从baseline开始,一起训task 6,8,5,9,3,1,0,2(task 4,7 数据集太大,放弃)-> bs 太小,无法收敛 ->0.60
  3. 单卡4090 48G:从baseline开始,减小learning rate,增大grad_accumulation_steps(相当于提高bs,但训练时间会更长)-> 没效果 0.45分
  4. 双卡A100,80G:从baseline开始,一起训task 6,8,5,9,3,1,0,2,bs=8,grad_accumulation_steps=8,loss 收敛效果不佳->1.00
  5. 双卡A100,80G:从baseline开始,一起训task 6,8,5,9,3,(放弃其他5个任务)bs=8,grad_accumulation_steps=8,loss 收敛效果还行

四、模型提交

4.1 baseline模型提交

早期测试可以先提交官方的baseline模型,确认格式:解压之后直接是以下文件夹。 在这里插入图片描述

cd UniVLA
zip -r ../univla_ori.zip .

4.2 训练模型提交

提交之后,训练显示size 不对。原因是训练的时候没有加 --wogripper 参数,但推理默认是开的,导致不匹配。机械臂包含7各自由度+夹爪1个自由度,双臂就有16个自由度,如果去除夹爪,就只有14个自由度。 在这里插入图片描述 解决方式有两种:

  • 推理的infer.py 脚本:wogripper 配置为false
  • 训练的finetune.py 脚本:增加wogripper 参数

赛后八卦: 8卡GPU bs=8, UniVLA训练5万步,分数能到2.45左右 8卡GPU bs默认, RDT训练10万步,分数能到2.45左右 UniVLA 模型的训练好坏,和bs 关系很大,越大越好,调大grad_accumulation 可以增大bs,以时间换空间

]]>
0 https://www.icfgblog.com/index.php/NN/390.html#comments https://www.icfgblog.com/index.php/feed/
PRBS并行输出 https://www.icfgblog.com/index.php/Digital/381.html https://www.icfgblog.com/index.php/Digital/381.html Sun, 28 Jan 2024 23:24:00 +0800 icfg66 PRBS(Pseudo-Random Binary Sequences)是通过LFSR和特征函数 伪随机数发生器产生的伪随机数序列,通常用于高速数字通信测试。

基本电路(单比特输出)

prbs N表示用N比特lfsr尝试伪随机数序列,常用的有N=7,9,11,15,32等。伪随机序列的长度为$2^{N-1}$。 那么如何搭建电路产生这些伪随机数呢?以PRBS7,生成多项式为$G(x)=x^7 + x^6+1$,对应External Feedback LFSR电路如下图,其中1~7表示移位寄存器。

image.png

这样的电路一个周期只能产生一比特输出,如果需要每T产生伪序列中的两个,那么该如何实现?或者我想输出是6,7两个寄存器,下一拍更新时,希望是如图电路移位两拍的结果。

两比特输出

生成多项式还对应生成多项式还有对应的特征矩阵M。假设x1-7分别对应图中1~7个寄存器的输出,则下一拍x'1-7的值可以通过矩阵M,由当前拍x1-7的值得到。

$$ \left[ \begin{matrix} x_7' \\ x_6'\\x_5'\\x_4'\\x_3'\\x_2'\\x_1'\\ \end{matrix} \right] = \left[ \begin{matrix} 0 & 1 & 0& 0& 0& 0& 0\\ 0 & 0 & 1& 0& 0& 0& 0\\ 0 & 0 & 0& 1& 0& 0& 0\\ 0 & 0 & 0& 0& 1& 0& 0\\ 0 & 0 & 0& 0& 0& 1& 0\\ 0 & 0 & 0& 0& 0& 0& 1\\ 1 & 1 & 0& 0& 0& 0& 0\\ \end{matrix} \right] \left[ \begin{matrix} x_7 \\ x_6 \\ x_5\\ x_4\\ x_3\\ x_2\\ x_1 \end{matrix} \right] $$ 如果一次更新要得到两拍后的结果,那么映射关系等于M^2,即 ![image.png](//www.icfgblog.com/usr/uploads/auto_save_image/334a493541a485194e9696535d422858.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

通过该映射关系,可以很容易写出x'1-7的更新逻辑。

$$ \begin{align} x'_7 &= x_5 \\ x'_6 &= x_4 \\ x'_5 &= x_3 \\ x'_4 &= x_2 \\ x'_3 &= x_1 \\ x'_2 &= x_7 \oplus x_6 \\ x'_1 &= x_6 \oplus x_5\\ \end{align} $$

十比特输出

如果需要一次产生10比特的伪随机序列,又该如何实现呢?初值固定后,这些伪随机序列也是固定的,因此每T产生此序列的10个数也是固定的,那么该如何做到呢?

基本电路只有7个寄存器,该如何一次性输出十个数呢?如果这样想,就容易落入死胡同。换个思路,通过生成矩阵,只要确定初值,我们可以得到移位任意拍的输出逻辑。所以下一拍x'7 表示移位10次后的结果,x'6表示移位11次后的结果,x'1表示移位16次的结果,另外准备3个寄存器x'0,x'-1,x'-2,分别表示移位17,18,19次的结果。我们只需要关心下一拍的更新逻辑!

image.png

image.png

所以根据$M^{10}$我们可以得到如下更新逻辑:

$$ \begin{align} x'_7 &= x_4 \oplus x_3 \\ x'_6 &= x_3 \oplus x_2 \\ x'_5 &= x_2 \oplus x_1 \\ x'_4 &= x_7 \oplus x_6 \oplus x_1 \\ x'_3 &= x_7 \oplus x_5 \\ x'_2 &= x_6 \oplus x_4 \\ x'_1 &= x_5 \oplus x_3\\ x'_0 &= x_4 \oplus x_2\\ x'_{-1} &= x_3 \oplus x_1\\ x'_{-2} &= x_7 \oplus x_6 \oplus x_2 \\ \end{align} $$

同理对于其他PRBS,都可以生成任意比特的输出。

]]>
3 https://www.icfgblog.com/index.php/Digital/381.html#comments https://www.icfgblog.com/index.php/feed/
服务器图形界面访问 https://www.icfgblog.com/index.php/software/376.html https://www.icfgblog.com/index.php/software/376.html Sat, 30 Sep 2023 09:16:00 +0800 icfg66 服务器的硬件资源丰富,可以运行pycharm、idea等高耗存的应用,但可惜不能连外网,而且没有图形界面,该如何充分利用服务器的资源的,成人的世界,全都要!(感谢ym学弟的折腾)

服务器跑项目都是利用docker环境,远程vnc可以访问图形界面,因此可以在docker里创建vnc环境,将端口5901的端口映射到主机,然后通过vnc-view访问,实现图形界面。

具体包含如下步骤:

  1. 创建包含端口映射的docker
  2. docker安装图形环境和vnc-server
  3. 配置vnc启动文件,并远程访问

1. 创建包含端口映射的docker

将docker 5901的端口(vnc的默认端口)映射到宿主机的5900

nvidia-docker run -p 5900:5901 -it --name zym -v /home/zhouym/workspace:/home/zhouym/workspace   ad0f29ddeb63 /bin/bash

2. docker安装图形环境和vnc-server

docker 里安装xfce4和vncserver

//安装软件
apt install xfce4 tigervnc-standalone-server
// 启动dbus service 提供xfce4服务
service dbus start
// 启动vncserver,设置密码和端口号(默认5901)
vncserver
vncserver -localhost no :1

3. 配置vnc启动文件,并远程访问

docker环境中 vim ~/.vnc/xstartup,修改内容

#!/bin/sh
xsetroot -solid grey

startxfce4 &

自己笔记本上打开vnc-view,输入服务器地址和映射端口,并密码登录: image.png

image.png

]]>
0 https://www.icfgblog.com/index.php/software/376.html#comments https://www.icfgblog.com/index.php/feed/
自由人生之路 https://www.icfgblog.com/index.php/Thinking/354.html https://www.icfgblog.com/index.php/Thinking/354.html Sat, 10 Sep 2022 15:44:33 +0800 icfg66 《自由人生之路》是侯老师对“哲学三问的回答”:我是谁?我从哪里来?我该追求什么? 在几个关键的人生选择中,它给了我很大的启示。非常感谢作为长江学者的侯老师,在我毕业多年,遇到人生困境的时候,还能在熟悉的校园里为我答疑解惑。在教师节与中秋双节之际,祝老师节日快乐,也希望这本《自由人生之路》能帮助更多的人。

记得侯老师在大一物理课上做了一个预言:现在成绩好的学生,日后更难在科研的路上取得成绩;反而现在成绩不理想,还不停努力的“笨学生”,日后容易取得好的科研成果。当时将信将疑,满满不解。如今快十年过去了,侯老师的预言逐渐应验,曾经的“笨学生”有几个成为了大学教授,曾经的“好学生”很多转行(并不是说转行不好,仅仅说科研赛道的表现。)

为什么会有这样的差别呢?侯老师当时也说了原因:“成绩好”的学生过去一般顺风顺水,没有遇到过“真正的困难”,日后当碰到科研压力的时候,很可能顶不住煎熬和压力;而“笨学生”一直以来学得就吃力,能够承受住长期的挫败感,当遇到同样的科研压力时,更加有免疫力,熬过困难的日子。他说读博是很好的锻炼,如果能在彷徨、无力、迷茫中持续努力,即使最后没有成果,在他那也能毕业,甚至是更大的收获。(这点和我们普遍的认知完全相反,因为目的不同,我们的读博是为了结果,日后获得更好的资源;老师的读博是为了“自由”,为日后攻坚克难打下坚实的心理和技术基础。)

自己的本科其实在后期已经碰到困难了,但我选择了“逃避”,切换了赛道,没有继续走科研的道路,但当时没觉得有什么不对,也没有咨询侯老师。当下次求助他的时候,已经是毕业的4年后,当时刚结束交易的工作,对前途非常迷茫,不知路在何方。某次找同学聊天的时候,想到了还在侯老师组里读博的佳俊同学,他建议我找侯老师聊聊。于是,某个工作日的下午,重新回到熟悉的校园,看到了熟悉的侯老师。他竟然对我有印象,仿佛早就知道我会陷入困境,他身形并茂地讲述了他的《自由人生之路》,为我的人生打开了新思路。

第二次找侯老师是20年的暑假,那时刚考研上岸,面临专业方向的选择问题,也挺纠结,便再次求助侯老师,他给我的建议是“没有建议”,并约我入校详聊。我关心的是什么方向在未来就业更好,薪酬更高,而侯老师关心的是怎么做才能得到最好的“锻炼”,获得更多的“自由”。和他聊完之后,也释怀了,没那么纠结,顺其自然。

如今,也面临着繁琐的课题,漫长的实习,工作的选择,最近经常感到压力、无力、迷茫,时常想摆烂,想逃避,想拖延。重温《自由人生之路》,希望能及时调整,无愧于心。

“解铃还须系铃人”,这本小册子提供的是“心法”,是人生经验的凝练。若要真正发挥其功效,需要在自己的生活中磨炼。

赠有缘人,与君共勉:

自由人生之路201408修改5.pdf

]]>
4 https://www.icfgblog.com/index.php/Thinking/354.html#comments https://www.icfgblog.com/index.php/feed/
Gem5 Debug https://www.icfgblog.com/index.php/riscv/351.html https://www.icfgblog.com/index.php/riscv/351.html Fri, 19 Aug 2022 19:28:01 +0800 icfg66 Gem5的源码在src文件夹,涉及很多内容,如果希望修改某些模块,或增加某些功能,总感觉无从下手:一方面对Gem5的代码组织不清楚,另一方面对硬件结构不熟悉。

经过一番探索,逐渐有些感觉,特来记录一波。

以O3 CPU为例,主要有Fetch、Decode、Rename、Execute、Writeback、Commit这几级流水。源码主要集中在src/cpu/o3。 image.png

分析工具主要有两类,一类是静态分析工具,它可以查看函数的调用关系,理清代码的不同层级。

  • vscode
  • understand
  • grep -nr "function"

另一类是动态分析工具,它可以跟踪“O3 CPU”运行的时序,更进一步了解软件代码的运行。

  • gdb
  • gdb可视化工具gdbgui

一、静态分析

“Understand” 是收费软件,但网上很多破解版,而且只有windows版本。新建工程,导入源码之后,会自动分析这些函数的调用和被调用关系。vscode也有函数跳转功能,两者可以结合着看。

另一方面,因为Gem5是混合了python(主要为了连线和传参)和C++(基本硬件的建模),所以有些函数没法跳转,这时候用可以用grep搜索。 image.png

二、动态分析

如果想查看一些中间变量,用print大法需要重新编译,非常耗时,这时用gdb断点调试可以事半功倍。

gdb --args build/X86/gem5.opt configs/example/se.py -c test_ban/hello

gdb常用指令

b fetch.cc:1024 # 打断点
info b # 查看断点
d 编号# 删除编号
r  # run
c # continue
n # next line
s # 进入子函数
si # step inst
p param #打印变量

如果有图形界面,gdbgui工具可以更方便调试,

 pip install gdbgui #安装gdbgui

~/.local/bin/gdbgui -p 10001 -r "a.out"  # 浏览器本地127.0.0.1:10001端口打开即可

~/.local/bin/gdbgui -p 10001 -r --args ./build/RISCV/gem5.debug --debug-flags=O3CPUAll debug-start=78000 configs/example/se.py --cpu-type=O3CPU --l1d_size=32kB --l1i_size=32kB --caches -m 230000 -c /home/hezf/Documents/OS_test/gem5_pro/testbench/hello/hello.elf

浏览器打开本地端口10001,可以看到调试界面,更多的调试指南可以查看官网。

image.png

三、O3 CPU代码分析

1.仿真前的初始化

src/sim/main.cc: importer() -> importInit()-> initAll()
src/python/embedded.cc: initAll()
src/sim/init.cc: initAll()-> pybind_init_event()
src/python/pybind11/event.cc: pybind_init_event() -> simulate()
src/sim/simulate.cc: simulate() -> doSimloop() -> serviceOne()
src/sim/eventq.cc: serviceOne() -> eventq.hh:event->process()

2. 各级流水线

image.png

image.png

image.png

]]>
2 https://www.icfgblog.com/index.php/riscv/351.html#comments https://www.icfgblog.com/index.php/feed/
Gem5 O3 可视化 https://www.icfgblog.com/index.php/riscv/349.html https://www.icfgblog.com/index.php/riscv/349.html Mon, 01 Aug 2022 09:32:38 +0800 icfg66 Gem5是研究体系结构的硬件仿真工具,官方也提供了较详细的入门文档gem5 documentation。

在研究超标量乱序CPU时,Gem5也提供了可视化样例gem5: Visualization

./build/RISCV/gem5.opt --debug-flags=O3PipeView --debug-start=78000 --debug-file=trace.out configs/example/se.py --cpu-type=O3CPU --caches --cmd=tests/tests-progs/hello/bin/riscv/linux/hello -m 230000

这个脚本会产生trace.out文件,记录tick(ps) 78000到230000时段的流水线信息。再通过python脚本生成pipeline.out文件,就可以通过less查看了

./util/o3-pipeview.py -c 500 -o pipeview.out --color m5out/trace.out
less -r pipeview.out

image.png

但这个方式存在两个问题:第一是可视化界面实在不友好,第二是很难找到main函数的核心代码。

Konata

Konata是开源的Gem5 O3 pipeline可视化工具,只需要获得trace.out文件,再将其导入软件,就可以看大美观的流水线。 image.png

但要找到main里的核心代码也不容易,main之前需要很多的铺垫: 从_start函数运行很久才能到主函数 image.png

当然可以通过设置记录的起始时间解决,但还是不太方便。

编译链接

无意中刷到JYY老师的操作系统:系统调用可以通过ld -e 指定编译器从哪个函数开始执行。

比如一段简单的代码:

// hello.c
int main(){
  int sum = 0;
  for(int i = 0;i<5;i++){
    sum+= i*i;
  }
  while(1);
  //return 0;
}

编译时可以先生成可重定向文件,在ld -e指定从main函数开始执行。

# 生成可重定向文件
riscv64-linux-gnu-gcc -c hello.c 
# 指定从main函数开始执行
riscv64-linux-gnu-ld -e main hello.o -o hello.elf
# 生成可读的汇编文件
riscv64-linux-gnu-objdum -S -D hello.elf > hello.dump

查看汇编代码,可以看到只有短短的几行,没有_start函数。

image.png

再运行gem5获得trace.out文件,可以看到确实从第一条指令addi sp,sp,-32开始执行,并呈现完整的5个循环。

image.png

image.png

最后需要注意的是,这里没有return 0,目的是为了运行gem5不产生错误信息。如果将while(1)替换为return 0,那么运行会报错Segemtion fault (core dumped),因为return前没有初始化堆栈,造成错误的地址访问。

测试时可以先加return 0,确定退出的仿真时间,再换成while(1), 根据仿真时间来结束仿真。

]]>
0 https://www.icfgblog.com/index.php/riscv/349.html#comments https://www.icfgblog.com/index.php/feed/
坚持不懈还是学会放下? https://www.icfgblog.com/index.php/Thinking/346.html https://www.icfgblog.com/index.php/Thinking/346.html Sun, 26 Jun 2022 11:22:15 +0800 icfg66 高考成绩这两天出分了,敬业的小镇做题家昨天收到小朋友的好消息,“差7分一本,已经挺满意。”望继续努力,你我皆是黑马。

高中的作文一直是噩梦,经常会让我写类似这样的题目谈谈“坚持就是胜利”,下一次换个题目“学会放下”。或者看到一些名言说,“走自己的路,让别人说去吧”,又有说,“良药苦口利于病,忠言逆耳利于行。”到底要我坚持还是放弃?要我独行还是听言?

我这人向来说一不二,既然上次写了“坚持就是胜利”,那么再让我写“放下”,不是啪啪打脸吗!?这语文没法学了啊。这个问题困扰了很久我。

一、细节决定成败?

记得有一次作文是写“细节决定成败”,谈谈看法。我来劲了,正好之前有些思考,直接来个“细节不决定成败”,因为要能决定成败,就不是细节。可能是数学学过概率论,细节决定成败都是事后诸葛亮,属于幸存者偏差,或贝叶斯后验概率,只有当知道结果真正失败的时候,才能回顾总结,发现原来之前这个“细节”出错了。但这个总结对下一次的成功没有任何帮助,反而可能过度紧张,见绳为蛇。结果,那次作文竟然得了个高分,同样的,也有写“细节决定成败”的同学得了高分!?这样一看,作文好坏和立意没有关系,只需要“自圆其说”?

这个结论对我其实很难接受。从小数学好,初高中后化学物理顺便也好,刷题无数的正反馈让我相信“真善美”,特别是“真”,因此“立意可以不同,只需要自圆其说”的观点非常难以接受,但在应试的“威武”之下,我还是“屈”了。但这心结一直没解。

二、这样也错,那样也错

交易时遇到的Boss Lin有一个点让我印象深刻,同样一波交易操作,有时他可以说打得好,有时也可以说打不好;挣钱能说成好,也能说成“这样持续做,肯定会亏”;亏钱能说成不好,也能说成“坚持这样做,肯定能持续盈利”。因为当时刚入行,所以他说的我全信,Lin说咋做就咋做。有段时间这样做也骂,那样做也骂,挣钱也骂,亏钱也骂,这段时间接受的否定应该比之前所有都多,心态几近崩溃。也有一段时间,这样也夸,那样做也夸,挣钱也夸,亏钱也夸,反而感觉有点害怕,不能这样吧?下次会不会骂更惨?

夸的时候有个特点,罗列过去我的“优秀”,打的好单子,层层递进骂夸;骂的时候是这个特点,罗列我性格缺陷,追涨杀跌的单子,层层递进地骂。这段经历让自己认识到,同样一个东西,可以说出白的,也能说成黑的,但说的过程得前后一致。在交易中的体现是,如果自己想做震荡,就低接高抛,不要高了怕突破不卖,低了怕跳水不抄;如果想做突破,就让一段空间,破了就盘它,不要犹犹豫豫一让再让。正常的下单能看到交易员清晰的思路和杀伐决断的勇气,不正常的下单看到的全是贪婪恐惧占便宜胆怯。人性所有的弱点都会在下单中暴露无疑。

挺感谢Lin带我进入这个和确定的“数理化”完全不同的世界,这里充满了不确定,没有牛二定律告诉你结果。

三、时时勤拂拭,勿使惹尘埃

虽然认识到“自圆其说”适合不确定世界,“真善美”适合小镇做题家,但不能将两者统一,还是挺有遗憾的。直到空窗期“思考人生”和考研“背水一战”的实战之后,似乎有了答案。

“坚持不懈”还是“学会放下”?其实内心是有答案的,只不过需要“自圆其说”来给说服心中另一个小人,然后带着平衡的心去执行,简单来说就是平衡内心。

当破釜沉舟,压力大的时候,是知道自己应该专注当下,不要焦虑的,但做不到这么办呢?看看天,看看星空,看看历史,自己是何等渺小,自己终归尘土,宇宙终归沉寂,焦虑的心应该会平静一些。当小有成绩,沾沾自喜的时候,也是知道一山还有一山高,但做不到怎么办?给自己一些近期的任务,让自己焦虑起来,和其他人比比,浮躁的心应该会平静一些。

阳明先生说:“良知自知”。作文教我的应该是为“平衡内心”“找理由”,然后去做“真善美”的事。

]]>
3 https://www.icfgblog.com/index.php/Thinking/346.html#comments https://www.icfgblog.com/index.php/feed/
Difftest踩坑笔记(二) https://www.icfgblog.com/index.php/software/341.html https://www.icfgblog.com/index.php/software/341.html Sun, 12 Jun 2022 19:32:00 +0800 icfg66 如何搭建自己的Difftest框架呢?一生一芯仓库的wiki给了优秀的回答,但要全搭起来还是不容易,同样是两个原因:不够保姆、版本。

1. 初始化仓库

首先clone一生一芯官网的初始化仓库。

git clone -b ysyx2204 git@github.com:OSCPU/ysyx-workbench.git
cd ysyx-workbench
# 初始化chisel环境
bash init.sh npc-chisel

2. Difftest文件夹

NutShell@3a8832e下的difftest拷贝到npc目录下,和playground同级。同时需要修改npc/build.sc文件,才能调用difftest中的clas,但需要修改difftest的版本至3.5.0-RC1,不然会报错。 参考以下三个Issue:issue8,issue9,issue10

// import Mill dependency
import mill._
import mill.scalalib._
import mill.scalalib.scalafmt.ScalafmtModule
import mill.scalalib.TestModule.Utest
// support BSP
import mill.bsp._

object playground extends ScalaModule with ScalafmtModule { m =>
  override def scalaVersion = "2.12.13"
  override def scalacOptions = Seq(
    "-Xsource:2.11",
    "-language:reflectiveCalls",
    "-deprecation",
    "-feature",
    "-Xcheckinit",
    // Enables autoclonetype2 in 3.4.x (on by default in 3.5)
    "-P:chiselplugin:useBundlePlugin"
  )
  override def ivyDeps = Agg(
    ivy"edu.berkeley.cs::chisel3:3.5.0-RC1",
  )
  override def scalacPluginIvyDeps = Agg(
    ivy"edu.berkeley.cs:::chisel3-plugin:3.4.3",
    ivy"org.scalamacros:::paradise:2.1.1"
  )
  object test extends Tests with Utest {
    override def ivyDeps = m.ivyDeps() ++ Agg(
      ivy"com.lihaoyi::utest:0.7.10",
      ivy"edu.berkeley.cs::chiseltest:0.3.3",
    )
  }
  override def moduleDeps = super.moduleDeps ++ Seq(difftest)
}

object difftest extends ScalaModule {
  override def scalaVersion = "2.12.13"
  override def millSourcePath = os.pwd / "difftest"
  override def ivyDeps = Agg(
    ivy"edu.berkeley.cs::chisel3:3.5.0-RC1"
  )
}

3.单周期CPU

CPU的chisel模板参考oscpu-chisel-framework,需要做两方面改动:

  • 添加二读一写端口的ram1w2r.v:difftest/src/test/vsrc/common/ram1w2r.v。因为单周期一般区分imem和dmem。
  • 修改difftest的接入时序,这点比较繁琐,也花了很长时间debug。

时序主要修改了两个文件:InstFetch.scala 和 Core.scala

  • InstFetch.scala 添加pc_valid信号,告诉difftest这是一个有效提交指令,然后Nemu运行一条指令,再对比各自的寄存器。如果没这样做,第一条提交的指令会出错。

  • Core.scala添加RegNext做延时,这是调节时序的。寄存器的更新在指令的下一拍,传给difftest的pc需要和寄存器的更新同步。这样difftest接受指令提交后,Nemu运行一条指令,然后比对各自的寄存器。

4. 测试BIN文件

测试BIN文件在这个仓库可以找到,感觉是之前一生一芯的开源仓库,不知为什么原官方仓库不见了。

BIN文件生成的时候需要加编译选项-march=rv64g -mabi=lp64d,否则默认会编译出压缩指令,运行时会报错(暂时没有实现压缩指令解码器)。

最后 npc目录下的Makefile 生成emu时,需要加上EMU_CXX_EXTRA_FLAGS="-DFIRST_INST_ADDRESS=0x80000000",告诉nemu在0x80000000的位置开始取值。

5. 小结

本想专心写硬件,没想到花了那么多时间大环境,print大法排查了很久,附上调试好的仓库,希望jyy老师不会打我。系统环境是Ubuntu20.04的虚拟机。如果用wsl,有可能需要改动一些地方。

git clone https://gitee.com/he_zhifan/ysyx-workbench.git
cd ysyx-workbench
git submodule update --init --recursive
bash install_tools.sh
git checkout v0.5

cd nemu
make riscv64-xs-ref_defconfig
make

cd ../npc
make sim

默认仿真addi-riscv-tests.bin文件,会停在0x8000050的位置,因为lui指令还没实现。li,mov是addi的伪指令,bne虽然没实现,但默认下条指令是pc+4,也能通过。 image.png

附

附上difftest的函数跳转图 入口函数:difftest/src/test/csrc/verilator/main.cpp

main.cpp
	|-构造emu
		|-调用构造函数:reset 10 cycles,init_ram,init_flash
	|-调用emu->execute
		|-init_difftest
          *****while*****
		  single_cycle运行dut
		  difftest_step()运行nemu        emu.cpp :426(difftest.cpp:88)
				|-do_first_instr_commit()   difftest.cpp :103(354)
					do_instr_commit()         difftest.cpp :148(222)
					*compare regs             difftest.cpp :178              
					|-打印对比信息             difftest.cpp :180
						state->dispaly:打印Commit Group         difftest.cpp:614
						Difftes display: Instr Trace, REF Regs  difftest.cpp:608
						display_trapinfo打印trap位置,和指令统计结果
					|-打印错误的寄存器
          ****end while***
		  display_trapinfo()             emu.cpp:495(569)

打印verilog里面的日志信息
]]>
3 https://www.icfgblog.com/index.php/software/341.html#comments https://www.icfgblog.com/index.php/feed/
Difftest踩坑笔记(一) https://www.icfgblog.com/index.php/software/340.html https://www.icfgblog.com/index.php/software/340.html Sun, 12 Jun 2022 19:31:00 +0800 icfg66 一、Difftest简介

Difftest是差分测试框架,有什么用呢?高性能CPU的设计需要做复杂的测试,传统的测试方法运行较慢,而且出了问题很难定位,Difftest就是为了解决这两个问题,基本的逻辑也不难: image.png

  • 处理器运行一条指令
  • 模拟器运行相同的指令
  • 比较两者的状态

为什么能运行更快呢?最著名的模拟器当属Qemu,此外伯克利也提供了针对riscv的模拟器spike,但两者的实现都比较复杂,中科院采用了南大的开发的轻量级教学模拟器Nemu。因为只需要在指令层面做仿真,因此有很大的优化空间。

为什么能容易定位bug?因为每运行一条指令,都会对比关键寄存器的数值,做到动态实时比对,spike需要最终运行完才能比对。计算机的运行就是不同状态的转移,这个观点非常精妙。

那么,这么好的框架如何用起来呢?

二、NutShell difftest

NutShell,Xiangshan都有difftest相关的介绍,也提供了Difftest使用指南,但真正搭起来还真不容易。

  • 第一是因为这些资料比较零散,没有完整的“保姆级教程”。
  • 第二是版本、版本、版本,包括chisel3、difftest、Nutshell等版本,不同介绍的时间点不一样,复现起来也不简单。

为了有个初步的认识,先简单体验NutShell的difftest框架。

1.找对版本

进入xs-env工程,下载对应的NutShell@3a8832e和NEMU@26c7e50版本,参考仓库的setuptools.sh安装比要的软件。如verilator v4.218等。

2.Run起来

NutShell的文档对difftest的使用介绍不多,但有个彩蛋给出了完整的操作流程:nutshell/difftest/.github/workflows/main.yml。这是持续集成框架:在项目开发的时候,每次commit提交,会在云端github提供的服务器Docker上按照main.yml的规则运行新提交代码,对新代码进行自动测试。

参照main.yml不难跑通,如果遇到报错,根据提示不难定位:比如需要在difftest/verilator.mk文件中,将clang++换成g++;或者注释掉41行的VEXTRA-FLAGS += - - instr-count-dpi 1;或者装一些依赖库。

# git clone 对饮版本的NEMU和NutShell
cd NEMU 
make riscv64-xs-ref_defconfig
make

cd NutShell
source ./env.sh
make clean
make emu EMU_CXX_EXTRA_FLAGS="-DFIRST_INST_ADDRESS=0x80000000"
./build/emu -b 0 -e 0 -i ./ready-to-run/microbench.bin

如果想看看difftest的效果,可以修改NutShell中ALU单元的某个运算符,再生成emu并运行。

Idea下打开工程全红怎么办?最新的NutShell用mill构建,而不是sbt,因此目录下没有build.sbt,而是build.sc,,如果直接用idea.sh打开,自动检查功能用不了,不能快乐跳转。Mill的官网提供了IntelliJ Support的解决方案:

mill mill.scalalib.GenIdea/idea

三、小结

Difftest是CPU开发过程中的高效调试框架,NutShell下跑通Difftest需要非常注意版本,参考持续集成main.yml能很容易跑通。

如果自己从头写CPU,该如果接入Difftest呢?请看下回分解

]]>
0 https://www.icfgblog.com/index.php/software/340.html#comments https://www.icfgblog.com/index.php/feed/
捡到RoCC的贝壳 https://www.icfgblog.com/index.php/riscv/338.html https://www.icfgblog.com/index.php/riscv/338.html Fri, 03 Jun 2022 16:22:55 +0800 icfg66 Chipyard Docker——坑外有坑 搭好chipyard的环境之后,便开始做一些简单开发,Berkeley提供了用户定制协处理器的接口,方便在Rocketchip上拓展一些自定义的硬件加速模块。

一、RoCC入门资料

整理过一些RoCC(Rocket of Costum)开发的实用资料:

  1. RoCC最大公约数
  2. Design and programming of a coprocessor for a RISC-V architecture

二、RoCC模块

写了一个矩阵向量乘法的加速器,增加了三条核心拓展指令:

  • push : 从内存传入向量至RoCC
  • mvm : 执行矩阵向量乘法(权重矩阵已提前写好)
  • save : 从RoCC传出结果至内存

完成功能测试之后,希望性能,于是在RoCC_mvm指令前后添加时钟数计时,结果发现打印的周期数远远小于估算的周期数,最终计算结果是对的。 image.png

难道gcc -O2 优化改变了指令执行顺序?反汇编查看执行的指令,确实也是这个顺序!为之奈何?——波形时序图。

调出几个关键信号:

  • inst_real: 实际执行的指令
  • RoCC : RoCC内部状态机状态
  • inst_pre:这是自己预想的时序图 图片1.png

发现执行mvm指令之后,RoCC进入mvm状态,但计算还没结束,cpu紧接着执行后面的读时钟和打印指令,最后计算完毕之后,才执行save,保证了计算结果的正确性,但计时不正确。

三、捡到贝壳

之前一致觉得RoCC运算的时候,流水线会停滞,没想到CPU还是可以做其他事情的,那么是否可以在RoCC计算的时候,CPU做一些准备数据的工作呢,这样可以充分利用计算资源,实现完美的时间管理! image.png

四、知其所以

为什么是这样的时序呢?之前做芯来科技E203协处理器的时候,确实和预想的逻辑一样,RocketChip为什么不同呢?看内存一致性模型相关的资料,结合官方手册The RISC-V Instruction Set Manual,找到一些线索。

内存一致性模型是描述多核访存的时候,应该遵守什么样的规则,不同的规则对应不同的模型,不同的模型在性能、编程难度等方面也不同。访存的读写指令在流水线上是多周期完成的,为了避免出错,可以有这样一个模型:读或写完成之后,再写或读下一条指令。这就是SC(Sequential consistency,顺序一致性模型)。按这个模型设计的处理器,编程友好,但性能会差一些。

为了提高性能,需要对读写放宽限制。为了充分释放CPU的计算能力,读比写的优先级会更高,因此可以放宽“写完之后再读”的限制:如果读写地址不同,还没写完毕,就可以执行下一条读指令。这就是TSO(Total Store Order,强顺序模型)。

如果放宽“写完之后再写”的限制,那么会得到PSO模型(partial store ordering)。

如果完全放宽读写限制,那么会的到WMO(weak memory ordering,弱一致性模型),而这里的Rocketchip就是采用RVWMO模型。缺少了这些限制,性能能够提升,但为了保证程序执行的正确性,RISC-V提供了同步指令“fence”。

所以为了保证我的拓展指令功能正确,需要在push和save指令前后添加同步指令:push完毕之后,才能执行计算,计算完毕之后,才能保存数据。这样才可以保证功能的正确性:

图片2.png

以上的模型可以用下表总结: image.png

有关内存一致性模型的内容很复杂,不知让大佬们掉了多少头发,只能简单介绍点皮毛,还很可能理解错~

无意中从计时的错误发现一种提高性能的方法,还是挺神奇的。

]]>
1 https://www.icfgblog.com/index.php/riscv/338.html#comments https://www.icfgblog.com/index.php/feed/