这是一个日记本

这是笔者的日记本, 会如实记录笔者每天做了些什么. 笔者尽量不会修改过去.

一开始想的是不带任何情感的记录自己的行为, 因为过去的一年笔者似乎变得过于情绪化, 笔者想要做出改变. 但是这并不容易做到, 最后笔者还是还是选择了折中, 在 02/01 之后的日记, 尽可能把行为和想法分开.

generally, 每天的第一段是笔者做了什么, 后面都是笔者的想法, 最后一段可能会附带对未来几天的日程规划.

04/14

06:40 起床, 回学校. 早上在 nv_h100_2 上配好了 uv 的环境, 彻底移除了 conda. 中午开会, 但是错过了 paper reading. 吃好午饭后先睡了一觉, 醒来以后修好了 benchmark 代码, 并且在 h200 上跑起来了实验. 吃好晚饭后去隔壁寝聊了一会儿天, 在别人的玩的音游里面搜索东方 project 的影子. 回来后 report 了一下结果, 然后接着跑了点代码, 然后就半夜了.

明天或许可以验证一下自己提出的 fairness for workload balance 的 idea. 然后 Vision 大作业 control net 部分还是交给同学吧, 笔者实在没有那么多时间可以 all in 了, 但是知识还得学会, 只是不能像前面 lora 那样有更多的实践经验了, 甚为可惜.

总觉得别人靠不住, 虽然笔者自己也没那么靠谱就是了. 笔者感觉自己还是团队协作能力不太行, 不太会合理的划分任务啥的, 要么就 all in 要么就摆烂, 以后还是应该注意一下.

还是得要提醒一下自己不要太飘, 不要老是想要说别人坏话. 多干事最重要.

笔者似乎有点过于中二了?

04/12

12:00 起床. 吃好饭, 下午体育节踢了场球, 回来后刷完了孤独摇滚. 晚上稍微看了一点代码, 然后回家. 睡前弹琴.

周末是真的没一点干劲. 今天睡得很多, 倒是不困. 孤独摇滚好看, 日常中的感动, 很真实的高中生写照. 每个人都有的虚荣心, 害怕被身边同学看到自己不一样的一面, 队友之间的互相帮助和理解, 还有家人在背后的支持, 小孤独一步一步走出自己内心的世界. 艺术化的夸张描写非常好笑, 笔者每次看见波奇最早拍的一副臭脸的那张乐队照片都会笑喷. 很有意思的番, 从生活中美好的一面着手描写, 并没有往黑深残的方向迈出一步, 效果依然出奇的好, 最后几集看的笔者非常感动. 非常好的治愈系番.

04/11

早上 09:10 起床, 但是很困. 最后一节视觉内容生成课. 中饭随便吃了点, 睡了午觉差点过头错过组会. 组会结束后研究了 mooncake 的 conversation_trace, 写了一个 parser 然后跑起来实验了. 睡前看了 6 集孤独摇滚.

今天没干什么有生产力的事, 明天继续研究实验, 以及和同学讨论 diffusion + control net 的训练.

孤独摇滚好看, 很日常平淡, 没有刻意突出人物矛盾, 制造爆点, 和 Ave Mujica 完全是两种风格. 生活中自然有 MyGO 那种人之间的矛盾, 当然也有孤独摇滚中的个人小世界, 波奇的小脑瓜胡思乱想的玩意和笔者高中时候的有些还挺像的, 确实很天真可爱, 不过笔者没这么不自信就是了. 真可惜笔者在最不自信的前两年没有看到这样的作品, 如果看了的话, 或许能更加能理解波奇的想法吧, 或许也不会在糟糕的状态中沉溺这么久吧. 不过这个作品目前看来, 为了艺术表现, 还是做的挺夸张的, 波奇钻进箱子的一幕让笔者看着笑喷了, 纯纯搞笑番是吧.

还是要记住脑子不清楚的时候少说话, 又口嗨说了一堆假话, 而一个谎言经常要用更多的谎言去弥补…

Remark: 睡前补充, 突然发现自己好喜欢明知故问, 倒也不是扮猪吃老虎, 但是经常喜欢在知道一件事情后还会故意去问别人, 假装自己不知道. 睡前突然下意识的想做类似的事, 但是笔者又突然醒悟过来中止了. 这似乎是一个很好的没话找话的方式, 但是确实也是稍微带一点 “恶意” 的行为. 笔者也不知道自己怎么想的, 但是突然就是想问问, 是为了想看别人出丑吗? 还是说只是单纯的太孤独想找人聊天? 神奇的心理.

04/10

早上 08:15 起床. 模型检验. 吃好饭, 下午晚上 all in 视觉内容生成.

花费了两天, 基本靠自己找了模型和训练框架和数据集, 自己探索探索了训练的参数调节, 也体会到了训练过程的各种不确定性. 笔者选的是 flux-dev1 模型, 用的是 finetrainer 框架 (顺手还提了两个小 PR), 然后数据集找了半天. 过程中, 最麻烦的是 caption 的标注, 因为很多数据集是图片 only (包括笔者从 pixiv 爬下来的一些图集), 人工标注的成本过于高. 笔者一开始就想到了 LLM 标注的方案, 奈何效果不尽如人意. 笔者也是偶然和学弟交流的过程中, 发现了别人 finetune 过的 llama 模型, 这里就直接拿来用了.

探索了两天, 得出的结论是 caption 没那么重要, 但是格式最好要相对比较统一, 其实基本就是打 tag, 这一点 LLM 做的其实不差. 然后就是 batch size 要拉大, 往死里拉就对了… H100 上能拉到 16, 训练 1000 个 iteration 大约要 2h… 在笔者当前配置下, 效果还是很不错的.

累坏了, 结束后又要 context switch 回 hicache 了. 这件事情告诉笔者, 专注做一件事情还是很爽的. 高中时候 “用 AI 画出自己喜欢的小姐姐” 的心愿, 在大学终于实现了, 开心. 不过过程中还是因为太急着交差, 没咋仔细看文档, 导致犯了一些愚蠢的错, 以后还是得再耐心一点.

补一嘴, google drive 很适合临时用来往国外的远程服务器传大文件, 作为一个中转站, 因为支持 wget/curl.

04/08

早上 08:15 起床. 模型检验. 吃好饭睡了一会儿, 然后醒来太困去外面逛了一圈, 回来继续跑实验. 然后是视觉内容生成, 以及区块链. 结束回来后继续调了一下环境, 配了一下 trt 的 clangd, 然后跑起来了新的一组实验. 睡前又发了两封 follow up 邮件.

大洋彼岸还是没有回信啊, 又过了一周了啊… 早上起来的时候处于一个, 不是很清醒, 但是又没那么困的状态. 在闹钟响起的前几分钟基本就醒过来了. 笔者必须得起来, 但是, 如果可以, 我想尽量, 再多浅眠片刻… 稍微有点能理解丰川祥子的想法了, 清醒的做梦也是一种享受.

计划明后两天速通 vision 大作业, 如果可以把其他的能收尾的作业一起做了. 一口气多做一点事, batch size 高一点.

04/07

复工 day 1. 早上 07:00 起来回学校. 吃了早饭回来跑起来了实验, 然后突然发现周末还要助教讲课, 遂开始准备. 下午和同学出去给莉莉白拍照, 顺路第一次去隔壁华师大逛了一圈. 晚上回来后基本把讲课的草稿打完了, 然后和同学去跳绳, 结束后回去完成了 block chain 作业.

总感觉 hicache oracle write through cache ratio + 1 后和表现和 trt 的 cache hit 过于吻合, 严重怀疑 trt 的策略就是 write back. 只要 cacheline swap 不会导致停顿, 那么理论上 write through with ratio + 1 性能和 write back 应该是一致的… 笔者反正不相信巧合.

早上地铁上稍微思考了一下昨晚上头写的话, 笔者最讨厌的其实是家人对自己的不尊重, 从小到大从来没有停止对笔者的监视, 下午写代码时不时就要找机会来看一眼, 笔者从来就没在家里感受到完全的安全感, 在多次劝说后无果, 永远都是以 “我又看不懂” 作为借口来逃脱, 恶心. 还有就是对其他人的表里不一 (包括笔者本人也干了). 虚荣、功利什么的, 本身也无可厚非, 只是个人的选择罢了. 只是对他人表一套里一套这种做法, 尤其是处于虚荣的自尊心而对他人吹捧、实际却一点不希望别人成功这类的, 是笔者高中时候干过的烂事, 那时候养成的条件反射到现在也会伤害笔者身边的同学, 这或许才是笔者最应该改变的, 至少笔者大学前三年有在努力…

无论如何, 莉莉白可爱, 拍照爽. 摄影同志 辛苦了. 能创造出让自己感受到美的东西, 可能这就是艺术吧. 笔者也希望在将来的某一天能成为一个同人创作者, 创作能感动他人的同人音乐啊, 也不一定要是东方同人 (笔者的高中就是在一个又一个绝美的东方同人 “艺术品” 中度过).

04/06

清明节 last day. 还是起的很晚, 下午跑实验弹琴, 刷 twitter 以及想 hicache 调度.

最后一天休息了, 这几天确实完全缓过来了, 还是在家好. 发现早上自己虽然 09:30 左右就会醒过来, 但是过一会儿还是会陷入梦境. 更神奇的是, 这个梦境感觉是笔者主观控制的, 故事都是顺着笔者的思绪在展开, 一切发生的都是那么的自然. 缺点就是醒来之后头会有点晕, 可能是做梦过于消耗大脑算力导致…

这三天高强度弹琴发现并纠正了不少小毛病. 比如持琴姿势不对, 导致左手必须握住琴, 这会让左手变得僵硬. 同时发现左手手指按弦经常过于用力, 导致第二天手指残废, 指尖很痛. 然后再弹 power chord 和 octave dyad 的时候, 经常会忘记制音, 导致不干净. 以后扫根音在五弦的八度时, 要注意中指护六弦, 而强力和弦的问题昨天讲过了 (笑). 总之顺手把最近很上头的一首曲子的主音吉他基本练下来了, 除了 solo 部分速弹实在不会, 还得多练.

感觉被笔者丢弃了三年的乐理也应该找机会重温了. 说来也挺好笑, 笔者在最应该玩的时候 (大一/大二) 选择了卷绩点, 反而在大三大四这个一般人认为的关键节点, 放弃了对成绩的执念 (至少没以前那么魔怔)… 笔者还是挺后悔小时候没有认真听音乐课, 高中自学乐理的时候也三心二意, 而大学认真学琴之后也没有坚持下来, 而反而在最紧要的时候, 笔者重新捡起了这些东西, 总是在错误的时候做重要的事情啊… 现在想想, 高中也算是很美好的回忆了, 压力基本没有多少, 不到期末不会认真, 平时学学竞赛、玩 mc、学音乐、了解东方, 但现在这样的日子是再也没有了, 每天几乎只剩下做项目, 想 idea, 偶尔看看二创, 这不是笔者想要的生活. 笔者的生活不知何时越来越单调, 但笔者暂时也想不出, 如何兼顾一个自认为美好的生活, 和学习和科研, 和笔者可能还没认识到的珍贵的事物……

好吧笔者写完上面一段感觉像是瞎写了一堆还是别管了. 说到回忆过去, 又想到了刚结束的 Ave Mujica 和 MyGO!!!!! 尽管续作 mujica 似乎有点烂, 但笔者对两部剧中的很多角色的行为还是挺能理解的, 比如试图回到过去的美好日子, 转眼就切割说 “我不认识”. 如果把共情能力拉满, 再结合自己和身边人, 还是能找到许多现实中的投影的. 两部剧的主题是成长, 少女乐队终究还是少女成长的故事, 当然切割、吵架、孤立这些黑暗面自然也是现实中少不了的一环. 有机会打算再一次, 更加认真的看一遍, 或许也该拯救一下自己濒临破碎的人际关系了, 以及构想未来的方向… 笔者去年想的是在暑研时, 忘记过去重新做人, 不要再那么虚伪和功利, 也不要天天监视别人, 总之不要活成自己天天嘴上骂的那种人. 不过这做起来真的很难…

今天必须早睡了, 明天要早起. 明天继续想调度, 或许可以在一定限制条件下试图 formulate. 明天还要干区块链作业啊.

感觉笔者也快成为别人口中 “这辈子有了” 的人了.

04/05

清明节 day 2. 下午读了两篇论文, 写了两篇阅读笔记, 继续跑实验. 晚上跑步 + 弹琴.

明天得早点起了, 不能再这么玩了. 突然喜欢 sus 4 和弦, 因为六弦上 power chord 如果不用小指制音三弦, 很容易小横按四五弦的时候压到三弦, 不如顺其自然 x

突然发现扫弦还是有点吵的, 比单音要响好多, 夜间稍微有点扰民了 (也可能是笔者拨弦力度太大).

04/04

清明节. 给自己放了半天假, 早上 11:00 起, 下午跑实验, 晚上纯弹琴.

放假还是别再压力自己了, 把该做的事情做了就早点休息.

04/03

早上 08:20 起来, 模型检验. 下午跑实验, 研究 io kernel, 顺手写了一个 naive implementation. 晚上发现 Ave Mujica 把最后一集的收尾曲放出来了, 单曲循环了好久. 晚上 21:00 看起来那边的人也睡了, 实验也跑起来了, 笔者暂时也没有在线的必要了, 遂回家.

被 cuda C++ 折磨, 写起来 clangd 提示一坨. 更麻烦的是, C++ 的编译太慢了, 而且似乎因为更新了 nvcc 导致编译失败, 头疼.

和模型检验这门课即将彻底告别, 还挺不舍的. 本学期最喜欢的一节课. 虽然笔者向来不喜欢听老师讲课, 但课程内容实在是太有意思了.

感觉暑研联系的有点 time out 了, 得 follow up 了.

近期最难绷也是最难忘的一个番 Ave Mujica … 好好练琴吧, 争取把终曲练下来, 目测不难, 不过缺一把七弦…

04/02

精神不好的两天. 早上 12:00 起来, 下午跑实验 + 看 ASPLOS-25 新论文, 晚上上通识课.

一个月就这么过去了. 笔者感觉自己经常会有几天, 因为睡眠不好, 导致白天效率很低, 不在状态. 昨晚上就是因为熬夜, 导致睡眠不好. 笔者推测睡眠质量不高, 原因是因为笔者寒假习惯了比较健康的作息, 如果某一天突然晚睡, 身体无法调整导致的. 所以还是要规律啊… 今天也得早点睡.

然后就是运动, 过去的一个月笔者已经完全走向了 otaku 了, 这很不好, 之后争取每天挤出半个小时吧.

笔者发现学习时长并不重要, 高效利用白天的时间才是关键, 而这也建立在充足的睡眠的基础上. 今天这种头晕乎乎的日子就不应该学习

04/01

愚人节快乐. 08:20 起床, 早上程序验证, 中午睡午觉 20min, 下午跑实验配环境, 晚上上课 + 班内开会. 回来后看完了论文.

空虚的一天, 浪费了不少时间, 似乎还可以更高效的. 最重要的还是早点睡吧.

03/30

今天 10:30 起床. 中午开会. 开完会吃中饭 + 早饭. 下午头晕睡了一觉. 醒来把学校作业基本都完善了一下, 试图看 trt 源码. 晚上练琴.

周末荒废 + 1. 今天醒的时间和睡的时间差不多, 但是状态比昨天好, 醒着的时候做事效率都很高, 这就够了.

早上做了一个很奇怪的梦, 老实说笔者每次做这种长篇大梦的时候, 醒来都会很疲惫, 可能是大脑算力不足. 但是这个梦是在是太美好了, 笔者醒来发现已经湿了枕头. 笔者不懂梦, 但笔者很清楚那就是笔者所憧憬的未来, 哪怕只是虚幻不可实现的梦想… 平时笔者虽然比较喜欢乱想, 但面对事实笔者还是不会去抗拒不会去否认. 只是日复一日的生活确实有点消磨人的耐心.

頼むよ神様、こんな人生だったんだ。せめて一度ぐらい、幸せな夢を見させて
Just run to the utopia!

当然, 笔者也很清楚自己的生活比起很多人已经是过于幸福了, 可能不知何时笔者变得如此的贪得无厌…

早睡好, 早睡早起确实更有精神一点. 今天继续.

03/29

今天 11:00 起床. 下午看了篇论文, 看了下实验, 遇到了一些小 bug. 晚上头疼, 但不想睡觉, 弹琴和研究设备.

周末一如既往的荒废 hh. 今天还是早点睡, 明天起来好好干活了. 更新驱动解决 99% 问题.

Mujica 新曲听上头了, 试图扒谱 + cover, 吉他编的很对笔者胃口.

03/27

今天 08:10 起床, 早上模型检验. 下午跑 benchmark, 分析数据, 写了一个 JSONserializer. 晚上完成了 model checking 的作业, 然后看完了 Ave Mujica 的最后一集. 后面纯摆烂时间.

这几天比较松懈, 一没写日记就开始变着法子偷懒, 还是不能再这样了… 人生在追的第一部番结束了, 一言难尽啊. 但是音乐本身还是很不错的, MyGO!!!!! 的两首比较样板戏, 而 Mujica 的两首则稍微有点意思, 第一首很新奇的曲风 (不是很辨认的来), 第二首经典感人流, 但是你不得不说笔者就是很吃得来这一套. E F C (上行) 和 E C A (上下) 这两组音还是很有意思的 (btw, 笔者之前一直就很喜欢音程关系为 x, x + 1, x + 8 的 tuple). 还有中间段 A# C F C E F 的清音分解. 还有八度扫弦… 说实话, 让笔者想起了高中听的很多日系前卫风格核队 (同样是妹子 vocal awa), 比如「Story of Hope」, 都喜欢拿大和弦 (这首好像是 F major?) 做文章, 打破了传统金属乐中偏阴冷扭曲的小和弦色彩, 配合上电吉他高增益音色独特的颗粒感, 达成一种浑然天成的效果. 至少笔者到现在还没听腻这套玩意. 最棒的是好歹有一段速弹吉他 solo, 爽!

老实说, 戴上耳机听感觉混音完全不对胃口, 但是外放看番的时候感觉还行, 也可能是响度的问题. 作为 metalhead, 笔者还是喜欢硬朗一点的音色, 不要太肉 (中频太多啦).

睡前再听了一下 Story of Hope 的曲子, 最有感觉的还是大调相对音程为 7, 1, 5 (上行) 的三个音, 复杂的情感糅杂其中… 混音再改进一下真的成神曲了啊…

所以说这剧本真的毁曲啊, 7 ~ 10 集完全不知所云, 四集写烂了三个角色, 心疼啊… 人生追的第一部番啊, 心里真的五味杂陈.

以后不能再熬夜这么搞了, 笔者错了, 又深夜 EMO 了. 希望以后对自己感兴趣的事物也能一直这么有热情吧.

明天真该看看论文啥的啦. 疯狂开源周该告一段落了, 后面还是多 focus on 工作吧. 笔者也发现了, 笔者似乎在把写工程代码作为自己学习的一种逃避, 笔者不应该这一直这样做, 还是应该勇敢迈出舒适区.

03/24

今天 11:00 起床. 早上起来看了下在跑的 benchmark, 下午远程 meeting sync 2 次, 随后稍微修了一下 xgrammar 的 LRU cache 的 PR. 晚上完善了一下 LTL 大作业的文档, 顺手修了点小 bug, 然后完成了第七次作业的一半. 睡前弹琴.

在家最爽的事情就是可以灵活作息. 之前三天肝完了 LTL 的大作业, 这玩意用 C++ 写起来真的逆天, 再加上那几天身体稍有不适, 效率奇低. 不过也算是运气好, 这次基本没怎么 debug 就过了, 唯一卡了笔者一会儿 bug 是自己做的一个 micro optimization…

对于项目的未来有了更加明确的 provision 了, 但对于自己未来想要做些什么还是 at loss… 等自己的两个 PR 结束后打算小休息一波. 上半年除了维护维护开源项目, 笔者还没想到什么其他的优先级.

xmake 配 C++ 环境真的太舒服了, 笔者写 C++ 代码从来没有这么开心过.

笔者上周听课过于不认真, 笔者现在开始后悔反思, 计划本周还是应该多回到课堂.

03/20

今天 08:20 起床, 由于昨夜室友晚上发出了不小的一些动静, 笔者又没睡好. 下午研究了一下 xmake + antlr4 的环境配置, 晚上写 MC 大作业 + xgrammar PR + hicache 跑实验. 22:20 又看了一集 Ave Mujica.

这几天疑似事情有点太多了. 明天必须赶紧速通了 Model Checking 大作业, 然后赶紧搞手续, 早上就看到邮件了, 但是还拖着没搞.

事情越来越多, 正因如此, 才需要在闲下来的时候赶紧把想做的事情做掉. 多睡觉, 脑子有点不清醒.

笔者 03/15: 感觉为了自动化, 付出了太大的代价了……

03/18

笔者突然发现日记很久没有更新了. 今天早上 06:45 起床, 回学校, 早上 09:00 模型检验. 下午因为太困先睡了一觉, 把 xgrammar 的 thread safe cache 写好了, 然后在新机器上把环境配起来了. 16:00 ~ 20:00 上课.

今天突然发现 ssh 连接 lmsys 和 nv 的机器连不上去了 (具体来说, lmsys 是概率炸, nv 是一定炸), 而且只有在使用 SJTU 的 WIFI 的时候才会出锅, 有线网没问题. 最后在外面采用 ssh -J lmsys nv 的办法跳板过去了, 由于延迟太高也只能用用 shell + vim.

和多线程搏斗两天, 改了好多个版本的 ThreadSafeCache, 最后发现还是简单点好 hh. 也易于维护.

有时候会后悔自己是不是太分心了, 但是做一件事情的时候还是专注一点, 不要做一半突然想着反悔. 总之笔者觉得做好很重要, 虽然别人可能也不在乎吧.

这几天睡太少了, 导致效率不太高. 笔者好久没读论文了, 负罪感已经要把笔者击垮了 再这么下去要坏掉了

03/15

今天 12:00 起来. 下午先摆了一会儿, 到 14:30 开始写了点 Model Checking 的作业, 然后开始给 xgrammar 写 LRU cache.

发现自己写代码有个坏毛病, 之前在学长博客里面也要看到类似的问题, 大致就是代码洁癖. 有时候一些写起来, 就喜欢无尽的重构… 以后还是得多避免这样的问题, 从这次开始.

Metric Space: 总之最重要的是克服强迫症，把项目分为探索阶段以及 release 阶段，在探索阶段爱咋搞咋搞

周末生产力不高, 但是问题不大, 笔者已经放过自己了… 今天就这样吧. 明天计划读读论文 + 看看 benchmark. 一定要注意做事不要太上头!

03/14

今天早上 09:40 起来, 上视觉内容生成. 下午先开组会, 结束后研究了一会儿 C++ coroutine, 试图更新 blog. 晚上回家, 先修了 benchmark hierachical cache 的代码, 然后跑了起来. 睡前就 all in Model Checking.

感觉为了自动化, 付出了太大的代价了… 最初只是偷懒不愿意上传图片而已. 明天早点睡, 连续两天睡得太晚了.

03/13

今天 08:15 起来. 早上模型检验. 下午 OJ 随便找了一道题做, 然后发现 OJ 一个 bug 打了一个 PR. 晚上继续跑 benchmark, 被老版本 vllm 坑了好久. 结束后和学弟聊了聊高级编译器的任务. 结束后看了一集 Ave Mujica, 然后摆了一个小时, 回来后先把实验结果画了图, 然后发现 submit to ASPLOS26 的论文里面的若干 typo, 但是来不及改了. 睡前看微信发现有消息, 发了一封邮件, 然后讨论了一个 PR.

好累的一天. 下午才发现自己 OI 水平严重下滑, 简单 dp 题半天写不对 (虽然感谢算法课, 算法还是很快就想出来了). 写题的时候发现题目 input 量很大, 遂结合 OS 的一些知识写了一个简单的 fastio. 大概也是学了 OS 和 compiler 很久之后才能真正的融会贯通吧.

#include <iostream>
#include <optional>
#include <sstream>
#include <sys/stat.h>

namespace fastio {

static auto get_input_size() -> std::optional<std::size_t> {
    struct stat st;
    if (fstat(fileno(stdin), &st) == 0) {
        if (S_ISREG(st.st_mode)) {
            return st.st_size;
        } else {
            return std::nullopt;
        }
    } else {
        throw std::runtime_error("Cannot determine the type of input stream");
    }
}

[[nodiscard]]
auto get_istream() -> std::istream & {
    static std::stringstream ss;
    static auto &is = []() -> std::istream & {
        if (const auto size = get_input_size()) {
            auto buffer = std::string(*size, '\0');
            auto read   = std::fread(buffer.data(), 1, *size, stdin);
            if (read != *size)
                throw std::runtime_error("Cannot read the input");
            ss.str(std::move(buffer));
            return ss;
        } else {
            return std::cin;
        }
    }();
    return is;
}

} // namespace fastio

明天早上继续修 sglang 那边的 PR, 计划晚上早点回家 (虽然要帮一个学长看班 x). 然后 hi cache 那边多想想 schedule, 以及注意一下 stf 那边签证的事情. 最近事情很多, 笔者感到无比的充实和劳累.

笔者再次于深夜怀疑自己的动机, 害怕自己的短视会害死自己, 厌恶自己的虚荣心, 笔者一直希望多了解一点科研的东西. 但是笔者又不禁思考, 科研又是什么. 了解别人 novel 的 idea, 它也不是什么神圣的事情. 过去的教育让笔者以为 “唯有读书高”, 大学以来对 “纯粹的研究” 又有了很多的渴望, 以至于经常会有点看不起 “工程”. 但事实上两者也并非绝对的对立, 工业界不见得就比学术界蠢, 从部分学长口中得知学术界的黑暗面又让笔者的 “纯粹的美好” 的幻想破灭. 感慨一年前自己曾说过, 自己的偏见会害死自己, 没想到今天的笔者依然没有改变.

说到底, 为啥确立自己的价值就一定要建立在踩在别人的头上呢? 笔者似乎从小到大从未逃离这个悲伤的因果循环. 无论如何, 还是希望有朝一日, everything must be equal.

不过无论如何, 还是要多看多学多写, 学习点新的东西. 思考的时间太少了.

misc: 生活就是一个巨大的 asyncio, 笔者没有两个大脑, 笔者只有 DSP (audio) + GPU (vision) + CPU(brain), 如果没有 OS, 那就只能让用户主动做调度, 用 coroutine 实现 user-mode thread-like time sharing.

03/12

今天 11:00 起来. 吃中饭. 然后下午修了一下脚本, 作图. 晚上在新的 setting 下跑了点新数据, 重新做了一张图. 睡前推进了一下签证的事情.

发明了基于 docker run 和 docker stop 的 benchmark 方法, 具体来说由于 trt 没有暴露清理 KV cache 的接口, 遂直接把整个 container stop 了, 然后重启, 实现了类似的功能. 虽然效率很低, 但是实现了自动化, 可以安心挂机, 这是一个质的突破.

感觉自己情绪波动好大, 昨天还觉得科研没意思, 今天又觉得哇好有趣. 这很大一部分, 是因为看到了一些直接的结果, 感觉又行了, 所以非常激动. 这是非常短视的一个举措, 笔者应当避免. 不可否认正向反馈的积极作用, 但是更需要的是一个坚定的目标的指引, 笔者目前似乎还没有这样的信念.

笔者最近好久没读论文了, 感觉没有知识的流入不是一件好事, 等静下来一定要多去了解. 之前失败的原因是, 一旦从累的状态休息下来, 就会过于放松, 导致忘记做正事, 以后需要避免.

以后还是得多控制一下自己, 有时候做事情不过脑子太吓人了.

03/11

今天 08:00 起来. 早上 Model Checking. 下午先是修了一下 blog, 然后修了一个 sglang PR. 下午晚上各有一节课, 结束后浪费了点时间和同学闲聊, 然后作图.

发现自己的签证非常危险, 明天必须得格外关心一下了, 如果出事了问问有没有解决方案吧.

突然有点失去科研的动力, 不知道为啥要继续做研究, 不过只是一瞬间的念头.

要少浪费点时间了.

经常说别人晦气不干事, 结果发现自己也挺喜欢晦气别人的… 回旋镖把自己打烂了, 最讨厌的一类人竟是笔者自己…

03/10

今天 07:00 起来. 回学校, 早上跑 benchmark 以及配置新机器 H200. 下午先是开组会, 听实验室同学讲 deepseek, 然后回来继续在新机器跑实验. 下午结束后作图. 晚上吃好饭后改进了一下画图, 然后出去跑了会儿步, 随后准备睡觉.

今天精神好一点了, 果然还是不能睡太多. 事情很多, 但是基本没浪费什么时间, 配置新机器和跑实验的时间看起来必不可少.

笔者最近半年学到的最惨痛的教训就是, 不能胆怯, 要勇敢提问. 虽然笔者一直未能完美付诸实践, 但至少也有改进. 在问学长/学姐/导师事情的时候, 笔者虽然也会犹豫, 但是如果事情非常严肃, 那么就一定不能拖 (很可惜, 下午看到的, 但是还是犹豫到了晚上才回).

笔者突然发现自从初三之后, 除非学校要求(似乎也只有红楼梦?), 就再也没有翻开过任何一本文学类书籍, 这使得笔者本就不存在文学素养进一步恶化, 以至于到了一种不知道如何和别人说话的地步.

笔者感觉自己似乎已经脱离了正常人的生活, 笔者不是人类了 x. 想要成为人类 (不开 MyGO!!!!! 玩笑了) 不过很孤独是真的.

Power, Devour!

03/09

今天 11:00 起来. 下午先去学校考了普通话, 回家后弹琴. 晚上尝试给 Earley Parser 支持 Python 语法, 但是尚未完成. 同时给 sglang 的 function call feature branch rebase 到 main 了, 打算这两天加完 test 后就开 PR.

今天头很痛, 整一天没啥效率. 事实上过去一周感觉状态都不太好, 效率不是很高. OSDI 论文寄了, 所以转投 ASPLOS 了, 同时先挂到了 arxiv 上. 但愿这次能有一个好一点的结果吧. 虽然笔者已经不停在降低预期了, 但是笔者还是非常期望自己大三的努力能够有些回报的.

教训:

1. 要有明确的目标, 不然做事就会像是这周一样散漫没有效率.
2. 要多运动, 不然身体状态不好, 睡眠也会收到影响 (虽然这一点只是笔者怀疑)

计划:

1. sglang function call “strict” 赶紧支持了.
2. hierarchy cache 测完.
3. Earley Parser 早点搞完.
4. 早点睡觉, 不要再拖到半夜了.
5. 想要玩手机的时候, 多去看看论文或者想想还有啥没做 (特别是各种作业).
6. 找个时间补办学生卡, 丢了好久了.

03/08

今天 11:00 起来. 下午主要在写 Earley Parser. 晚上弹琴, 顺便填了一些 internship 相关的表格.

在家早上起不来, 确实缺少干活的动力. 今天还是要早点睡, 不要再拖的很晚了. 一旦忙起来, 似乎就会不认真写日记了, 笔者认为这是不好的.

明天填完表格还得回学校.

03/07

今天 09:45 起来. 上课. 下午组会, 组会结束后继续跑实验. 晚上和学长吃饭 + 聊天 + 回答下一届同学的一些问题. 结束后回家. 睡前弹琴.

今天比较摆, 不过倒是没啥负罪感. 这周似乎没咋出去运动, it’s not good, 不会真要变 otaku 了吧.

弹琴快成了笔者的寄托, 虽然弹得一坨.

03/06

今天 08:15 起来. 上课. 早上的课结束之后, 中午睡了挺久, 然后下午修完了 benchmark, 并且看了一眼 issue. 晚上 OSDI 出分了, 导致后面稍微有点心神不宁, 后来基本写完了 Model Checking Homework, 然后睡觉.

意料之中的失败, 做的时候就感觉不是那么的 novelty, 更像是一个 engineering trick. 不过 reviewer 也很离谱, 完全不是人, 能说出 “ML community has moved away from adapters” 这种话, 笔者辛苦额外支持的 LoRA 被别人一句话否定确实也很令人难受. 有几个 review opinion, 笔者只能认为是 mean 导致的. 这件事对笔者心情还是稍微有点影响, 不过吃完饭基本恢复一半了. 昨天没睡好, 今天早点睡.

明天得把 Earley parser 写完了, 有空多学学 cuda kernel 吧, 还一点没开始. 等卡 available 了也得赶紧开始 hierarchical cache 的实验了. 失败并不可怕, 毕竟在过程中笔者非常沉浸也非常开心, 只要能一直学到新东西就行. 笔者作为舒适圈大户, 还是需要有勇气尝试新的事物.

もう何も怖くない

03/05

今天 09:20 起来, 吃早饭. 早上基本全在看 sglang 社区反馈的一个 bug, 本来以为只是哪里的小 bug, 没想到似乎有更多一连串的问题… 下午 meeting 前修了一下 Model checking 作业, 然后 meeting 的时候讨论了一下 roadmap, 修了一下 benchmark. 晚上通识课, 结束后 all in Model Checking 作业.

不知不觉浪费了一天, 在无关的事情上浪费了太多时间. Model Checking 作业手画自动机估计早做完了, 但是就是一开始有了要用程序画图方便 github CI, 便开始用 python 写代码, 了解了 graphviz, 然后自己设计了一个 Finite State Machine 的 Class, 最后顺便实现了一个简单的 NFA -> DFA 的算法. 过程非常沉迷, 最后的代码写出来也就花了 20 分钟左右, 甚至没咋调就正确了. 当笔者看到 python 画出来的和手画几乎一模一样的图的时候, 心里还是非常开心的. 代价是, 本来一个小时就能完成的东西, 拖了一个晚上. 事情还是应该分轻重缓急.

明天 OSDI rebuttal start, 稍微有点紧张.

Remark(03/06): 由于昨天太累了, 忘记写日记了. 累到甚至上床很快就睡着了, 但是很快又醒过来. 醒来时只觉得浑身充满了力量, 但打开手机一看才过去 30 分钟, 在这之后就一直没睡着, 不知道过了又昏昏沉沉的睡过去了.

03/04

今天 08:15 起来, 上课. 上完早上的课, 下午先是看了 grammar 相关的, 接着上视觉内容生成和区块链. 晚上结束后随便吃了点, 然后搞明白了 Earley Parsing 算法.

很日常的一天, 情绪化严重的一天. 日复一日的生活似乎有点太无聊了, 意义的缺失钻空子再次侵袭了笔者. 晚上有大概一个小时笔者脑子处于混乱模式, 虚无感侵蚀笔者. 笔者感觉自从上了大学之后, 和身边人的交流大大减少, 到了一种过于自闭的地步, 想要开口却不知道聊些什么. 笔者本人确实非常功利, 脑子里很多时候只想着让自己变得更受欢迎, 让自己更加 “厉害”, 或许是类似的想法也使得笔者和大家似乎有点脱节.

自毁的想法再次于脑海深处浮现, 虽然笔者并不会被它击溃, 但笔者不可否认受到了它的影响, 或许应该等天气好了多运动来缓解一下.

笔者似乎在被越来越多的人嫌弃, 但笔者无法改变自己的虚荣本性, 或许还是应该少说点话, 笔者很希望能够多和其他人交际, 至少能像高中那样有一个真正理解自己的朋友 (比如 492), 但似乎笔者和大部分人找不到学习之外共同的话题. 一方面笔者迫切渴望像高中那样能和身边同学有更多的交流, 但另一方面笔者完全无法和他人正常交流, 笔者也很清楚这样的交流对对方很有可能是非常无理的.

难得的被情绪冲击的一天, 自从去年年末一些事情之后, 这样的空虚感已经变得非常罕见了. 最近也有朋友聊到相关的话题 (见 02/25), 刚刚鼓励完别人, 本来以为负面的想法已经彻底消失了, 没想到过了一周就反弹到了自己的身上, 而且如此强烈, 这次日记一口气写了 10 多分钟啊……

笔者确实过于浮躁了, 笔者该 calm down.

笔者或许也该做出一些改变了, 该从一些人生活中消失了, 忘掉一切好好干活吧, 回到自己的初心. 初心是啥呢? 变得更厉害, 做出更有意义的工作, 学更多有趣的知识, 创作自己的作品. 形式什么的都是不重要的, just run to the utopia!

明天暂定九点前起来, 吃早饭, 然后去悸动奖励自己 (买一送一不去白不去), 然后继续跑 benchmark 和写 grammar 相关的, 好好干活吧.

Item	Time(assumed)	Priority
hierachical cache bench	09:00 ~ 12:00	High
earley parsing implement	09:00 ~ 12:00	High
model checking review/HW	13:00 ~ 18:00	Middle
remote meeting	14:00 ~ 16:00	Top
sports/relax	16:00 ~ 17:00	Middle
learn cuda kernel	16:00 ~ 20:00	Middle
lesson time	18:00 ~ 20:20	Low
check what i forget to do	20:00 ~ 23:00	Low

Remark: 睡前迷思, 听 EMO hardcore 是真的爽, 直接的情绪宣泄在这种独特的音乐风格里面体现的淋漓尽致, 暴力的 breakdown 和 screaming 加上高亢的旋律融合度非常高. 有时候觉得中后期 Foreground Eclipse 作为一支商业乐队也是合格的, 也难怪能开这么多演唱会 (笑).

03/03

今天 06:45 起来, 从家里返回学校. 大约 08:15 到校, 吃好早饭后遇上大雨, 湿透了之前骑回了 D19. 早上先写了一个 PR, 然后继续研究 vllm 代码, 发现并没有很好的支持 KV Cache offload, 遂放弃. 中午吃好饭睡了一会儿, 下午先是组会, 结束后和老板和学弟 meeting. 晚上 17:20 吃饭. 饭后交了一发 PR, 然后稍微跑了一些简单的 setting 的 benchmark.

没有很多的想法, 干事情要专注. 再次发现自己在状态不好的时候会说出极其逆天的话, 如果失去理智会变得非常恐怖, 所以还是要谨言慎行. 笔者有时候很后悔过去做过的事情, 想要道歉却难以开口, 希望这样的事情不会重演. 有的时候希望自己能忘记一切, 有的时候又希望自己能够保持开心. 忘记是对自己的否定, 而开心则是自我接纳的体现.

明天早点起, 优先把 xgrammar 那边事情看看, 还有自己的 PR, 还有复习 VAE 原理, 抽空看看 paper, lose track 很久了.

有时候还是觉得自己在舒适圈待太久了.

03/02

今天 11:00 起来. 下午继续和 trtllm-serve 进行斗争. 晚上出去跑个步, 吃了个饭, 然后 focus on 学校的一些事情, 以及看了一下 function calling 的 PR.

越来越认可 linus 的一句话: F**k you Nvidia. 最近笔者在配置 TensorRT-LLM (后简称 trtllm) 的环境, 作为 baseline, 结果发现这玩意是真的难跑, 虽然功能强大的, 但是文档极其不友好. 可能是因为笔者先前被 sglang/vllm 这类开源框架惯坏了, 当笔者期望用 trtllm-serve 作为另一个 OpenAI API compatible server 的时候, 问题重重, 很多 config option 并没有在前端暴露. 幸运的是, 它的前端主要都是 python 写的, 因此笔者通过修改 docker 内的 serve.py 对应的代码, 稍微拓展了一下前端的设置. 只能说这玩意没有那么开箱即用, 但是如果好好封装一下前端, 应该还是能提供不少功能的. 笔者主要关心的是 KVcache offload to host 的功能, 而 python 前端似乎没有直接暴露 host_cache_size 这个接口. 不过注意到 KVCacheConfig 这个类其实是 C++ 实现的, 所以笔者推测其大概率是 pybind 实现的, 而构造函数中提供了相关的参数, 于是笔者经过尝试, 发现确实只是没有暴露出来, 但是如果主动设置的话依然有效.

除此之外, build config 也需要稍微修改, 总体侵入修改的不是很多, 只需要把 serve.py 的前端配置硬塞几个即可. 笔者很难理解的是, 明明功能如此强大, 却不愿多包装几层, 还是说 Nvidia 把用户默认都当作可以自己调用 Python API 甚至 C++ API 的大师, 只可惜笔者只想跑个 OpenAI server, 笔者没有那么多时间. anyway, benchmark 还是跑起来了.

03/01

今天 12:00 起来. 下午先是帮小朋友改了一个 std::vector 的 benchmark, 然后重构代码, 把 sglang 的某个 hierarchy cache 的 benchmark 的代码清理了一下, 彻底搞明白了测评逻辑, 支持了任意 OpenAI API compatible 的后端的测试. 晚上吃好饭出去理了个头, 然后回来抢救了一下模型检验作业, 花了一个半小时写完.

老实说 model checking 的作业似乎不难, 但是用 latex 写出来就会花费比较久的时间, 有一种使不上劲的感觉, 还是不太熟导致的. 中间集群突然爆磁盘了 (怀疑是某些人 log 写入写的太多导致的), 导致 git commit 失败, 差点以为要出事, 后来那人似乎意识到了问题, 修好了.

总结还是睡太多了, 明天早点起.

02/28

今天 09:30 起来, 吃了早饭后去上课, 上完课基本全在倒腾 benchmark. 下午 17:00 和同学去 4 餐吃饭, 然后坐 5 号线回家. 回到家以后弹琴, 顺便把 TRT 的环境配出来了. 睡前写完了这篇日记.

不知不觉, 二月份过去了. 目前 LMcache + vllm 跑起来遇到问题, 会直接爆显存, 重复了好几次应该不是误判. vllm 自然是可以跑起来, 不过在某些 benchmark 上和 sglang 的表现完全不同. TensorRT-LLM 的环境是真的难配啊, 最后用 make docker build 解决了, 中途还因为爆 /home 了把 docker 的临时路径改到了数据盘 /data. 不过基本已经搞明白了 benchmark 代码, TRT 也总算跑起来了.

在过去的一个月内, 笔者似乎并没有获得什么显著的成果. 下一个月得更加专注了. TOEFL 结束后稍微有点松懈. 最近睡眠又坏起来了, 今天必须早点睡了. 弹琴好.

明天计划把 benchmark 初步结果跑出来, 然后继续玩玩 OS 的作业.

Remark: 以下是一些看起来不该出现在日记的东西

今天读了一篇有趣的文章, CRAQ, 是在看 deepseek 的 3FS 的时候看到的. 很有意思的启发式优化. simple yet effective. 核心思想是, 本来只有 tail 节点支持读, 现在每个节点都支持读, 为了保证 strong consistency, 在中间节点收到 write, 但是尚未 ack 的时候 (也就是 dirty 的时候), 如果收到了读请求, 就问 tail 节点当前 object 的最新版本号. 如果一致, 则说明 tail 已经 commit, 则返回最新副本. 反之, 说明 tail 尚未 commit write 请求, 因此返回老的副本. 依然是通过 tail 节点的 access order 来保证 strong consistency. 通信量很少, 只有一个版本号, 代价是每个节点要维护老的副本. 在读多写少的情况下, 可以让读性能大大提升.

02/27

今天 08:00 起来, 早上有课. 中饭吃完又遇到了 yyu, 这周遇到好几次了. 下午先是睡了一觉, 15:00 醒来后把 NSDI 23 的 ARK 读了一遍, 写了一篇 notes. 晚上吃了饭, 尝试配置 TensorRT-LLM 的环境但是未果, 有 vllm 和 sglang 的 benchmark 试图跑起来, 但是失败. 睡前和室友一起看了一集 Ave mujica.

很散慢的一天, 因为完全不了解怎么跑 benchmark, 完全没进入状态, 效率不是很高. 优秀的学弟学妹让笔者非常自闭, 但是不可否认的是, 他们的努力以及更多的帮助, 配得上他们的成功. 总结了一下, 效率低的原因是东张西望, 一会儿想看看 xgrammar 代码, 一会儿想看看 benchmark. 还有就是对跑 benchmark 的代码不熟, 上手花了点时间. 还有就是睡太久了… 以后午睡不能再不定闹铃了.

明天还是 focus on 把 dataset 跑起来吧, 不能拖后腿了. 等跑起来了之后, 再去想 xgrammar 和 OS 作业的事情吧.

自己好久没读论文了, 要恢复状态, 以后每天逼自己至少看一篇文章吧.

02/26

今天 09:30 起, 早上去 6 餐吃早饭. 回来后写了点 C++ 代码, 修了一下 ci PR, 然后是中午高编答疑. 下午先是开会, 然后稍微研究了一下 cuda kernel. 晚上通识课, 上完回来把模型检验作业做掉了.

稍微有点摆但是回到正轨的一天, 明天希望能继续吧. 这两天睡眠很不好, 应该早点睡. 明天目标把 baseline 都跑起来, 并且修改好 benchmark 代码.

02/25

昨天开会太晚来不及更新. 昨天主要在玩 github ci, 笔者发现它非常强大, 可以类似 docker 从一个 image 环境开始搭建并且配置运行, 非常适合自动化测评检验等等, 语法也非常直观. 晚上把 cached-attention 看了. 今天依然在玩 ci, 中午给 xgrammar 提了一个 PR. 早上 model checking 课讲的自动机很有意思, 有点想明天多了解一下. 下午把 lmcache-vllm 和 trt-llm 的环境搭建起来了, 虽然 trt-llm 的运行还有点问题. 然后把 pensieve 看了. 晚上区块链课好玩, 讲密码学基本都在意料之中, 但是只是浅尝辄止. 中午测试发现了 OJ 的一个 bug, 晚上 tg 上小讨论了一下, AL 很快就修掉了.

这两天睡眠不好, 虽然一点才睡, 但是早上八点就会自然醒过来, 一困干活效率就低. 明天早点睡, xgrammar 那边又有新的活了, 最近得 balance 好时间.

有点担心自己某些好友的精神状态, 想帮助他们但是笔者自知没这个能力 (或者阅历).

02/23

11:30 起床. 下午主要是在配 os-2024 的环境, 以及帮仓库加 ci, 中途顺便给集群的机器配了个 latex 环境, 处理 latex 报错花了很多的时间. 晚上先是 boyu 聚餐, 然后是帮 advanced compiler 课程配置了一下环境, 支持 rv32-gcc toolchain. 然后 follow 了手册基本配好了环境.

早上做了一个非常离奇的梦, 梦到了去世的奶奶, 离别也是将近十年前的事情了. 还有很多更加光怪陆离的场景, 总之非常诡异.

今天没干什么有生产力的事, 主要都是在配环境. 上周的计划有点破产, 主要原因是执行力不够强, 这周得更新一下了.

感慨小朋友非常努力, 希望他们都能成为比笔者更厉害的人, 也希望笔者能尽自己所能帮到他们.

明天得早点起来了. 每当想要摆的时候, 多想想还有多少事情没做吧.

睡前看到一个有意思的 draft, 关于 RDMA 的, 想去学一学.

Item	DDL(assumed)	Urgency
Model Checking HW	1 day	high
summer intern follow	1 day	high
hierarchical cache	3 days	high
read sys papers	3 days	high
misc cuda kernel	5 days	mid
function calling	7 days	mid
RDMA for sys2	1 week	low

misc: 原来笔者的老板每天都在视监笔者… 如果 “你” 看到了这句话, 请联系笔者 :)

02/22

11:00 起床. 下午和晚上主要在写 kernel + 看 sglang issues, 同时看了点 jyy 的课, 也写了一点 Model Checking 的作业. 睡前弹琴.

作息越来越糟, 今天要调整了. TOEFL 出分了, 阅读 29, 听力 30, 口语 25, 写作 28, 出奇的高, 下午激动了半天. 整体来说脑子有点糊, 一个简单 bug 看了半天… 不过感觉 sglang 这边 code 是有点 dirty 了, 如果哪天突然有想法了去问问 maintainer, 想局部 refactor 一下.

难得休息的一天, 比较摆烂, 明天得 focus more on HC 了. 看了下 schedule, 明天该看看 linux kernel 了, 先把环境配起来, 不应该假装自己在做其他事情来逃避. 笔者发现自己有时候真的很会骗自己在努力, 从而逃避真正重要的事情. 以后日记得记得更详细一点了, 自己浪费的时间还是太多了.

突然发现自己突然会喜欢上一年前的课, 当时学 arch 和 os 的时候只觉得这两门课无聊, 除了考前两周基本没咋认真对待过. 但是一年后突然开始觉得这两门课很有趣, 许多概念在其他的领域也会出现, 今天看 jyy 的课又在感慨自己当初为啥没好好学. 当然, 也可能是当初没学明白, 但是 second pass 的时候已经有了一些 first pass 的先验知识, 所以能更好的理解.

有趣的事物一定要赶紧做, 因为热情很快就会死去. 应当正视内心真实的情感, 绝不能因为害怕而退缩. 但是这些真的很难做到啊…

02/21

10:00 起床. 10:00 视觉内容生成. 13:30 组会. 16:00 和学长&同学出去吃饭. 19:00 出发回家. 回家后弹琴 + 开会.

没干啥事, 太困了导致效率很低, 所以今天要多睡点. 把 function call 写完了, 后面应该不会大改 (但愿), 虽然代码是真的丑, 一堆类型错误 (笔者修了不少这种小错误). 明天该 focus on hierarchical cache 和 internship 咯.

感觉很多人的想法都很出奇的一致, 虽然笔者向来很喜欢迎合别人, 但是笔者认为还是应该保持独立思考, 不要陷入盲从的陷阱. 笔者不认为大家 (包括自己) 对问题有着深刻的认识, 至少笔者自己并没有那么多经历 (也可能是太健忘了), 或许还是要亲自体验后才能得出结论吧. 总之, 笔者意识到自己经常会陷入情绪发泄的陷阱, 从理智讨论逐渐掉 san, 这是不好的.

还是弹琴爽. 现在太困了, 笔者已经不知道自己在说什么了.

02/20

07:45 起床. 08:00 model checking. 下午纯摆烂. 晚上写了点 C++ 以及把 function call 的部分写了很多, 估计明天 structural tag merge 了以后应该能写完, 睡前看 Ave Mujica.

不是哥们, 怎么还没 merge. 第一周似乎有点摆出天际了… 核心原因: 看少女乐队太多 + 写 C++ 上头.

明天试着不看这些东西 + 把 function call 写完, 以及回家, 一周没弹琴手痒了.

02/19

10:00 起床. 14:00 meeting. 18:00 和同学出去吃饭. 没写的时间不是在写 C++, 就是在摆.

今天几乎没干啥事情, 算是休息一天, structural tag 的 PR 还没 merge, function call 暂时还没启动. 不过 hierarchical cache 看完了, 而且 meeting 也聊的差不多了, summer internship 的事情看起来非常乐观, 那么该联系第二段 intership 了.

稍微有点负罪感了, 啥都没做, 晚上研究 C++ 宏, 发现非常有意思, 可惜功能太弱了. 被指派去给小朋友讲 modern C++ 了, 挺期待的, 也挺没底的. 明天争取把 function calling 写完吧, 感觉想的差不多了, 希望没啥问题 (当然, 也希望 structural tag 能快点 merge).

02/18

忘记写日记了. 8:00 model checking, 16:00 视觉内容生成, 18:00 区块链. 晚上出去绕学校骑行一圈, 回来后把小圆补了, 然后睡了.

效率不高的一天, 下午的课可能因为是第一节, 信息熵不高, 也可能是笔者太困了. 骑车爽, 都入学这么久了对学校周边还一无所知, 这次探索了一圈. 小圆好看, 伏笔好多都对上去了, 二刷不是为了剧情, 就是验证一些猜想, 第一遍看不懂, 第二遍看 homura 从怀疑到绝望到叛逆的转变真是太精彩了.

function calling 想明白怎么弄了, hierarchical cache 也看懂了. 打算周五第二段 internship 也要联系起来了, 然后这两天得跟进一下第一段的手续了.

function calling 的思路是, 对于 auto 啥都不干, required/forced 就用 tag tool, 但是里面的 json_schema 设置为 true (匹配一切的 json), 不检查参数. 如果是 strict 模式那么把 schema 替换为对应的 args 即可. 昨天走了不少弯路, 但是现在想清楚还是很简单的.

明天(其实就是笔者写这篇的日子…) 看看 OS 那边吧. 有时候还是太急躁了, 还是应该 calm down and focus, 每次见到同学都会条件反射想去找话题聊, 但这或许不是什么好事情.

02/17

开学第一天. 8:00 LLM, 10:00 OS, 16:00 RL, 18:00 NLP. 20:00 在 107 晃了一会儿, 顺手帮一些小朋友解决了一些问题, 睡前看了两小时代码.

感觉强化学习很有意思, 但担心没时间认真 carry out, 选课害怕投入成本过高. 今天 function calling 看明白了需求, 老的代码 run through 也基本看明白了, 不过那边人似乎还没回笔者问的问题, 不太敢去催, 可能是笔者问的太唐了… 倒是把 hierarchical cache 看完了. KVcache 不连续的情况下 (paged attention), torch 的 .to() CPU <-> GPU 性能似乎不高, 感觉这是实际的系统中值得考虑的一个 practical 的因素, 看 sglang 这边现在的实现是 concat 到一块连续 memory (CPU/GPY), 然后再 CPU <-> GPU, 笔者在想 custom kernel 是否会带来性能提升 (可能涉及 cudaMemcpyAsync 的底层实现, 感觉是 DMA)?

笔者感觉笔者需要学会提问的智慧, 笔者有时候会提出一些很低级的问题, 有时候也会担忧自己问出的问题太低级而不敢提问.

怎么会有人大二了还会被 CRLF/LF 这种问题卡住啊… 不过去年这个时候, 笔者也没有啥耐心读文档, 直到现在也是, 所以还是应该糖果与鞭子并用, 希望小朋友能成为远强于笔者的人吧.

明天把 function calling 优先级抬高, 然后顺便把 summer intern follow 干了. 明天又有早八. 今天没去跑步. 今天干活效率不是很高.

02/16

昨天刚回学校. 晚上室友键盘敲到半夜, 导致笔者睡眠爆炸, 早上 11 点才起, 而且头很痛. 下午主要在写 kernel, 然后看了一下 sglang 那边的项目, 但是没咋看进去. 晚上和某同学见了一面, 然后和另一位同学跑了跑步.

跑步是好的, 但是笔者睡眠不好, 导致了效率很差, 今天得和室友谈一谈了(事实上已经谈过了)… 冬天跑步耳朵会疼, 以后还是带个耳机/帽子吧, 实在难以忍受. 好久没锻炼了, 身体状态也不好.

明天开学第一天, 好好干活吧. 计划早上看看 function calling, 下午试着跑通 pr 的 demo, 晚上写 kernel.

remark: 下周计划表, 希望能执行出来吧

Item	DDL(assumed)	Urgency
function calling	1 day	high
hierarchical cache	3 days	high
summer intern follow	3 days	high
misc kernel	5 days	high
read sys papers	1 week	mid
RDMA for sys2	1 week	low
force roommate to sleep	0 day	high!!!

02/15

昨天备考, 忙忘记了, 没写日记. 今天早上 6 点 45 起, 不想起也得起来. 在上海大学考点考 TOEFL, 七号线一路坐过去, 将近一个小时, 考点一出地铁站就到了. 首先是拿到一张承诺书, 然后承诺书填完信息后上楼, 找到自己的考场签到然后入座. 考试不能携带任何东西, 口袋里甚至不能有餐巾纸, 更别说带水带吃的带笔了. 考试说是 9 点开始, 实际上, 在你调整好耳机输出和输入音量之后, 就可以开始考试了. 虽然笔者当时没点 continue, 但是过了一会儿他自动跳到了 reading section. 笔者一开始还想再微调音量的, 结果他这么一跳属实是吓了一跳, 没想到原来试音结束就意味着开始了. 笔者倒是很快调整好了状态, 正常的完成了考试.

考试一开始发三张草稿纸, 不够可以再要, 然后写字的笔是下发的两只铅笔, 写起来倒是很舒服. 笔者阅读听力结束后, 故意卡着不交听力, 先问监考人员 update 了一下草稿纸, 比较坑的是他把笔者用过的草稿纸直接收走了, 还好笔者当时听力题目已经做完了, 险些出事.

最后分数比较出乎意料, 笔者自知听力水平一般, 所以期望的是听力 -2, 阅读尽量冲满, 结果最后反过来了, 阅读 28, 听力 30. 总之, 听力阅读一共 -2, 在可以接受的范围之内.

考试结束之后, 笔者先去南站拿了一下护照, 在那边和家人随便吃了点, 散了散步, 然后回家. 回家后睡了很久, 这可能是最近睡得最香的午觉吧.

下午醒来后看了看 sglang 那边的情况, 看起来 function calling 那边人已经搞得差不多了, 打算后面看看 hierarchical caching 相关的, CPU 作为 GPU 的 offload 正好是笔者之前在校内 research 时候的 topic, 希望能帮到忙. 还有一个写 cuda kernel 的小项目, 打算学一学写 kernel 的一些方法, 脑子里初步有了一些想法.

突然发现寒假前设想的 RDMA 项目被笔者完全忘记, 开学弄起来吧, 毕竟可能是系统 2 的项目. 系统 2 那边似乎不缺助教了, 笔者可能想去帮帮忙, 但笔者自知没那水平, 还得多练. 开学了, 最遗憾的事情是平时不能弹琴了, 周末多回家吧.

考试的两个小时, 可能是笔者高考以后最认真专注的两小时.

02/13

倒数第二天. 早上九点起来, 一共练习了两套真题. 第一套做的很好, 第二套很烂. 睡前做点听力和 integrated writing, 今天早点睡.

期望分数 105, 但是自己的阅读和口语和过山车一样, 还有 integrated writing 哎…… 感觉后面可能是太困了, 精力不好导致的. 这当然可能只是笔者的一个借口, 还是静下心来最重要, 不要有 “完美主义” 的包袱, 说白了就是虚荣. 明天再做两套, 然后多 focus on 听力口语吧.

02/12

今天 9 点起来. 早上练了一堆口语, 下午做了一套真题, 晚上出去吃了个饭, 回来睡前弹琴 + 口语 + 综合写作.

模拟题发现自己听力也不是很稳, 还需要练习. 综合写作练的不多, 感觉难度倒是不大. 口语渐入佳境, 写作仍需练习, 听力阅读深不见底……

02/11

今天 10 点起. 今天白天练了一天口语, 晚上在写 C++.

沉迷 C++ 是真的… concept 很有意思. 口语感觉快练出来了, 还需要再多练… 今天没啥感想. 明天必须早点起了, 拖延不好. 明天开始每天两套题目吧. 笔者祝自己好运.

02/10

今天起的很早, 6 点半. 早上主要做阅读/写作, 虽然有不少笔者自己 infer 的题目, 但最终没有错任何一道题. 下午先是弹了两个小时琴, 然后是完整做了一套题目. 口语一遍过还是非常吃力, 拖音现象严重.

最后五天了, 还是需要更多的练习啊, 口语练习量看起来远远没到饱和, 还能进步. 听力/阅读似乎已经受限于自己的词汇水平了, 对话类的还要多练习. 明天得重点纠正一下发音, 然后要多练多说. 口语/写作或许可以看看范文, 学一些好的表述, 多用点好词, 像是 back and forth 这种地道表述得多积累一点.

目标是 105 分, 期望是口语 21, 写作 26, 阅读听力一共允许丢 2 分. 但愿能一次过吧.

专注是非常重要的, attention is all i need. 今天也要早点睡啊. 这几天还是把琴放一放吧.

开学后想再看一遍小圆剧场版叛逆的物语, 当然还有其他不少想学的东西. 寒假几乎啥都没做, 笔者似乎在把 TOEFL 作为一种逃避现实的手段……

ただ心のまま　共に進もう

02/09

今天起的非常晚, 10 点多才起来. 白天主要在练习口语, 下午开了一个小会, 晚上练了一会儿写作和其他的.

没啥好说的. 写作手感越来越好了, 听力也还行. 明天早点起来做做听力/阅读, 下午继续口语/写作. 口语还没练出来. 背单词也要继续了. 我的 focus 能力似乎变好了. 明天应该试试整套直接来.

02/08

今天起的早了一点点, 8 点半, 但是由于比较困, 拖拉到 9 点多才开始干活. 白天主要在练习口语和写作, 晚上稍微写了点 C++, 略微有点上头. 睡前做了两篇阅读.

TOEFL 考试倒计时最后一周, 还需要更多更多更多的 focus! 明天早上早点起来先背单词, 然后继续 rush 口语和作文, 后面要按照考试的形式练习, 整套整套的练, 不能再零散的练了. 写作手感好了很多, 现在写作速度起来了, 只需要积累词汇了!

今天 sglang 那边接下了一个新的活, 计划在 15 号考完之后 rush 掉, 突然发现写代码也挺开心的, 挺期待的. 去年 11 月曾经觉得写代码不是正经科研, 但最近才想明白, 所谓科研本质还是创造新的 idea, 写代码也是寻找 idea 的一个过程, 从实践中寻找问题并解决, 这也是创新. 只能说当时的自己还是太功利了点, 为他人带来幸福和美好, 或许才是学习的意义吧.

虽然但是, 我暂时还不能完全放下自己的那颗功利心, 一方面希望自己能够变得崇高, 一方面又害怕违背了内心而变得虚伪.

发现自己完全脱离科研一个月了, 感觉后面得赶紧回归了. 对落后的害怕, 一直萦绕在我的脑子里, 有时候很希望自己能成为一个, 不用做什么也能够心安理得的活着的人.

3 月 OSDI 就要开香槟了, 期待.

02/07

今天还是 9 点起. 早上看了点口语, 下午出去讨论了一下项目, 晚上回来主要是看口语课, 读了很多篇, 顺手做了几篇阅读.

还是太松散, 而且吃饭前后比较没有斗志, 不是很有耐心. 明天还要继续努力, 最后一周得加油了, 所以早点睡吧!

02/06

今天 9 点起. 早上主要在做听力. 中午吃饭后摆了很久, 然后下午主要是写作. 写了两三篇, 晚上把之前写的文章基本都改了, 现在有了一个基本的模板, 还需要一定的练习来巩固. 睡前弹了会儿琴, 然后看了一集 Ave Mujica.

还是太摆了. 明天需要更多的 focus! 计划早上起来先练口语 + 复习作文 + 背单词, 下午看看课程回放, 晚上再 rush 一波听力和阅读. 今天完整的做了一套听力, 做的还行. 明天早点起!

02/05

上午一觉睡到 10 点半. 醒来后刷了会儿 twi, 然后 11 点半开始做 TOEFL. 中午吃好饭后下午主要在做听力/阅读. 晚上先是弹了很久的琴, 然后再是研究了 VSCode.

今天非常摆, 很糟糕的心态, 因为一环没做好所以后面也顺势开摆. 明天必须做出改变, 按照昨天的规划做吧. 早点睡.

02/04

早上 9 点起. 今天早上主要做阅读, 但是做的很差, 每篇稳定错一道. 中午因为某些事情和家里人小吵了一架. 下午先是出去有点事情, 回来后摆了一个小时, 然后吃饭, 然后是看口语 Task 1 并且练了几篇 Task 2,3.

misc: 有点想要 gap 一年. 可能是处于对过去成功岁月(成绩好)的留恋, 也可能是目前真的压力很大. 突然有了这种想法.

今天状态也非常好, 需要继续保持, 明天似乎应该更加早点起来 (前一天 11 点就睡了, 我是睡神). 不得不说自己的自制力还是不够, 下午回来后就在那边发呆浪费了很多时间. 感觉很多碎片化的时间用起来, 会好很多. 本周应该得关心一下暑研的事情了, 计划周五左右去再去 push 一下. 明天要早点起来.

和家里人的矛盾似乎难以弥合, 这似乎是因为笔者的价值观发生转变, 无法与家人对齐. 笔者似乎开始变得不爱学习, 无法像大二及之前那样 push 自己, 热情也在流失. 如果许下和内心渴求不同的愿望, 那么应该会很痛苦吧 (想起美树沙耶香). 笔者或许应该想清楚自己想要什么, 但当下似乎不是一个好时机, 我似乎没有时间可以浪费. 我可能需要一些帮助, 也可能不需要.

remark: 萌娘百科外链会炸, 笔者自己存档了一份

明天计划抓紧一点时间, 早上起来清醒一下再做题, 照例先做听力 + 阅读 + 背单词. 然后 review 一下口语课程 (特别是独立口语 Task 1), 中午吃饭前后练琴 (每天为数不多的时间了). 下午同理, focus on 写作/口语. 如果效率高的话, 晚上试着跑通 linux kernel 吧.

02/03

早上 10 点起. 但是很有力气. 今天白天口语读了一堆东西, 作文方面看了很多范文, 但是基本没看进去. 晚饭前弹了会儿琴, 饭后做了几篇听力和口语, 口语似乎有进步, 也可能只是遇到熟悉的话题了, 听力基本不错了.

今天头倒是不痛了, 但是还是不够专注, 经常看着看着就发呆/水 b 站. 明天真的得再专注一点了, 打算先列出一个日程表. 上午至少练 4 篇阅读/听力, 并且要记得背单词. 下午先出去一趟, 然后 all in 口语和写作. 菜就多练.

02/02

早上 10 点起. 早上练听力, 下午练习写作, 但是头疼睡了一觉, 一觉醒来已经 5 点了, 晚上看了点口语课, 试图练口语但是非常糟糕. 睡前弹了会儿琴.

今天有点急了, 心态比较爆炸. 可能是睡眠不太好导致的, 今天得早点睡. 需要耐心.

02/01

早上 10 点起. 随便吃了点, 然后是英语. 上午英语练了几篇听力和写作. 下午 2 ~ 4 点基本在弹琴 (包括一个短暂的午饭), 4 点半左右开始继续练习英语, 看了点学术词汇和词组, 尝试用到自己的作文里面, 看了点别人的范文. 晚饭前后稍微水了会儿小红书和知乎. 然后是看口语课, 睡前倒腾了一会儿 docsearch, 比笔者想的稍微要麻烦一点, 暂时先搁置了.

Remark: 发现自己的日记把情绪和事实混杂了一起, 遂尝试分开

笔者自认为听力进步尚可, 感觉自己更加能够把握关键词了. 写作还是摸不到门道. 感觉后三篇口语会简单点, 主要是听 + 复述, 第一篇要想 idea 会比较恶心, 这方面还得多看多想. 以及, 感觉自己逐渐的冷静下来了, 之前的几个月似乎有点过于暴躁了, 能静下心来一点没加速认真看完的番也只有小圆, 而做任何项目都非常急躁. 这几天在家自闭的日子, 狂乱的思绪逐渐平静了下来. 明天需要更多的专注, 效率还是远远没到上限.

Misc: 少女乐队看多了, 有点想自己组乐队了. 初中的梦想, 大学会有机会实现吗?

01/31

早上九点起, 磨蹭了一会儿去跑步, 跑到 10 点后去麦吃早饭, 回家后看了会儿单词. 下午开始尝试写作和阅读. 晚上基本在弹琴, 下一阶段打算看看地狱训练, 看起来第四册会比较简单 (?), 不过稍微有点太摆了. 今日学习状态有所好转, 后面需要更加专注.

01/30

这两天过年, 基本啥都没做, 很愧疚, 明天得早点起来干活. 倒腾了很多东西. 首先是配置了吉他的监听链, 现在声音路径大概是: 吉他 -> Jogg 设备 -> Cubase -> Jogg 设备 -> 耳机. 通过手动配置声卡 buffer 大小, 这一路下来延迟可以调的很低, 基本上无感. 效果器就简单失真音色, 值得一提是, 通过噪音门, 可以更好的练习击勾弦, 把 gate threshold 设置为没弹好的响度, 这样没弹好/弹好就会有明显的区别 (前者被 gate 掉了, 会没有声音), 从而加强练习的效果, 这两天击勾弦进步倒是很大. 英语这两天仅仅背了点单词, 比较摆. 今天倒腾了一下阿里云, 买了一个域名, 以及一台最低配服务器做跳板机开mc服/不用挂交大 VPN 访问学校内的集群. 第一次接触, 不过还是挺容易配的.

01/28

昨天忘记记了, 算了. 昨晚睡得晚, 今天早上 11 点才起来, 然后下午几乎完全是在是练琴, 发现自己一些简单的乐句之前都水过去了, 感觉击勾弦还是需要多练, 小指和无名指牵连太强了. 同时倒腾了一下设备, 不过还没玩明白 Jogg. 晚上和家人吃饭, 随后写学期小结. 然后听了一节 TOEFL 写作课, 写了两篇文章, 做了几篇阅读和听力. 还得多练.

一个健康的作息还是非常重要的, 今天得早点睡, 早起虽说物理意义不大, 但是对心态的影响很大 (这是一个积极的心理暗示), 而且对身体好.

01/26

上午睡过去了. 下午修了一些 xgrammar 的 bug, 然后是依然学英语. 我似乎也没有更多的时间去干别的事情了.

01/25

上午, 试图和远程的mentor meeting, 但是发现记错了时间. 简单阅读了 linux kernel 的一些 docs. 下午, 决定每周禁网一天, 简单来说周末不再回复社交平台上的任何消息, 减少被诱惑的可能, 主要还是自己太浮躁了. 看了点 linux kernel 和 RDMA 的材料, 但是没有什么感想. 晚上学英语, 背单词.

01/24

上午, 创建了日记本, 背单词, 脑抽浪费了两个小时去写 C++, 然后发现一个功能是不可实现的, 或许以后应该减少此类时间浪费. 下午突发奇想, 看 MyGO!!!, 一口气看完了, 感觉良好, 主题大概是少女乐队之间的矛盾. 不过这些矛盾说到底还是缺乏有效交流的产物, 勇敢说就对了, 不过笔者自己这点也做不好. 此类主旨, 似乎在笔者之前看过的作品中也出现过, 不过切入点是稍微贴近现实一点的校园. 因为没有虚幻的魔法或者民间传说, 现实感会更强, 作为半个吉他手对乐队的东西还是很有共鸣的 (笑). 晚上偷偷开了一个 mc 服, 配置了一下 frp 穿透, linux 开服还是非常舒服的. 然后吃了晚饭收拾了下东西, 就回家了, 明天学校要封楼了.

今天没干什么正事, 比较摆.