raw:
如下是从参加CWE活动的两个客户(云之声,易车)收集的一些反馈。
会议活动方面
- 总体感觉干货很多,收获很大。
- 客户主要参加训练分会场,希望时间可以更长,这样可以把某些技术点讲得更透彻。
- 客户之前也参加过在同一个会场举办的 “AI 研发技术开放日”活动,当时有个4090的抽奖环节。希望以后的CWE也有类似的活动😊
技术方面
- 客户希望NeMo FW和第三方训练工具能有一个性能比较,这样的话更有动力来尝试NeMo FW。
- 目前客户都在调研多模态的模型,NeMo FW对多模态的支持也是一个比较吸引客户的点。
- 客户比较关心NeMo FW对Qwen 1.5/2 和 DeepSeek-V2的支持。(Qwen1.5/2的支持上周刚merge到主分支,下个container发布就会包含Qwen的支持)
- 客户在构建基于LLM的Agent应用的时候,进行微调以提高模型子任务分解能力和格式输出准确性方面感觉难度挺大,希望NV有这方面实践经验分享。
- 对于NIM,客户目前有自己的一套工具来打包TRT-LLM,Triton以及API层,对NIM不是太感兴趣。
- What works
- Throughput CWE, some small banking and insurance customers (just small GPU business) were involved to learn our solutions that adopted into top FSI customers’ use cases.
- This is the first time for CCB to show their LLM application’s progress and the business benefit obtained. CCB’s story shocks many FSI customers such as CMBC (民生银行) and CMB (招商银行). These customers reach out to us and want to learn more about CCB’s case.
- What doesn’t work
- In FSI meeting room, the screen is so small. Many audiences can’t see the screen very clear. So, they had to take a photo and zoom in the photo. The experience is not very good.
- Lesson learnt