Posts by Haohang Huang
        
                    代理式 AI/生成式 AI
        
        
        2024年 12月 18日
      
      NVIDIA TensorRT-LLM 现支持 Recurrent Drafting,实现 LLM 推理优化
                  
            Recurrent Drafting (简称 ReDrafter) 是苹果公司为大语言模型 (LLM) 推理开发并开源的一种新型推测解码技术,
                
          
            2 MIN READ
          
        
      
    
        
                    代理式 AI/生成式 AI
        
        
        2024年 12月 11日
      
      NVIDIA TensorRT-LLM 现支持动态批处理加速编码器 - 解码器模型
                  
            NVIDIA 最近宣布, NVIDIA TensorRT-LLM 现可加速编码器 – 解码器模型架构 。
                
          
             1 MIN READ