AMD公司发布了一项重要公告，用户现在可以在本地化设备上运行基于GPT的大语言模型（LLM），从而构建个性化的AI聊天机器人。
支持设备
AMD表示，用户可以在采用AMD新XDNA NPU的Ryzen 7000和Ryzen 8000系列APU上，以及内置AI加速核心的Radeon RX 7000系列GPU设备上本地运行LLM和AI聊天机器人。
详细步骤
AMD在公告中提供了详细的运行步骤，例如对于运行70亿参数的Mistral，用户只需搜索并下载“TheBloke / OpenHermes-2.5-Mistral-7B-GGUF”；而对于运行70亿参数的LLAMA v2，则搜索并下载“TheBloke / Llama-2-7B-Chat-GGUF”。
领先技术
尽管AMD并非首家推出此类功能的公司，但最近英伟达（NVIDIA）也推出了“Chat with RTX”。这是一个由GeForce RTX 40和RTX 30系列GPU支持的人工智能聊天机器人，采用TensorRT-LLM功能集进行加速，基于本地化数据集提供快速生成的人工智能结果。
通过AMD的创新举措，用户现在可以在自己的设备上享受到个性化的AI聊天体验，这将为人机交互带来全新的可能性。
