前一阵 qwen3:30b-a3b 大模型很火,说是离线状态下可以达到很牛逼的程度,碰巧我因为被抓壮丁要去参加一个傻逼的 CTF 比赛,所以就决定跑个模型来做理论题。

不过我没有 Nvidia 的显卡,我只有 Intel 显卡,听说 Intel 天天吹牛逼自己显卡算力多屌多屌,那就试试看吧。

经过查询后,发现 Intel 用 GPU 加速跑大模型,当前性能最好的方案就是这个 IPEX,简单来说就是一个由 Intel 官方优化和整合好的一键跑大模型的方案,支持 ollama 和 llama.cpp,还有其他的主流应用等。

如果你是 Windows 用户,这个一键整合包可以做到几乎绿色运行,你只需要确保你电脑驱动安装正常,下载下来,运行 bat 就可以开始加载和下载大模型了。

然而 Linux 下就有点麻烦了,不过这时候我推荐用官方的 Docker 镜像来做这件事情。

阅读全文...