在 Google I/O 2024 大会上，Google 宣布了 Firebase Genkit，这是一个新的开源框架，旨在供开发者使用诸如 Google Gemini 和 Google Gemma 等技术。借助 Firebase Genkit，您可以构建集成智能代理、自动化客户支持、使用语义搜索的应用，并将非结构化数据转换为见解。此外，Genkit 还包含开发者 UI，使您能够在本地开发者环境中对 AI 功能进行原型设计、开发和测试。

在 NVIDIA RTX GPU 上本地运行 Firebase Genkit

Google 与 NVIDIA 合作，共同优化 Google Gemma 模型的推理性能。此外，NVIDIA RTX 专业 GPU 和NVIDIA GeForce RTX GPU 也可以提高推理性能，从而提高开发者的工作效率，使您的解决方案更加流畅。

借助 Firebase Genkit，您可以通过在 NVIDIA GPU 上本地运行 Genkit，并使用 Genkit 的插件集成 Ollama，以便在本地机器上托管 Gemma。Ollama 是一个开源框架，可以轻松地在本地开始使用大型语言模型 (LLM)。通过与 Gemma 结合使用，您可以在本地桌面上获得提高推理性能的所有优势。

安装 Ollama

在本示例中，您可以使用 Windows，但也可以使用 Mac、Linux 或 Docker.下载适用于 Windows 的 Ollama.安装完成后，打开 Windows 命令提示以访问 Ollama。

首先，拉取优化的 Gemma 模型：

$ ollama pull gemma

接下来，运行 Gemma：

$ ollama run gemma

这将在您的计算机上启动 Gemma，使 Gemma 可用于 Firebase Genkit。想了解安装、运行和测试 Ollama 的更多详细信息，请访问 GitHub 上的 Ollama 项目。

安装 Node.js

Firebase Genkit 支持在 JavaScript/TypeScript 中进行开发，且需要 Node.js，这是一个开源的跨平台 JavaScript 运行时环境。为使用 Genkit，您必须首先下载并安装 Node.js (如果尚未安装)。Firebase Genkit 已经通过 Node.js 版本 20.0 的测试。

安装 Genkit

您可以通过 Node Package Manager (npm) 获取 Genkit。使用 全局安装参数 -g 安装 Genkit，这样可以从终端的任何目录（而不仅仅是当前目录和项目）获取软件包。

$ npm i -g genkit

安装 Genkit 后，创建并初始化新的节点项目。

$ mkdir genkit-intro && cd genkit-intro
$ npm init

请务必将 package.json 文件中的主字段更改为 lib/index.js.最后，初始化 Genkit 项目。

$ genkit init

在初始化期间，系统将提示您选择部署平台。选择 Node.js 以在本地运行。Genkit init 命令会创建一个示例源文件 index.ts，这是您的项目入口点。可以配置如下所示的默认示例文件，以满足您的项目需求。

configureGenkit
({

  plugins:[googleAI()],
  logLevel:'debug',
  enableTracingAndMetrics:true,
});

export const menuSuggestionFlow = defineFlow(
{
    name:'menuSuggestionFlow',
    inputSchema: z.string(),
    outputSchema: z.string(),
},
async (subject)=>{
  const llmResponse = await generate({
      prompt:`Suggest an item for the menu of a {subject} themed restaurant`,
      model:$GENKIT_MODEL,
      config: {
        temperature:1,     
    }, 
  });
  return llmResponse.text();
 }
);

startFlowsServer();

启动 Genkit

配置完成后，您可以启动 Genkit 开发者 UI，在 Windows RTX 笔记本电脑上本地运行 Genkit。

$ genkit start

启动后，Genkit 开发者 UI 可通过浏览器 (默认情况下，位于 localhost 端口 4000) 进行访问。

更多资源

• 查看 Firebase 官方博客的文章：Introducing GenKit
• 请访问 https://firebase.google.com/docs/genkit/get-started 以获取更多信息。
• 请访问 Firebase GenKit 文档。
• 请访问 https://github.com/firebase/genkit 。