学习笔记 · Obsidian

云平台与企业模型供应商

LangChainPython

总体选型

这类 provider 的主要价值是把模型、身份、网络边界、审计和数据平台统一在同一云/企业控制面。代价是资源名、deployment ID、region、配额和 IAM 政策都成为运行时契约。生产环境应优先 workload identity/实例身份,而不是长期 API Key。

供应商与组件

供应商主要包/入口覆盖范围生产注意
Alibaba Cloudlangchain-qwq; ChatQwen, ChatQwQQwen/QwQ Chat,含视觉/视频能力凭据与可用模型受 DashScope 账户/地域约束;两个类不要仅按名称猜测能力
AWSlangchain-awsBedrock Chat/Converse、LLM、Embeddings、Knowledge Bases retriever、MemoryDB/Valkey、AgentCore 工具和 checkpointer依赖 AWS credential chain、region、模型访问权限;Bedrock 原生与 Converse 能力不等价;安全组/私网端点也属于契约
Azure AI / Foundrylangchain-azure-ai; AzureAIOpenAIApiChatModel / embeddingsFoundry catalog 模型、Cosmos DB vector searchAZURE_AI_PROJECT_ENDPOINT 与 deployment 需匹配;优先 DefaultAzureCredential,并区分 Foundry Model Inference 与 Azure OpenAI
Microsoftlangchain-openai、langchain-azure-ai及 Azure 存储/Cosmos 扩展Azure OpenAI Chat/LLM/Embeddings、Foundry middleware/tools、Blob Loader、Cosmos memory/cache/vectorAzure OpenAI v1 可用 ChatOpenAI/OpenAIEmbeddings;传统 deployment 仍可用 Azure 专用类。必须固定 API 版本和部署名
Googlelangchain-google-genai、langchain-google-vertexai、langchain-google-communityGemini API/Vertex AI Chat、LLM、Embeddings,以及 Cloud loaders、retrievers、toolsAPI-key backend 与 Vertex backend 认证/数据边界不同;必须固定 project/location。ChatVertexAI 在 Chat 索引中已标记 deprecated,新项目应评估 ChatGoogleGenerativeAI 的 Vertex backend
Databricksdatabricks-langchainChat、Embeddings、Vector Search,与 MLflow/SQLDatabase 集成必须先有 serving endpoint;外部运行需 DATABRICKS_HOST/DATABRICKS_TOKEN,workspace 内与外的身份不同
IBMlangchain-ibmwatsonx Chat/LLM/Embeddings,DB2 vector store、tools/retrieversproject/space 与 API key/token 是不同维度;文档中 Chat/Embeddings 原生 async 能力并非都齐全
NVIDIAlangchain-nvidia-ai-endpoints、langchain-nvidia-langgraphChatNVIDIA、Dynamo、Embeddings、Rerank、RAG Retriever、NIM 自托管、LangGraph 加速API Catalog 与本地 NIM 共用类但运维边界不同;NIM 镜像/模型许可、GPU 容量和端点版本需单独管理
OCIlangchain-oci; ChatOCIGenAI, ChatOCIOpenAI, OCIGenAIEmbeddingsGenerative AI、OpenAI-compatible chat、多模态、Agent 和 Data Science model deployment支持 API key、security token、instance/resource principal;需配置 compartment、service endpoint、region 与 IAM policy,不要把 OCI config 文件打包进镜像
SAPlangchain-hanaHANA vector store、self-query、RDF graph、SPARQL QA chain/agentSQL/RDF 权限应最小化;Agent 生成的查询必须受限、超时并审计

认证与网络基线

  • AWS 用 role/STS,Azure 用 Entra ID + DefaultAzureCredential,GCP 用 ADC/workload identity,OCI 用 instance/resource principal;仅开发环境才用本地 profile。
  • 把 project/subscription/account、region、endpoint、deployment/model ID 视为不可缺的显式配置,启动时做 fail-fast 校验。
  • 私网端点、代理、自定义 CA 和 DNS 错误不应被无限重试掩盖;对 401/403/404 与 429/5xx 分类处理。
  • 多租户应在应用配置中显式绑定租户 → cloud account/project/deployment,禁止从用户 prompt 中选择 endpoint。

能力验证清单

  1. 用最终 model/deployment ID 验证工具调用、JSON schema、streaming usage 和多模态,不以 provider 索引替代实测。
  2. 强制记录 cloud request ID、region、deployment 与限流头,但脱敏 prompt、文件 URL、返回正文与身份 token。
  3. 对配额耗尽、区域不可用和模型未授权分别设置告警与降级;跨云切换前先验证数据合规与输出契约。
  4. 对 embedding/vector store 同时定义备份、重建、维度变更和索引别名切换流程。