分类标签归档:GCP

通过 SSH 连接 GCE


对 Google Compute Engine 通过第三方 SSH 连接,可以通过以下步骤完成:

  1. 在本地主机上生成 SSH 密钥,注意,用户名不要为 root,因为 GCE 默认禁止 root 远程连接,且这里生成的用户名,后面也是 ssh 时连接的用户名。

  2. 点击虚拟机详情,点击编辑,在 SSH

Read more

GCP Container Registry


Docker 私有化存储库,支持漏洞分析,提供比较精细的访问权限控制。支持自动构建和部署。

Container Registry 价格

官方文档

主要包含如下方面收费项:

  • 存储:首次向 Container Registry 推送映像时,系统会创建一个 Cloud Storage 存储分区来存储您的

Read more

GCP AI Platform


管理模型和作业

状态:

  • STATE_UNSPECIFIED The job state is unspecified.
  • QUEUED The job has been just created and processing has not yet begun.
  • PREPARING The s

Read more

GCP Cloud Composer


基于 Apache Airflow 构建的全代管式工作流编排服务。 Cloud Composer 是以 Airflow 为基础构建的托管式工作流编排服务。与本地部署类似,Cloud Composer 会部署多个组件来运行 Airflow。 Airflow 是以微服务为基础构建的一种框架。为了按分布式

Read more

GCP Pub/Sub


适用于事件驱动型系统和流式分析的消息传递和事件提取服务。 Pub/Sub 是一种异步消息传递服务,可将产生事件的服务与处理事件的服务分离开。 可以将 Pub/Sub 用作消息传递的中间件,或是用在流式分析流水线上提取和传送事件。 Pub/Sub 能够长时间存储消息,并能够大规模实时传送消息,而且可用

Read more

Cloud Storage VS. filestore


两者功能描述上相似,但是实际使用上有所区别。

最大的区别点在于,Google Filestore 针对的是高可用,在云上也能有本地类似的高性能的场景(类似本地的 NAS 服务)。

补充说明:

  • Cloud Storage 和 Google drive(云端硬盘) 最大区别在于,drive 是针对个人

Read more

GCP FireStore 核心知识点


最佳实践

  1. 数据库位置:选择距离您的用户最近的数据库位置和计算资源。

  2. 文档ID

    • 不要使用 . 和 .. 作为文档 ID。
    • 避免在文档 ID 中使用正斜杠 /。
    • 不要使用单调递增的文档 ID,例如:
      Customer1, Customer2, Customer3, ...
      Product 1, Pr

Read more

GCP 数据库选择


数据库类型 常见用途 GCP产品 其他说明
关系型 兼容性、事务、复杂的查询、联接 Cloud SQL (重要)适用于 MySQL、PostgreSQL、SQL Server,全托管式
Cloud Spanner (重要)谷歌专有、更先进,可拓缩,能够跨地区乃至跨州支持事务、高度

Read more

Data Engineer on Google Cloud Platform Cheat Sheet


数据工程师是什么?

数据工程通过收集、转换和可视化数据来实现数据驱动的决策。数据工程师设计、构建、维护数据处理系统,并对其进行故障排除,特别关注这些系统的安全性、可靠性、容错性、可伸缩性、保真度(fidelity)和效率。

数据工程师还通过分析数据来洞察业务结果,建立统计模型来支持决策制定,并创建机

Read more