分类目录归档:GCP

通过 SSH 连接 GCE


对 Google Compute Engine 通过第三方 SSH 连接,可以通过以下步骤完成:

  1. 在本地主机上生成 SSH 密钥,注意,用户名不要为 root,因为 GCE 默认禁止 root 远程连接,且这里生成的用户名,后面也是 ssh 时连接的用户名。

  2. 点击虚拟机详情,点击编辑,在 SSH

Read more

GCP Container Registry


Docker 私有化存储库,支持漏洞分析,提供比较精细的访问权限控制。支持自动构建和部署。

Container Registry 价格

官方文档

主要包含如下方面收费项:

  • 存储:首次向 Container Registry 推送映像时,系统会创建一个 Cloud Storage 存储分区来存储您的

Read more

GCP AI Platform


管理模型和作业

状态:

  • STATE_UNSPECIFIED The job state is unspecified.
  • QUEUED The job has been just created and processing has not yet begun.
  • PREPARING The s

Read more

GCP AI APIs 信息汇总


建议&限制

API 名称 建议 避免
Cloud Speech-to-Text API 以 16000 Hz 或更高的采样率采集音频。 应该避免对采样率较低的音频进行重采样,即使他们不是推荐的采样率。
使用无损编解码器录制和传输音频。建议使用 FLAC 或 LINEAR16

Read more

GCP Cloud Composer


基于 Apache Airflow 构建的全代管式工作流编排服务。 Cloud Composer 是以 Airflow 为基础构建的托管式工作流编排服务。与本地部署类似,Cloud Composer 会部署多个组件来运行 Airflow。 Airflow 是以微服务为基础构建的一种框架。为了按分布式

Read more

GCP Pub/Sub


适用于事件驱动型系统和流式分析的消息传递和事件提取服务。 Pub/Sub 是一种异步消息传递服务,可将产生事件的服务与处理事件的服务分离开。 可以将 Pub/Sub 用作消息传递的中间件,或是用在流式分析流水线上提取和传送事件。 Pub/Sub 能够长时间存储消息,并能够大规模实时传送消息,而且可用

Read more

BQ 流式插入


流式插入的配额限制

  • 如果没有填写 insertId 字段:
    • 每秒的字节数上限:1 GB
  • 如果填写了 insertId 字段:
    • 每秒最大行数:10 万 (项目级(整个项目所有数据集公用) - quotaExceeded 报错(如果超出上限的话))
    • 每秒最大字节数:100 MB (项目级 - q

Read more

BQ 分区表&聚簇表


分区表

分区表实际就是将一张大表,基于例如,提取时间、时间戳、整数范围等,拆分为多个小表,以达到更高效管理&查询数据的目的。

举例来说,如果我对为分区的一个大表,根据 gen_data 这个字段筛选 == '2020-08-14' 的数据,未分区的表,需要完全读取这个字段数据,查询数据 1T

Read more

Cloud Storage VS. filestore


两者功能描述上相似,但是实际使用上有所区别。

最大的区别点在于,Google Filestore 针对的是高可用,在云上也能有本地类似的高性能的场景(类似本地的 NAS 服务)。

补充说明:

  • Cloud Storage 和 Google drive(云端硬盘) 最大区别在于,drive 是针对个人

Read more