作者文章归档：zws

Pandas 案例一）进行组内排序，并添加序号

发表评论
5658 views

案例说明

我们经常会遇到这种需求： —— 将数据按照某个维度的值进行分组（例如：USER_ID），然后针对某个值进行组内排序（例如：SCORE），并标注序号

比如： 在推荐系统的召回阶段，我们会为每个用户推荐数个产品，并赋予其不同的得分，有时我们就需要对同一用户，不同推荐产品的得分进行排序，并标注序

Read more

用竖行显示 HIVE Query 结果

发表评论
3608 views

实际使用当中，有时候需要用竖行的形式显示 HIVE 的输出结果（比如查看列数过多的数据时），这时如果还是用 row by row 的形式，查看起来就会很不方便。

通过以下方式，可以是 HIVE 的结果以列的形式呈现。

  1. 输入

    beeline --outputformat=vertical

  2. 进入

Read more

Hive 数据迁移

发表评论
742 views

相关命令

导出表结构：

show create table <表名>

通过 shell 命令批量导出全部库表结构

#!/bin/bash
rm -rf databases.txt
hive -e " show databases; exit ;" > data

Read more