pandas dataframe取差集：删掉已存在的数据，保留未插入的数据

适用场景：

插入数据到mysql中，中途中断，导致部分数据未插入成功。避免下次插入时插入了重复的数据。

思路：

1、读取已插入的数据，

2、读取全部数据（包含已插入和未插入的），

3、将已插入的数据添加到全部数据中，产生重复数据，

4、删除所有重复的数据。

示例代码：

import pandas as pd

import numpy as np

df = pd.DataFrame(np.arange(15).reshape((5, 3)))  # 总数据

# 输出df：

     0    1    2

0    0    1    2

1    3    4    5

2    6    7    8

3    9    10    11

4    12    13    14

df2 = df[:3]  # 已插入的数据

# 输出df2：

     0    1    2

0    0    1    2

1    3    4    5

2    6    7    8

df = df.append(df2)  # 将已插入的数据添加到全部数据里面，生成重复数据

df = df.append(df2)  # 需要添加两次，避免将df2在df中没有的数据添加了

# 输出df：

     0    1    2

0    0    1    2

1    3    4    5

2    6    7    8

3    9    10    11

4    12    13    14

0    0    1    2

1    3    4    5

2    6    7    8

0    0    1    2

1    3    4    5

2    6    7    8

df = df.drop_duplicates(keep=False)  # 删除具有重复数据的行，即得到差集

# 输出df：

     0    1    2

3    9    10    11

4    12    13    14

巴特西

pandas dataframe取差集：删掉已存在的数据，保留未插入的数据

适用场景：

思路：

示例代码：

最新文章

热门文章