摘要：
Sklearn的LabelEncoder将不同的值编码为相同的值。 encoder.fit(data)和data_encoded = encoder.transform(data)可以正确完成，但是当我在转换后立即执行encoder.inverse_transform(data_encoded)时，它会引发错误：
ValueError：y包含以前看不见的标签：[19297]
我想做的事：
我有一些大数据（将近1.5 GB），并且还会有更多数据。为了完成机器学习任务，我需要对数据进行标签编码，但是我不能在本地笔记本电脑上进行编码，因为编码器必须查看整个数据才能正确编码，但是数据处理起来有些大。
我做了什么：
因此，我将全部数据加载到Google Colab中，对其进行了编码，然后将编码器保存为pickle。然后，在我的本地PC中，我获取了新来的数据（要小得多），将编码器装回，更新了encoder.classes_（请参见代码第1部分）
然后转换新来者数据。然后尝试立即对它进行逆变换，以确保正确完成。但是它提出了一个错误。 （请参阅第2部分）
然后，我检查了值19297并使用data.loc查看其索引。得到索引并检查原始数据，并意识到编码器将不同的值编码为相同的值（不同的值-> 19297）。任何人都可以帮助解决这个问题吗？坦克很多。
第1部分：
with open("data/encoders/item_id_encoder.pkl", 'rb') as file:
item_encoder = pickle.load(file)
with open("data/encoders/store_id_encoder.pkl", 'rb') as file:
store_encoder = pickle.load(file)
with open("data/encoders/week_encoder.pkl", 'rb') as file:
week_encoder = pickle.load(file)
item_classes = set(item_encoder.classes_)
store_classes = set(store_encoder.classes_)
week_classes = set(week_encoder.classes_)
bar.start()
for row in data.itertuples():
if row.item_id not in item_classes:
item_classes.add(row.item_id)
item_encoder.classes_ = np.append(item_encoder.classes_, row.item_id)
if row.store_id not in store_classes:
store_classes.add(row.store_id)
store_encoder.classes_ = np.append(store_encoder.classes_, row.store_id)
if row.week not in week_classes:
week_classes.add(row.week)
week_encoder.classes_ = np.append(week_encoder.classes_, row.week)
bar.update(row.Index)
bar.finish()
第2部分：
store_ids = store_encoder.transform(data.store_id)
item_ids = item_encoder.transform(data.item_id)
weeks = week_encoder.transform(data.week)
# this raises error
item_encoder.inverse_transform(item_ids)
参考方案
好吧，我已经实现了具有更新功能的标签编码器。您可以：
安装数据编码器以启动编码器。编码器将被保存为pickle文件。
使用新手数据更新编码器
转换和逆转换数据
参见：https://github.com/emremrah/Lencoder
Python sqlite3数据库已锁定 - python我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到，如果应用程序被强制关闭（通过错误或通过任务管理器结束），则会收到sqlite3错误（sqlite3.OperationalError：数据库已锁定）。我想这是因为在应用程序关闭之前，我没有正确关闭数据库连接。我已经试过了： connectio…
Python-Excel导出 - python我有以下代码：import pandas as pd import requests from bs4 import BeautifulSoup res = requests.get("https://www.bankier.pl/gielda/notowania/akcje") soup = BeautifulSoup(res.cont…
Python:传递记录器是个好主意吗？ - python我的Web服务器的API日志如下：started started succeeded failed 那是同时收到的两个请求。很难说哪一个成功或失败。为了彼此分离请求，我为每个请求创建了一个随机数，并将其用作记录器的名称logger = logging.getLogger(random_number) 日志变成[111] started [222] start…
Python pytz时区函数返回的时区为9分钟 - python由于某些原因，我无法从以下代码中找出原因：>>> from pytz import timezone >>> timezone('America/Chicago') 我得到：<DstTzInfo 'America/Chicago' LMT-1 day, 18:09:00 STD…
用大写字母拆分字符串，但忽略AAA Python Regex - python我的正则表达式：vendor = "MyNameIsJoe. I'mWorkerInAAAinc." ven = re.split(r'(?<=[a-z])[A-Z]|[A-Z](?=[a-z])', vendor) 以大写字母分割字符串，例如：'我的名字是乔。 I'mWorkerInAAAinc”变成…