在包含＃标签（例如tweet）的句子中，spacy的令牌生成器将标签分为两个令牌：
import spacy
nlp = spacy.load('en')
doc = nlp(u'This is a #sentence.')
[t for t in doc]
输出：
[This, is, a, #, sentence, .]
我想按以下方式标记主题标签，这可能吗？
[This, is, a, #sentence, .]
python大神给出的解决方案
您可以执行一些前后字符串操作，这将使您绕过基于'＃'的标记化，并且易于实现。例如
> >>> import re
> >>> import spacy
> >>> nlp = spacy.load('en')
> >>> sentence = u'This is my twitter update #MyTopic'
> >>> parsed = nlp(sentence)
> >>> [token.text for token in parsed]
[u'This', u'is', u'my', u'twitter', u'update', u'#', u'MyTopic']
> >>> new_sentence = re.sub(r'#(\w+)',r'ZZZPLACEHOLDERZZZ\1',sentence)
> >>> new_sentence u'This is my twitter update ZZZPLACEHOLDERZZZMyTopic'
> >>> parsed = nlp(new_sentence)
> >>> [token.text for token in parsed]
[u'This', u'is', u'my', u'twitter', u'update', u'ZZZPLACEHOLDERZZZMyTopic']
> >>> [x.replace(u'ZZZPLACEHOLDERZZZ','#') for x in [token.text for token in parsed]]
[u'This', u'is', u'my', u'twitter', u'update', u'#MyTopic']
您可以尝试在spacy的分词器中设置自定义分隔符。
我不知道这样做的方法。
更新：您可以使用正则表达式找到要保留为单个令牌的令牌范围，然后使用span.merge方法重新令牌化，如下所述：https://spacy.io/docs/api/span#merge
合并示例：
>>> import spacy
>>> import re
>>> nlp = spacy.load('en')
>>> my_str = u'Tweet hashtags #MyHashOne #MyHashTwo'
>>> parsed = nlp(my_str)
>>> [(x.text,x.pos_) for x in parsed]
[(u'Tweet', u'PROPN'), (u'hashtags', u'NOUN'), (u'#', u'NOUN'), (u'MyHashOne', u'NOUN'), (u'#', u'NOUN'), (u'MyHashTwo', u'PROPN')]
>>> indexes = [m.span() for m in re.finditer('#\w+',my_str,flags=re.IGNORECASE)]
>>> indexes
[(15, 25), (26, 36)]
>>> for start,end in indexes:
... parsed.merge(start_idx=start,end_idx=end)
...
#MyHashOne
#MyHashTwo
>>> [(x.text,x.pos_) for x in parsed]
[(u'Tweet', u'PROPN'), (u'hashtags', u'NOUN'), (u'#MyHashOne', u'NOUN'), (u'#MyHashTwo', u'PROPN')]
>>>
这是我的数据框的一部分。data = [ ['1245', np.nan, np.nan, 1.0, 1.0, ''], ['1246', np.nan, 1.0, 1.0, 1.0, ''], ['1247', 1.0, 1.0, 1.0, 1.0, �…
在Flask中测试文件上传 - python我在Flask集成测试中使用Flask-Testing。我有一个表单，该表单具有我要为其编写测试的徽标的文件上传，但是我不断收到错误消息：TypeError: 'str' does not support the buffer interface。我正在使用Python3。我找到的最接近的答案是this，但是它对我不起作用。这是我的许多尝…
如果__name__ =='__main__'，则为Python的Powershell等效项: - python我真的很喜欢python的功能，例如：if __name__ == '__main__': #setup testing code here #or setup a call a function with parameters and human format the output #etc... 很好，因为我可以将Python脚本文件…
子条件的python条件覆盖 - python我试图找到一个python代码覆盖率工具，该工具可以衡量语句中是否包含子表达式：例如，我想看看下面的示例是否涵盖了condition1 / condition2 / condtion3？if condition1 or condition2 or condition3: x = true_value python大神给出的解决方案 对此的唯一合理答案是：当前…
USB设备发行 - python我目前正在使用PyUSB。由于我不熟悉USB，所以我不知道如何执行以下操作。我已经从Python PyUSB成功连接到我的USB设备硬件。在代码中，我需要重置USB设备硬件。通过向硬件发送命令来完成。现在，在硬件重置后，我想从Python PyUSB释放当前的USB设备。然后，我想在重置后将其重新连接到USB设备硬件。请让我知道，如何释放USB设备连接和接口…