tokenize

网络符将一个字符串标记化；切分词；令牌化

网络释义

1.	符将一个字符串标记化 ...这种技术,例如strtok(),它基于一组字符分隔符将一个字符串标记化(tokenize)(译注:即将str分解为由字符串delimiterSet中的字符 … www.5doc.com\|基于5个网页
2.	切分词词干切分,word stem... ... ) word entry segmentation of Chinese 词条切分 ) tokenize 切分词 ) Word segmentation 语词切分 ... www.dictall.com\|基于4个网页
3.	令牌化 DSPAM中文站 ... token ：令牌 tokenize ：令牌化 tokenizer ：令牌解析器 ... blog.dspam.org.cn\|基于2个网页

4.	变造 2. 变造 (Tokenize)。在保持资料格式的情况下对资料进行处理，产生另外一组不同的资料；仅适用於数字或英文，亦可反解回 … www.digitimes.com.tw\|基于2个网页

更多释义

收起释义

例句

释义:

全部全部,符将一个字符串标记化符将一个字符串标记化,切分词切分词,令牌化令牌化

类别:全部全部,口语口语,书面语书面语,标题标题,技术技术

来源:全部全部,字典字典,网络网络

难度:全部全部,简单简单,中等中等,难难

更多例句筛选

收起例句筛选

1.

The new tokenize function performs the opposite action , disaggregating a string with a separator to mark the boundaries .

新增的 tokenize 函数执行相反的操作，用分隔符标记字符串之间的边界。

2.

Specify the delimiters that the transformation uses to tokenize column values .

指定转换用来标记列值的分隔符。

msdn2.microsoft.com

3.

IndexWriter accepts an analyzer used to tokenize data before it is indexed .

在编制索引前，IndexWriter 接收用于标记数据的分析程序。

4.

These differ in the way they tokenize the text and apply filters .

它们在标记文本和应用过滤器的方式上有所区别。