token是什么意思（tokens）

大家好,小霞來為大家解答以上的問題。token是什么意思，tokens這個很多人還不知道,現在讓我們一起來看看吧！

1、在語料庫語言學中，會計算文本的tokens和types。

2、tokens指的是“形符”，就是文本中出現的所有詞的個數；types指的是“類符”，就是文本中出現的不重樣的詞的個數。

3、比如，有一個兩句話的文本：I am a boy. I am a boy.那么這個文本里面有8個tokens，有4個types。

4、兩個數值可以對所建立的語料庫進行描述，也可以計算二者之比，來計算語料庫文本的復雜程度等等吧。

5、這是語言學方面，尤其是語料庫語言學經常出現的tokens的意思。

6、更詳細的可以看一些語料庫語言學方面的文章。

7、論文中常提到的tokens是象征的意思tokens釋義n. 代幣（token的復數）；符號。

本文到此分享完畢，希望對大家有所幫助。