Python 底層運作 02 – PyTokenizer_Get 分析

當 Python 在讀入程式碼的時候, 第一步就是對程式碼 lexing,將程式碼拆解成 token,標記出每個元素的分類為何。 以下面的程式碼為例: [crayon-5c40a8212972b002768416/] 我們透過 tokenize module 來分析,會變成: [crayon-5c40a82129737813424954/] 我們可以看到 foo 被標記為 NAME,= 標記為 OP

Continue Reading