Python 底層運作 02 – PyTokenizer_Get 分析

當 Python 在讀入程式碼的時候, 第一步就是對程式碼 lexing,將程式碼拆解成 token,標記出每個元素的分類為何。 以下面的程式碼為例: [crayon-6422b484c574d586610839/] 我們透過 tokenize module 來分析,會變成: [crayon-6422b484c5753855284311/] 我們可以看到 foo 被標記為 NAME,= 標記為 OP

Continue Reading