【编译系统01】编译器 - 词法分析器(lexial)的设计思路

时间：2019/11/29

首先，词法分析器由一个扫描器与状态机组成。

一. 词法分析器整体设计流程

二、设计细节

1. code.txt：

　　我们假设读取下面文本

2.符号类型的设计

　　我们使用 enum 数据结构，其好处有两点：

　　1. 只能选取其成员中的一个。

　　2. 可以直接用符号的名字命名变量。　　

 enum symbol {

     KW_MAIN, KW_IF, KW_ELSE, KW_WHILE, KW_INT, KW_COUT, KW_CIN, KW_ENDL, KW_RETURN, // 关键字

     LBRACE, RBRACE, LPAREN, RPAREN, SEMI, COMMA, // 界符

     ASSIGN, ADD, MINUS, TIMES, DIVIDE, // 运算

     EQ, NE, G, GE, B, BE, IN, OUT, // 判断标志位

     STR, NUM, ID, // 字符串，数字，标识符

     END // 文件结尾

 };

3. 扫描器

　　扫描器会仅仅读取一个字符，先将旧的字符保存，再将读取的字符存储在全局变量ch中，如果读取成功，返回0，否则返回1.

 int getCh() {

     oldch = ch;

     if (fscanf_s(fin, "%c", &ch) == EOF) {

         return ;

     }

     else {

         return ;

     }

 }

4.有限状态机：

　　其通过当前所读取的字符 ch 来判断其种类。

　　1）数字：比如如果为 '0'，则表示数字，依次"读取-计算-存储"直到不是数字时再退出，将值保存在num中，sym赋值NUM，之后返回。

     else if(ch>='' && ch<='')

     {

         int value = ;

         do {

             value = value *  + ch -'';

             f = getCh();

         } while (ch >= '' && ch <= ''); // 判断条件一定要明确

         sym = NUM;

         num = value;

     }

　　2） ‘=’ 与 ‘==’的区分：当遇到 = 时，超前读取一个字符，来判断。如果是 == ，在继续读取一个字符(供之后判断使用)，否则不用读取。

 case '=':

     f = getCh();

     if (ch == '=') {

         sym = EQ;

         // 再往前读一行

         f = getCh();

     }

     else {

         sym = ASSIGN;

     }

     break;

　　3）变量名与关键字之前的区分：我们设计了一个数组，当为变量名或关键字时进行判断。

 /*

     关键字检索器:将标识符与id区分开来，并打上标记 sym;

 */

 const int arrLen = ;

 const char * keyWords[arrLen] = { "main","if","else","while","int","cout","cin","endl","return" };

 const enum symbol keySymbols[arrLen] = { KW_MAIN, KW_IF, KW_ELSE, KW_WHILE, KW_INT, KW_COUT, KW_CIN, KW_ENDL, KW_RETURN };

 void checkKeyWord() {

     // 将id来遍历 keyWords[] 数组，打上标签

     int flag = ; // 标记是否是关键字

     for (int i = ; i < arrLen; i++) {

         if (strcmp(id, keyWords[i]) == ) {

             sym = keySymbols[i]; // 完成赋值

             flag = ;

             break;

         }

     }

     if (flag == )

         sym = ID;

 }

三、验证检查的可靠性

1. 我们先简单地写了一下测试代码：

    //

    // 测试词法扫描器

    //

    string filename = "C:\\Users\\97905\\source\\repos\\T编译器\\Debug\\abc.txt";

    int ErrorCode = fopen_s(&fin, filename.c_str(), "r");

    if ( == ErrorCode) {

        cout << "打开文件成功" << endl;

    }

    else {

        cout << "错误码: " << ErrorCode << endl;

        return ;

    }

    // 循环解析符号

    getCh(); // 启动时必须先读取第一个字符

    while (getSym()) {

        if (sym == STR) {

            // 输出字符串

            cout << "(string," << str << ")"<< endl;

        }

        else if (sym == NUM) {

            // 输出数字

            cout << "(NUM," << num << ")" << endl;

        }

        else if (sym == ID) {

            cout << "(ID," << id << ")" << endl;

        }

        else {

            cout <<"(关键字或字符," << symbolName[sym] <<")" << endl;

        }

    }

    if (sym == END) {

        cout << "文件读取结束" << endl;

    }

    return ;

2. 将上面那个代码填入进去，最终的测试结果如下。

符合测试要求

四、下一步计划

　　写一个简单的 "int i;" 与 "i = 3;"的语法分析程序与语义分析程序。

　　"int i;" 时建立变量记录表

　　"i = 3;" 时在变量表中查询变量，并且赋值。

　　这个计划用 MAP 数据结构来实现（毕竟查找比较方便）

　　预计更新日期：2019/11/30

巴特西

【编译系统01】编译器 - 词法分析器(lexial)的设计思路

最新文章

热门文章