スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

F#で入門 コンパイラ、インタプリタ編 簡易言語 (インタープリタ)

 前回までで一行計算機のインタープリタ版、VM版、MSAM版を作成したので、今回から(超)簡易言語をLL1TokenizeAndParseクラスを利用して作成してみたいと思います。 
今回はインタープリタ版で、変数の定義、代入が使えるようにしてみます。 
 
トークンの定義は次のようにします。 
 
let tnR = [ 
           ("INT","int");//追加 
           ("COMMA","\,");//追加 
           ("EQ","\=");//追加 
           ("EX","\!");//追加 
           ("PLUS","\+"); 
           ("MINUS","\-"); 
           ("MUL","\*"); 
           ("DIV","\/"); 
           ("LPAR","\("); 
           ("RPAR","\)"); 
           ("NUM","\d+"); 
           ("SEMI","\;");//追加 
           ("ID","[a-z][a-z0-9]*")//追加 
           ] 
 
追加とある部分が一行計算機からの変更部分です。EXは変数の値を表示するのに使います。 
文法の追加(変更)部分は以下の通りです。 
let grammersStrLst = 
   ["1:Program = DeclStmts Stmts"; //ここが変わった 
.................... 
    "19:Factor = LPAR Expression RPAR" 
    //ここ以降変化 
    "20:Factor = ID"; 
    "21:DeclStmts = DeclStmt SEMI DeclStmts2"; 
    "22:DeclStmts2  = EPSILON"; 
    "23:DeclStmts2  = DeclStmts"; 
    "24:DeclStmt = INT VarDefs"; 
    "25:VarDefs = ID EQ NUM VarDefs2"; 
    "26:VarDefs2 = COMMA ID EQ NUM VarDefs2"; 
    "27:VarDefs2 = EPSILON"; 
    "28:Stmts = EPSILON"; 
    "29:Stmts = PrintStmt SEMI Stmts"; 
    "30:PrintStmt = EX VarRefs"; 
    "31:VarRefs = Expression VarRefs2"; 
    "32:VarRefs2 = COMMA Expression VarRefs2"; 
    "33:VarRefs2 = EPSILON"; 
    "34:Stmts = AssignStmt SEMI Stmts"; 
    "35:AssignStmt = ID EQ Expression " 
      ] 
       
文法定義部分を見てもらえるとわかりますが、最初に使う変数を定義しておかなくてはならない構文規則です。(広域変数しかありません。)例えばつぎのようなものが正しいコードになります。 
(!はそのあとのものを表示せよという意味です。) 
 
int x = 2,y = 3,z = 5; 
int u = 0; 
!(x + y+z/5 -100); 
u = 3*x+4*y+7*z; 
!u; 
 
実行すると、 
-94 
53 
が表示されるようにします。 
 
変数を使うために、一行計算機で使った、スタック(配列で表現)とスタックポインタに加えて、変数の値を保存しておくための配列と、変数名と、この配列の番地とを結びつけるDictionaryを準備しておきます。これを記号表といいます。(この記号表は超原始的なものです。) 
 
この部分のコードは次のようにしています。(配列は大きさ100で設定しました。) 
let mutable GL_stkArr:int array = Array.zeroCreate 100 
let mutable GL_sp:int  = -1 
let mutable GL_memArr:int array = Array.zeroCreate 100 
let mutable GL_varCnt = 0 //登録された変数の数を順次記録していくために使う。 
let mutable GL_symbolDic = new System.Collections.Generic.Dictionary<string,int>() 
 
次に構文木をまず一回トラバースして変数のDictionaryと配列を作成します。 
上の例では配列は[|2;3;5;0;..........|] 
Dictinaryはseq [[x, 0]; [y, 1]; [z, 2]; [u, 3]]となります。 
 
この部分のコードは次の通りです。 
 
let rec makeSymbolTB (eb:embodyST) = 
    match eb with 
    //0: Z = Program EOF 
    |Node(0,_,proNd::_)      
        ->  GL_stkArr <- Array.zeroCreate 100  
            GL_sp <- -1                        
            GL_memArr <- Array.zeroCreate 100 
            GL_varCnt <- 0 
            GL_symbolDic <- new System.Collections.Generic.Dictionary<string,int>() 
            makeSymbolTB  proNd  
    //1:Program = DeclStmts Stmts 
    |Node(1,_,decStmsNd::_) 
        -> makeSymbolTB  decStmsNd  
    //21:DeclStmts = DeclStmt SEMI DeclStmts2 
    |Node(21,_,declStmNd::_::declStm2Nd::_) 
        -> makeSymbolTB declStmNd  
           makeSymbolTB declStm2Nd  
    //22:DeclStmts2  = EPSILON 
    |Node(22,_,_) 
        -> () 
    //23:DeclStmts2  = DeclStmts 
    |Node(23,_,declStmtsNd::_) 
        -> makeSymbolTB declStmtsNd 
    //24:DeclStmt = INT VarDefs 
    |Node(24,_,_::varDefsNd::_) 
        -> makeSymbolTB varDefsNd 
    //25:VarDefs = ID EQ NUM VarDefs2 
    |Node(25,_,Leaf(id_tk)::_::Leaf(num_tk)::varDefs2Nd::_) 
        ->GL_symbolDic.Add(id_tk.Img,GL_varCnt) //例えばx -> 1となる(1はアドレス=配列のindex) 
                                          //2重登録はここでエラー  
          GL_memArr.[GL_varCnt] <- System.Int32.Parse(num_tk.Img) //memへの初期値登録                                  
          GL_varCnt <- GL_varCnt + 1 
          makeSymbolTB varDefs2Nd 
    //26:VarDefs2 = COMMA ID EQ NUM VarDefs2 
    |Node(26,_,_::Leaf(id_tk)::_::Leaf(num_tk)::varDefs2Nd::_) 
         ->GL_symbolDic.Add(id_tk.Img,GL_varCnt)  
           GL_memArr.[GL_varCnt] <- System.Int32.Parse(num_tk.Img) //memへの初期値登録    
           GL_varCnt <- GL_varCnt + 1 
           makeSymbolTB varDefs2Nd 
        
    //27:VarDefs2 = EPSILON 
    |Node(27,_,_)  
        -> () 
    |_ -> () 
     
2回目とトラバースでは式の評価、変数への代入、表示等を実行していきます。 
 
let rec eVal0  (eb:embodyST)  = 
    match eb with 
    //0: Z = Program EOF 
    |Node(0,_,pro::_)      
        ->  eVal0 pro  
    //1:Program = DeclStmts Stmts 
............................................... 
この部分は一行計算機と同じなので省略 
............................................... 
    //20:Factor = ID //変数の値を取り出してスタックに積む 
    |Node(20,_,Leaf(tk)::_) 
        -> let adr =  GL_symbolDic.[tk.Img] 
           let num = GL_memArr.[adr] 
           GL_sp <- GL_sp + 1;GL_stkArr.[GL_sp] <- num 
    //29:Stmts = PrintStmt SEMI Stmts //PrintStmtを実行して次のStmtsを評価 
    |Node(29,_,printStmtNd::_::stmtsNd::_) 
        ->eVal0 printStmtNd 
          eVal0 stmtsNd 
    //30:PrintStmt = EX VarRefs 
    |Node(30,_,_::varRefsNd::_) 
        ->eVal0 varRefsNd 
    //31:VarRefs = Expression VarRefs2 
    |Node(31,_,expNd::varRefs2Nd::_) 
        ->eVal0 expNd //これでスタックに評価値がのる 
          dispFunc GL_stkArr.[GL_sp] //表示 
          GL_sp <- (GL_sp - 1) 
          eVal0 varRefs2Nd 
    //32:VarRefs2 = COMMA Expression VarRefs2 
    |Node(32,_,_::expNd::varRefs2Nd::_) 
        ->eVal0 expNd //これでスタックに評価値がのる 
          dispFunc GL_stkArr.[GL_sp] 
          GL_sp <- (GL_sp - 1) 
          eVal0 varRefs2Nd 
    //34:Stmts = AssignStmt SEMI Stmts 
    |Node(34,_,assStmtNd::_::stmtsNd::_) 
        ->eVal0 assStmtNd 
          eVal0 stmtsNd 
    //35:AssignStmt = ID EQ Expression  
    |Node(35,_,Leaf(tk)::_::expNd::_) 
        -> eVal0 expNd //これでスタックに評価値がのる 
           let adr =  GL_symbolDic.[tk.Img] 
           GL_memArr.[adr] <- GL_stkArr.[GL_sp] 
           GL_sp <- GL_sp - 1 
     
    //21:DeclStmts = DeclStmt SEMI DeclStmts2 
    //22:DeclStmts2  = EPSILON 
    //23:DeclStmts2  = DeclStmts 
    //24:DeclStmt = INT VarDefs 
    //25:VarDefs = ID EQ NUM VarDefs2 
    //26:VarDefs2 = COMMA ID EQ NUM VarDefs2 
    //27:VarDefs2 = EPSILON 
    //28:Stmts = EPSILON 
    //33:VarRefs2 = EPSILON 
    |_ -> ()  
     
  ウインドウソフト化して実行している画面が次のものです。 
   
1017-1.jpg 

   
  次回はこれのVM版をつくってみます。 
   
  このソフトのコードは以下の通りです。 
 open System    
open System.Text.RegularExpressions 
 
////////////////////////////////////////////////////////////////////////////////////////////////////////////////// 
 
//文法定義のエラー 
exception MyGramExcp of string 
 
let STR_EPS ="EPSILON" 
 
//引数分の空白文字を作る補助関数 
let spaceStr(i) =  
    let sb = new System.Text.StringBuilder() 
    let rec addSpace count = 
        if count = i then sb.ToString() 
        else 
            sb.Append(" ") |> ignore 
            addSpace (count + 1) 
    addSpace 0  
 
////////////////////////////////////////////////////////////////////////////////////////////////////////////////// 
 
type Token(kind:string,img:string,row:int,col:int) = 
    member this.Kind = kind 
    member this.Img = img 
    member this.Row = row 
    member this.Col = col 
 
    override this.ToString() = 
        sprintf "[%s %s (%d,%d)] " kind img row col 
 
//一行をトークン化したときの結果用の型 
type TokenizeOneLineResult = 
    |TOLSuccess of list<Token> 
    |TOLFail of int*int //トークン化失敗したときの行と列 
 
    member this.IsSuccess () = 
        match this with 
        |TOLSuccess(_) -> true 
        | _ -> false 
 
 
 
//具象構文木 
type embodyST = 
    |EPS_Leaf of Token //tokenは存在しないので、εの直後のtokenを与える 
    |Leaf of Token  
    |Node of (int* string * list<embodyST>) //intは構文規則番号,stringは "(1, "Program", ["DeclStmts"; "PrintStmts"])"等 
 
    //表示用 
    member this.dispStr (inc :int)  = //inc = インシデント 
            match this with 
            |EPS_Leaf (token) 
                -> spaceStr(inc) +  "ε" + (sprintf "(%d,%d)の前" token.Row token.Col ) + "\r\n" 
            |Leaf(token) 
                -> spaceStr(inc) +  token.ToString() + "\r\n"  
            |Node(index,str,lst)  
                -> spaceStr(inc) + (sprintf "(%d)" index) + str + "\r\n"  
                   + List.fold (fun state (ele:embodyST) -> state + (ele.dispStr (inc + 4)) ) "" lst  
 
 
 
type LL1TokenizeAndParse (inDefLst:list<string*string>, inStrLst:list<string>) = 
 
    let initStrLst = "0:Z = Program EOF" :: inStrLst 
    let initDefLst =  ("EOF","EOF"):: inDefLst 
 
    let makeTokenizeRules (inDefLst:list<string*string>) = 
        inDefLst 
            |> List.map(fun (name,rgText) ->(name,(new Regex ( @"^(?<sPart>\s*)(?<parts>" + rgText + @")")))) 
 
    let tokenizeTopPart (textPart:string) (trl:list<string*Regex>) (row:int) (col:int) = 
        trl 
          |>List.fold (fun (curToken:Token,curLongestLength:int) (name,rg) -> 
                            let wholeMatch = rg.Match(textPart) 
                            let partMatch = wholeMatch.Groups.["parts"]  //必要な部分 
                            let sPartMatch = wholeMatch.Groups.["sPart"] //先頭の空白部分 
                            if wholeMatch.Value.Length > curLongestLength then //最長マッチ 
                                (new Token(name,partMatch.Value,row, col + sPartMatch.Value.Length),wholeMatch.Value.Length ) 
                            else 
                                (curToken,curLongestLength) 
                      ) 
                      (new Token("","",0,0),0) 
 
 
    let tokenizeOneLine (inDefLst:list<string*string>) (inRow:int) (inOneLineStr:string) = 
        let trs = makeTokenizeRules inDefLst 
        let rec tokenizeOneLineSub (curCol:int) (remainStr:string) res = 
            if remainStr.Trim().Length = 0 then 
                TOLSuccess(List.rev res) 
            else 
               let (slicedToken,length) = tokenizeTopPart remainStr trs inRow curCol 
               if length = 0 then 
                    let topBlankNum = remainStr.Length - remainStr.TrimStart().Length 
                    TOLFail(inRow,curCol+topBlankNum) 
               else 
                  tokenizeOneLineSub (curCol + length) (remainStr.Substring(length)) (slicedToken::res)        
        tokenizeOneLineSub 1 inOneLineStr [] 
 
    let tokenizer  (source:list<string>) = 
        let oneLineTokenizer = tokenizeOneLine initDefLst 
        let isTOLSuccess (x:TokenizeOneLineResult) = 
            match x with 
            |TOLSuccess(_) -> true 
            |_             -> false 
        let sucLst,failLst = 
            source 
            |>List.map (fun str -> str.TrimEnd()) 
            |>List.mapi (fun i str -> oneLineTokenizer (i+1) str ) 
            |>List.partition (fun tr -> tr.IsSuccess () ) 
        if failLst.Length > 0 then  
            failwith (sprintf "%A" failLst) 
        else  
            sucLst 
              |>List.map (fun tolr -> match tolr with 
                                         |TOLSuccess(tol) -> tol 
                                         | _ -> failwith "error" //これは起こらない 
                         ) 
              |>List.fold (fun s lst -> s @ lst) [] 
         
    let splitOneLineGram (inStr:string)= 
        let (lhdIndex,rhd) =  
            match inStr.Split([|':'|]) with 
            [|mlhd;mrhd|]  ->  (mlhd.Trim(),mrhd) 
            | _             ->  raise <| MyGramExcp(inStr)  
        let (lhd,rhd2) = 
            match rhd.Split([|'='|]) with 
            |[|mlhd;mrhd|]  ->  (mlhd.Trim(),mrhd) 
            | _             ->  raise <| MyGramExcp(inStr)  
        let rhdElems =  
            rhd2.Split([|' '|]) 
                |> List.ofArray 
                |> List.map (fun s -> s.Trim()) 
                |> List.filter (fun s -> s <> "") 
        (System.Int32.Parse(lhdIndex),lhd,rhdElems) 
 
 
    let getNTN_TN__Sets (inStrLst:list<string>) = 
        let (sumUpLhdSet,sumUpRhdSet) = 
            inStrLst 
                |> List.map splitOneLineGram 
                |> List.fold (fun (acclh,accrh)  (_,lhd,rhdLst) -> (lhd :: acclh,rhdLst @ accrh)) ([],[]) 
                |> (fun (hdLst,rhLst) -> (Set.ofList hdLst, Set.ofList rhLst)) 
        (sumUpLhdSet,sumUpRhdSet - sumUpLhdSet - (Set.ofList [STR_EPS])) 
 
    let (ntnSet,tnSet) =  getNTN_TN__Sets initStrLst   
 
 
    let isNullableToken ((in_ntn,in_tn):Set<string>*Set<string>) (in_ntnNullableMap:Map<string,bool>)(inTokenName:string) = 
        if inTokenName = STR_EPS then  
             true 
        elif Set.contains inTokenName in_tn then 
             false 
        else 
            in_ntnNullableMap.[inTokenName] 
 
    let isNullableTokenLst ((in_ntn,in_tn):Set<string>*Set<string>) (in_ntnNullableMap:Map<string,bool>)(inTokenNameLst:list<string>) = 
          List.forall (isNullableToken (in_ntn,in_tn) in_ntnNullableMap )inTokenNameLst //リスト中のすべてのtokenがnullableか 
           
    let isNullableTokenLstLst ((in_ntn,in_tn):Set<string>*Set<string>) (in_ntnNullableMap:Map<string,bool>)(inTokenNameLstLst:list<list<string>>) = 
          List.exists (isNullableTokenLst (in_ntn,in_tn) in_ntnNullableMap ) inTokenNameLstLst//リスト中のどれかのtokenリストがnullableか 
 
    let grams = initStrLst 
                    |> List.map splitOneLineGram 
                    |> List.map (fun (_,lh,rhEles) -> (lh,rhEles)) //[("Program",["DeclStmts";"PrintStmts"]);("DeclStmts",["VAR";"SEMI"])] 
  
    let getNTN_NullableMap (inStrLst:list<string>) = 
     
    
        let rec getNTN_NullableMapSub (inOldNullableMap:Map<string,bool>) (count:int) =  
            let nextNullableMap = 
                ntnSet 
                    |> Set.fold (fun stateMap ele -> 
                                    let targetGramsLstLst = 
                                        grams 
                                            |>List.filter (fun (ntnName,_) -> ntnName = ele) 
                                            |>List.map (fun (_,lst) -> lst) 
                                    let thisEleNullable = 
                                        isNullableTokenLstLst(ntnSet,tnSet) inOldNullableMap targetGramsLstLst 
                                    Map.add ele thisEleNullable stateMap 
                                 ) 
                                 Map.empty 
            if count > 10000 then 
                failwith "count error" 
            elif nextNullableMap = inOldNullableMap then 
                nextNullableMap 
            else 
                getNTN_NullableMapSub nextNullableMap (count + 1) 
     
        let initNullableMap = 
                    ntnSet 
                        |> Set.map (fun ele -> (ele,false)) 
                        |> Map.ofSeq 
     
        getNTN_NullableMapSub initNullableMap 0 
 
 
    let ntnNullableMap = getNTN_NullableMap initStrLst 
 
 
    let getFirstSetOfToken ((in_ntn,in_tn):Set<string>*Set<string>) (in_ntnFirstSetMap:Map<string,Set<string>>)(inTokenName:string) = 
        if inTokenName = STR_EPS then  
             Set.empty 
        elif Set.contains inTokenName in_tn then 
             Set.ofList ([inTokenName]) 
        else 
            in_ntnFirstSetMap.[inTokenName] 
 
    let getFirstSetOfTokenLst ((in_ntn,in_tn):Set<string>*Set<string>) (in_ntnNullableMap:Map<string,bool>) 
                               (in_firstSetMap:Map<string,Set<string>>) (inTokenNameLst:list<string>) = 
          let isNullableTokenPartApply = isNullableToken (in_ntn,in_tn) in_ntnNullableMap    
       
          let rec getFirstSetOfTokenLstSub (tokenLst:list<string>)  = 
            match tokenLst with 
            |[] -> Set.empty 
            |hd::tl when isNullableTokenPartApply hd -> (getFirstSetOfToken (in_ntn,in_tn) in_firstSetMap hd) + (getFirstSetOfTokenLstSub tl) 
            |hd::tl                                  -> (getFirstSetOfToken (in_ntn,in_tn) in_firstSetMap hd) 
 
          getFirstSetOfTokenLstSub inTokenNameLst 
 
    let getFirstSetOfTokenLstLst ((in_ntn,in_tn):Set<string>*Set<string>) (in_ntnNullableMap:Map<string,bool>) 
                              (in_firstSetMap:Map<string,Set<string>>) (inTokenNameLstLst:list<list<string>>) =   
 
        let getFirstSetOfTokenLstPartApply = getFirstSetOfTokenLst (in_ntn,in_tn) in_ntnNullableMap in_firstSetMap 
     
        List.fold (fun acc ele -> acc + (getFirstSetOfTokenLstPartApply ele)) Set.empty inTokenNameLstLst 
 
    let getNTN_FirstMap  (inStrLst:list<string>) = 
     
        let FisrtSetOfTokenLstLstPA = getFirstSetOfTokenLstLst (ntnSet,tnSet) ntnNullableMap 
     
        let rec getNTN_FirstMapSub (inOldFirstMap:Map<string,Set<string>>) (count:int) =  
            let nextFirstMap = 
                ntnSet 
                    |> Set.fold (fun stateMap ele -> 
                                    let targetGramsLstLst = 
                                        grams 
                                            |>List.filter (fun (ntnName,_) -> ntnName = ele) 
                                            |>List.map (fun (_,lst) -> lst) 
                                    let thisEleFisrtSet = 
                                         FisrtSetOfTokenLstLstPA inOldFirstMap targetGramsLstLst 
                                    Map.add ele thisEleFisrtSet stateMap 
                                 ) 
                                 Map.empty 
            if count > 10000 then 
                failwith "count error" 
            elif nextFirstMap = inOldFirstMap then 
                nextFirstMap 
            else 
                getNTN_FirstMapSub nextFirstMap (count + 1) 
     
        let initFirstMap = 
                    ntnSet 
                        |> Set.map (fun ele -> (ele,Set.empty)) 
                        |> Map.ofSeq 
     
        getNTN_FirstMapSub initFirstMap 0 
 
    let ntnFirstMap = getNTN_FirstMap initStrLst 
     
    let getAfterTokens (inStr:string) ((lhdStr,rhStrLst):string*list<string>) = 
        let rec getAfterTokensSub strLst res = 
            match strLst with 
            |hd::tl when hd = inStr -> getAfterTokensSub tl ((tl,lhdStr)::res) 
            |hd::tl                 -> getAfterTokensSub tl res 
            | [] -> res 
        getAfterTokensSub rhStrLst [] 
     
    let getNTN_FollowMap  (inStrLst:list<string>) = 
        let isNullableTokensLstPA (tokenLst:list<string>) = isNullableTokenLst (ntnSet,tnSet) ntnNullableMap tokenLst 
        let getFirstSetOfTokenLstPA (tokenLst:list<string>) = getFirstSetOfTokenLst (ntnSet,tnSet) ntnNullableMap  ntnFirstMap tokenLst 
  
        let rec getNTN_FollowMapSub (inOldFollowMap:Map<string,Set<string>>) (count:int) =  
           let getFollowSet (afterTokens:list<string>,ntnName:string) = 
                    if isNullableTokensLstPA afterTokens then 
                        (getFirstSetOfTokenLstPA afterTokens) + (inOldFollowMap.[ntnName]) 
                    else 
                        (getFirstSetOfTokenLstPA afterTokens)                 
           let nextFollowMap = 
                ntnSet 
                    |> Set.fold (fun stateMap ele -> 
                                    let includeEleGrams = 
                                        grams 
                                          |> List.fold (fun state2 (ntnName2,tokenLst) 
                                                            -> state2 @ (getAfterTokens ele (ntnName2,tokenLst))) 
                                                        [] 
                                                     
                                    let followSet = 
                                        includeEleGrams 
                                          |> List.fold (fun (state3:Set<string>) (afterTokens,ntnName) -> 
                                                        state3 + (getFollowSet (afterTokens,ntnName))) 
                                                        Set.empty 
                                    Map.add ele followSet stateMap 
                                 ) 
                                 Map.empty 
           if count > 10000 then 
                failwith "count error" 
           elif nextFollowMap = inOldFollowMap then 
                nextFollowMap 
           else 
                getNTN_FollowMapSub nextFollowMap (count + 1) 
 
 
        let initFollowMap = 
                    ntnSet 
                        |> Set.map (fun ele -> (ele,Set.empty)) 
                        |> Map.ofSeq 
     
        getNTN_FollowMapSub initFollowMap 0 
     
    let ntnFollowMap = getNTN_FollowMap initStrLst 
 
    let gramsWithIndex = initStrLst 
                            |> List.map splitOneLineGram 
                            |> List.map (fun (index,lh,rhEles) -> (index,(lh,rhEles)))  
 
    let getNTN_DirectorMap  (inStrLst:list<string>) = 
        let isNullableTokensLstPA (tokenLst:list<string>) = isNullableTokenLst (ntnSet,tnSet) ntnNullableMap tokenLst 
        let getFirstSetOfTokenLstPA (tokenLst:list<string>) = getFirstSetOfTokenLst (ntnSet,tnSet) ntnNullableMap  ntnFirstMap tokenLst 
     
        let getNTN_DirectorSet (inHh:string,inRhEles:list<string>) = 
            if isNullableTokensLstPA inRhEles then 
                (getFirstSetOfTokenLstPA inRhEles) + ntnFollowMap.[inHh] 
            else 
                (getFirstSetOfTokenLstPA inRhEles) 
 
        gramsWithIndex 
            |> List.map (fun (index,(lh,rhEles)) -> (index, getNTN_DirectorSet (lh,rhEles))) 
            |> Map.ofList              
 
    let directorMap = getNTN_DirectorMap initStrLst 
 
    let getOneToOneParsingRelation (inStrLst:list<string>) = 
        let relationBetweenIndexAndNTN_namdAndDirecSetList 
            = [ for (index,(lh,rhEles)) in gramsWithIndex do 
                    for direcEle in directorMap.[index] do 
                        yield (index,lh,direcEle) ] 
 
        let ParsingRelation 
            = relationBetweenIndexAndNTN_namdAndDirecSetList 
                |> List.fold (fun (stateMap:Map<string*string,Set<int>>)  (index,lh,direcEle)  ->       
                                        let tf = Map.tryFind (lh,direcEle) stateMap 
                                        match tf with 
                                        |Some(oldSet) -> Map.add (lh,direcEle) (oldSet + (Set.ofList [index])) stateMap 
                                        |None         -> Map.add (lh,direcEle) (Set.ofList [index]) stateMap 
                             ) 
                             Map.empty               
         
        let OneToOneParsingRelation 
            = ParsingRelation 
                |> Map.map (fun (ntnName,direcEle) intSet ->  
                                    if Set.count intSet > 1 then raise (MyGramExcp "衝突しているのでLL(1)解析できません") 
                                    else 
                                       match (List.ofSeq intSet) with 
                                       | [] -> failwith "neverOccurable Error" // 起こらない 
                                       | h::[] -> h 
                                       | _ ->  failwith "neverOccurable Error" // 起こらない 
                           )          
 
        OneToOneParsingRelation 
 
     
    let getIndexGRmap (inStrLst:list<string>) = 
        inStrLst 
            |> List.map splitOneLineGram  
            |> List.map (fun (index,_,gramLst) -> (index,gramLst)) 
            |> Map.ofList 
 
 
    let rec makeEmbodyST ((tntSet:Set<string>),(ntSet:Set<string>))  
                         (prMap:Map<(string * string),int>) (iGmap:Map<int,string list>) 
                         ((remainToken:list<Token>),(remainGRM:list<string>),(acc:list<embodyST>)) = 
        match remainToken,remainGRM with 
        |[],_ -> ([],[],acc) 
        //一つの構文要素終了時 
        |remt,[]    -> (remt,[],acc)  
        //εの場合 
        |hdt::tlt,hdg::tlg  when hdg = STR_EPS  
                    -> makeEmbodyST (tntSet,ntSet) prMap iGmap (remainToken,tlg,acc @ [EPS_Leaf(hdt)])  
        //終端記号 
        |hdt::tlt,hdg::tlg  when hdt.Kind = hdg 
                    -> makeEmbodyST (tntSet,ntSet) prMap iGmap  (tlt,tlg,acc @ [Leaf(hdt)]) 
        //非終端記号 
        |hdt::tlt,hdg::tlg   
                   -> let foundPRIndex = Map.tryFind (hdg,hdt.Kind) prMap 
                      match foundPRIndex with 
                      |Some(i) -> let shouldUseGram = iGmap.[i] 
                                  let (remT,remG,underNodes) = makeEmbodyST (tntSet,ntSet) prMap iGmap (remainToken,shouldUseGram,[]) 
                                  //上の行でremGは[]として返ってくる 
                                  makeEmbodyST (tntSet,ntSet) prMap iGmap (remT,tlg, acc @ [Node(i,hdg,underNodes)]) 
                               
                      |None    -> raise (MyGramExcp (sprintf "%sで文法エラー" (hdt.ToString()))) 
 
 
 
    member this.GetTokens (sourceLst:list<string>) =   
        tokenizer sourceLst   
 
    member this.GetEBASTtree (sourceLst:list<string>) =   
        let forTokenizedLst =  sourceLst @ ["EOF"] 
        let tokens = tokenizer forTokenizedLst 
        let relMap = getOneToOneParsingRelation initStrLst 
        let indexGRmap = getIndexGRmap initStrLst 
        let (_,_,madeTree) = makeEmbodyST (ntnSet,tnSet) relMap indexGRmap (tokens,["Z"],[]) 
        List.head madeTree 
 
/////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// 
open System.Windows.Forms    
open System.Drawing   
 
let tnR = [ 
           ("INT","int"); 
           ("COMMA","\,"); 
           ("EQ","\="); 
           ("EX","\!"); 
           ("PLUS","\+"); 
           ("MINUS","\-"); 
           ("MUL","\*"); 
           ("DIV","\/"); 
           ("LPAR","\("); 
           ("RPAR","\)"); 
           ("NUM","\d+"); 
           ("SEMI","\;"); 
           ("ID","[a-z][a-z0-9]*") 
           ] 
 
let grammersStrLst = 
   ["1:Program = DeclStmts Stmts"; //ここが変わった 
    "2:Expression = Expression1 Term Expression2"; 
    "3:UnaryOp = PLUS"; 
    "4:UnaryOp = MINUS"; 
    "5:Expression1 = EPSILON"; 
    "6:Expression1 = UnaryOp"; 
    "7:Expression2 = EPSILON"; 
    "8:AddOp = PLUS"; 
    "9:AddOp = MINUS"; 
    "10:Expression2 = AddOp Expression3 Term Expression2"; 
    "11:Expression3 = EPSILON"; 
    "12:Expression3 = UnaryOp"; 
    "13:Term = Factor Term1"; 
    "14:Term1 = EPSILON"; 
    "15:MulOp = MUL"; 
    "16:MulOp = DIV"; 
    "17:Term1 = MulOp Factor Term1"; 
    "18:Factor = NUM"; 
    "19:Factor = LPAR Expression RPAR" 
    //ここ以降変化 
    "20:Factor = ID"; 
    "21:DeclStmts = DeclStmt SEMI DeclStmts2"; 
    "22:DeclStmts2  = EPSILON"; 
    "23:DeclStmts2  = DeclStmts"; 
    "24:DeclStmt = INT VarDefs"; 
    "25:VarDefs = ID EQ NUM VarDefs2"; 
    "26:VarDefs2 = COMMA ID EQ NUM VarDefs2"; 
    "27:VarDefs2 = EPSILON"; 
    "28:Stmts = EPSILON"; 
    "29:Stmts = PrintStmt SEMI Stmts"; 
    "30:PrintStmt = EX VarRefs"; 
    "31:VarRefs = Expression VarRefs2"; 
    "32:VarRefs2 = COMMA Expression VarRefs2"; 
    "33:VarRefs2 = EPSILON"; 
    "34:Stmts = AssignStmt SEMI Stmts"; 
    "35:AssignStmt = ID EQ Expression " 
      ] 
 
 
let tp = new LL1TokenizeAndParse (tnR,grammersStrLst) 
 
/////////////////////////////////////////////////////////////////////////////////////////// 
 
let mutable GL_stkArr:int array = Array.zeroCreate 100 
let mutable GL_sp:int  = -1 
let mutable GL_memArr:int array = Array.zeroCreate 100 
let mutable GL_varCnt = 0 
let mutable GL_symbolDic = new System.Collections.Generic.Dictionary<string,int>() 
 
let mutable dispFunc = (fun (x:int) -> ())  
 
let rec makeSymbolTB (eb:embodyST) = 
    match eb with 
    //0: Z = Program EOF 
    |Node(0,_,proNd::_)      
        ->  GL_stkArr <- Array.zeroCreate 100  
            GL_sp <- -1                        
            GL_memArr <- Array.zeroCreate 100 
            GL_varCnt <- 0 
            GL_symbolDic <- new System.Collections.Generic.Dictionary<string,int>() 
            makeSymbolTB  proNd  
    //1:Program = DeclStmts Stmts 
    |Node(1,_,decStmsNd::_) 
        -> makeSymbolTB  decStmsNd  
    //21:DeclStmts = DeclStmt SEMI DeclStmts2 
    |Node(21,_,declStmNd::_::declStm2Nd::_) 
        -> makeSymbolTB declStmNd  
           makeSymbolTB declStm2Nd  
    //22:DeclStmts2  = EPSILON 
    |Node(22,_,_) 
        -> () 
    //23:DeclStmts2  = DeclStmts 
    |Node(23,_,declStmtsNd::_) 
        -> makeSymbolTB declStmtsNd 
    //24:DeclStmt = INT VarDefs 
    |Node(24,_,_::varDefsNd::_) 
        -> makeSymbolTB varDefsNd 
    //25:VarDefs = ID EQ NUM VarDefs2 
    |Node(25,_,Leaf(id_tk)::_::Leaf(num_tk)::varDefs2Nd::_) 
        ->GL_symbolDic.Add(id_tk.Img,GL_varCnt) //例えばx -> 1となる(1はアドレス=配列の添え字) 
                                          //2重登録はここでエラー  
          GL_memArr.[GL_varCnt] <- System.Int32.Parse(num_tk.Img) //memへの初期値登録                                  
          GL_varCnt <- GL_varCnt + 1 
          makeSymbolTB varDefs2Nd 
    //26:VarDefs2 = COMMA ID EQ NUM VarDefs2 
    |Node(26,_,_::Leaf(id_tk)::_::Leaf(num_tk)::varDefs2Nd::_) 
         ->GL_symbolDic.Add(id_tk.Img,GL_varCnt)  
           GL_memArr.[GL_varCnt] <- System.Int32.Parse(num_tk.Img) //memへの初期値登録    
           GL_varCnt <- GL_varCnt + 1 
           makeSymbolTB varDefs2Nd 
        
    //27:VarDefs2 = EPSILON 
    |Node(27,_,_)  
        -> () 
    |_ -> () 
 
 
//expressionNodeを評価したときには、評価前よりスタックポインタが一つ増えその場所にexpessionNodeを評価した値が置かれるようにする 
//termNodeを評価したときには、評価前よりスタックポインタが一つ増えその場所にtermを評価した値が置かれるようにする 
//................... 
 
let rec eVal0  (eb:embodyST)  = 
    match eb with 
    //0: Z = Program EOF 
    |Node(0,_,pro::_)      
        ->  eVal0 pro  
    //1:Program = DeclStmts Stmts 
    |Node(1,_,_::stmtsNd::_)  
        -> eVal0 stmtsNd 
    //2:Expression = Expression1 Term Expression2 
    //3:UnaryOp = PLUS 
    //4:UnaryOp = MINUS 
    //5:Expression1 = EPSILON 
    //6:Expression1 = UnaryOp 
    |Node(2,_,exp1Nd::termNd::exp2Nd::_)  
        -> eVal0 termNd  //これでtermNdの評価値がスタックの一番上に置かれスタックポインタはそれを指している 
           match exp1Nd with 
               |Node(5,_,_) -> ()  
               |Node(6,_,Node(3,_,_)::_)  -> () 
               |Node(6,_,Node(4,_,_)::_)  -> GL_stkArr.[GL_sp] <- (-1) * GL_stkArr.[GL_sp] 
               |_ -> failwith "never occruable error"  
           eVal0 exp2Nd  //これが呼ばれるときにはExpression1 Termの結果(Termの値に符号を考え合わせたもの)が一番上に残っている 
    //7:Expression2 = EPSILON 
    |Node(7,_,EPS_Leaf(_)::_)  
        -> ()  
    //8:AddOp = PLUS 
    //9:AddOp = MINUS 
    //10:Expression2 = AddOp Expression3 Term Expression2 
    //11:Expression3 = EPSILON 
    //12:Expression3 = UnaryOp 
    |Node(10,_,addOpNd::exp3Nd::termNd::exp2Nd::_)  
        ->eVal0 termNd //先にExperrion3Nodeを評価してスタックの一番上に置いておく、(その下にはそれより前の評価値が置かれている) 
          match exp3Nd with //exp3Nodeによる符号変化を反映させておく 
               |Node(11,_,_) -> ()  
               |Node(12,_,Node(3,_,_)::_)  -> () 
               |Node(12,_,Node(4,_,_)::_)  -> GL_stkArr.[GL_sp] <- (-1) * GL_stkArr.[GL_sp] 
               |_ -> failwith "never occruable error"  
          match addOpNd with 
            |Node(8,_,_)  -> GL_stkArr.[GL_sp - 1] <- GL_stkArr.[GL_sp - 1] + GL_stkArr.[GL_sp]; GL_sp <- (GL_sp - 1) 
            |Node(9,_,_)  -> GL_stkArr.[GL_sp - 1] <- GL_stkArr.[GL_sp - 1] - GL_stkArr.[GL_sp]; GL_sp <- (GL_sp - 1) 
            |_ -> failwith "never occruable error"  
          eVal0 exp2Nd   
    //13:Term = Factor Term1 
    |Node(13,_,factorNd::term1Nd::_)  
        ->eVal0 factorNd 
          eVal0 term1Nd //これが呼ばれるときにはFactorNodeの評価が一番上に残っている 
    //14:Term1 = EPSILON 
    |Node(14,_,_)  
        -> () 
    //15:MulOp = MUL 
    //16:MulOp = DIV 
    //17:Term1 = MulOp Factor Term1 
    |Node(17,_,mulOpNd::factorNd::term1Nd::_)  
        ->eVal0 factorNd 
          match mulOpNd with 
            |Node(15,_,_)  -> GL_stkArr.[GL_sp - 1] <- GL_stkArr.[GL_sp - 1] * GL_stkArr.[GL_sp]; GL_sp <- (GL_sp - 1) 
            |Node(16,_,_)  -> GL_stkArr.[GL_sp - 1] <- GL_stkArr.[GL_sp - 1] / GL_stkArr.[GL_sp]; GL_sp <- (GL_sp - 1) 
            |_ -> failwith "never occruable error"  
          eVal0 term1Nd 
    //18:Factor = NUM 
    |Node(18,_,Leaf(tk)::_) 
        -> let num = System.Int32.Parse(tk.Img) 
           GL_sp <- GL_sp + 1;GL_stkArr.[GL_sp] <- num 
    //19:Factor = LPAR Expression RPAR 
    |Node(19,_,_::expNode::_::_)  
        -> eVal0 expNode 
    //20:Factor = ID 
    |Node(20,_,Leaf(tk)::_) 
        -> let adr =  GL_symbolDic.[tk.Img] 
           let num = GL_memArr.[adr] 
           GL_sp <- GL_sp + 1;GL_stkArr.[GL_sp] <- num 
    //29:Stmts = PrintStmt SEMI Stmts 
    |Node(29,_,printStmtNd::_::stmtsNd::_) 
        ->eVal0 printStmtNd 
          eVal0 stmtsNd 
    //30:PrintStmt = EX VarRefs 
    |Node(30,_,_::varRefsNd::_) 
        ->eVal0 varRefsNd 
    //31:VarRefs = Expression VarRefs2 
    |Node(31,_,expNd::varRefs2Nd::_) 
        ->eVal0 expNd //これでスタックに評価値がのる 
          dispFunc GL_stkArr.[GL_sp] 
          GL_sp <- (GL_sp - 1) 
          eVal0 varRefs2Nd 
    //32:VarRefs2 = COMMA Expression VarRefs2 
    |Node(32,_,_::expNd::varRefs2Nd::_) 
        ->eVal0 expNd //これでスタックに評価値がのる 
          dispFunc GL_stkArr.[GL_sp] 
          GL_sp <- (GL_sp - 1) 
          eVal0 varRefs2Nd 
    //34:Stmts = AssignStmt SEMI Stmts 
    |Node(34,_,assStmtNd::_::stmtsNd::_) 
        ->eVal0 assStmtNd 
          eVal0 stmtsNd 
    //35:AssignStmt = ID EQ Expression  
    |Node(35,_,Leaf(tk)::_::expNd::_) 
        -> eVal0 expNd //これでスタックに評価値がのる 
           let adr =  GL_symbolDic.[tk.Img] 
           GL_memArr.[adr] <- GL_stkArr.[GL_sp] 
           GL_sp <- GL_sp - 1 
     
    //21:DeclStmts = DeclStmt SEMI DeclStmts2 
    //22:DeclStmts2  = EPSILON 
    //23:DeclStmts2  = DeclStmts 
    //24:DeclStmt = INT VarDefs 
    //25:VarDefs = ID EQ NUM VarDefs2 
    //26:VarDefs2 = COMMA ID EQ NUM VarDefs2 
    //27:VarDefs2 = EPSILON 
    //28:Stmts = EPSILON 
    //33:VarRefs2 = EPSILON 
    |_ -> ()  
 
 
let f2c x = x :> System.Windows.Forms.Control  
let label5= new Label(AutoSize = true,Location = new Point(21, 9),Name = "label5",Size = new Size(33, 12),TabIndex = 31,Text = "ソース") 
let source_tb= new TextBox(Location = new Point(23, 50),Multiline = true,Name = "source_tb",ScrollBars = ScrollBars.Both,Size = new Size(258, 577),TabIndex = 30) 
let makeTree_btn= new Button(Location = new Point(403, 12),Name = "makeTree_btn",Size = new Size(164, 23),TabIndex = 53,Text = "構文木化",UseVisualStyleBackColor = true) 
let ebTree_tl= new TextBox(Location = new Point(296, 50),Multiline = true,Name = "ebTree_tl",ScrollBars = ScrollBars.Both,Size = new Size(395, 577),TabIndex = 52,WordWrap = false) 
let label6= new Label(AutoSize = true,Location = new Point(27, 643),Name = "label6",Size = new Size(32, 12),TabIndex = 55,Text = "エラー") 
let error_tb= new TextBox(Location = new Point(23, 668),Multiline = true,Name = "error_tb",ScrollBars = ScrollBars.Both,Size = new Size(925, 36),TabIndex = 54) 
let result_tb= new TextBox(Location = new Point(710, 50),Multiline = true,Name = "result_tb",ScrollBars = ScrollBars.Both,Size = new Size(238, 558),TabIndex = 1) 
let run_btn= new Button(Location = new Point(734, 12),Name = "run_btn",Size = new Size(176, 23),TabIndex = 0,Text = "Run",UseVisualStyleBackColor = true) 
let sourceSave_btn= new Button(Location = new Point(177, 12),Name = "sourceSave_btn",Size = new Size(101, 23),TabIndex = 57,Text = "ソースのSave",UseVisualStyleBackColor = true) 
let sourceLoad_btn= new Button(Location = new Point(70, 12),Name = "sourceLoad_btn",Size = new Size(101, 23),TabIndex = 56,Text = "ソースのLoad",UseVisualStyleBackColor = true) 
let mainForm= new Form(AutoScaleDimensions = new SizeF(6.0f, 12.0f),AutoScaleMode = AutoScaleMode.Font,ClientSize = new Size(995, 722),Name = "mainForm",Text = "LL1IDPlusSample") 
[ f2c sourceSave_btn; f2c sourceLoad_btn; f2c result_tb; f2c run_btn; f2c label6; f2c error_tb; f2c makeTree_btn; f2c ebTree_tl; f2c label5; f2c source_tb] |> List.iter(fun cnt -> mainForm.Controls.Add cnt) 
 
dispFunc <- (fun x -> result_tb.Text <- result_tb.Text + (sprintf "%d\r\n" x))  
 
 
makeTree_btn.Click.Add 
    (fun _ ->  
        error_tb.Text <- "" 
        result_tb.Text <- "" 
        try 
            let sourceTextLst = source_tb.Text.Replace("\r\n", "\n").Split([|'\n'|]) |> List.ofArray 
            let ebTree = tp.GetEBASTtree sourceTextLst 
            ebTree_tl.Text <- ebTree.dispStr 4 
        with 
          | ex -> error_tb.Text <- ex.Message  
    ) 
             
run_btn.Click.Add 
    (fun _ -> 
        try 
            error_tb.Text <- "" 
            result_tb.Text <- "" 
            let sourceTextLst = source_tb.Text.Replace("\r\n", "\n").Split([|'\n'|]) |> List.ofArray 
            let ebTree = tp.GetEBASTtree sourceTextLst 
            makeSymbolTB ebTree 
            eVal0 ebTree 
        with 
          | ex -> error_tb.Text <- ex.Message  
    ) 
 
 
sourceLoad_btn.Click.Add 
    (fun _ -> error_tb.Text <- ""  
              try  
                let ofd = new OpenFileDialog(Filter = "srcファイル(*.src)|*.src|すべてのファイル(*.*)|*.*")  
                if(ofd.ShowDialog() = DialogResult.OK) then  
                    use sr = new System.IO.StreamReader(ofd.FileName)  
                    source_tb.Text <- sr.ReadToEnd()  
              with  
                | ex -> error_tb.Text <- ex.Message  
    )  
 
sourceSave_btn.Click.Add  
    (fun _ -> error_tb.Text <- ""   
              try  
                let sfd = new SaveFileDialog(Filter = "srcファイル(*.src)|*.src|すべてのファイル(*.*)|*.*",  
                                              RestoreDirectory = true)  
                if (sfd.ShowDialog() = DialogResult.OK) then  
                    use sw = new System.IO.StreamWriter(sfd.FileName)  
                    sw.Write(source_tb.Text)  
              with  
                | ex -> error_tb.Text <- ex.Message  
                  
    )  
 
 
[<STAThread()>]   
do Application.Run(mainForm) 
スポンサーサイト

テーマ : プログラミング
ジャンル : コンピュータ

コメントの投稿

非公開コメント

プロフィール

T GYOUTEN

Author:T GYOUTEN
F#と英単語とフリーソフトと読書に興味があります。
ホームページでフリーソフトも公開しています。どぞ御贔屓に。

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
フリーエリア
フリーエリア
blogram投票ボタン
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。