RustでJSONパーサーをフルスクラッチで実装する - Qiita
この記事はRust Advent Calendar 2021 カレンダー2の1日目の記事です。 はじめに エンジニアは一度はJSONパーサーをフルスクラッチで実装したほうが良いという天啓を受け、RFC 8259を読みつつRustでJSONパーサーを実装してみました。パーサーの実装は面白く勉強になり満足しましたが折角なのでhands-on形式の記事にしようと思いこの記事を書きました。 Rustの基本的な文法が分かる方向けに記事を書きましたが、これからRustを勉強してみたい方にもぜひ挑戦してほしいです。 複雑な機能は使っていないので、分からない文法や標準ライブラリは公式ドキュメントを読めば十分補完できると思います。 The Rust Programming Language 日本語版 Rust by Example 日本語版 monkey-json 本記事ではRustでJSONパーサー(mo
Darkdown
OCaml で実装する演算子の定義ができる組み込みの Result 型があるparser の失敗を検知する必要がある引数の適用がやりやすい俺は Haskell が書けない Parser の定義type input = { text : string; pos : int } type parser_t = input -> input * ('a, string) result; 入力 を受け取り、消費しなかった入力と、パース結果を返す。 消費しなかった入力を返すのは、後続の parser に渡すため。 例: 最小限のパーサー 文字列の先頭一文字をパースする。 let get_char = function | [] -> None | c::cs -> Some (c, cs) FYI: https://zehnpaard.hatenablog.com/entry/2019/07/05/
FParsec の使い方メモ - 1日9時間寝たい
はじめに FParsec 結果 数値の parse 空白の parse 文字列の parse 足し算の parse 足し算の parse (複数回) 実行手順 はじめに この問題 を FParsec で解いたので使い方をメモ。 問題概要としては 1 plus 2 plus 3 plus 4 のような入力から 10 を得たい、というもの。 FParsec F# のパーサコンビネータライブラリです。「string を parse する」「integer を parse する」などの部品が組み合わせやすい形で用意されていて、いちから自分で再帰下降するより (慣れれば) 速くパーサを作れます。 日本語の資料では http://zecl.hatenablog.com/entry/20110213/p1 https://bleis-tift.hatenablog.com/entry/json-pars
Monadic Parsing in F#
This article describes how to write parsers using monadic combinators in F#. Introduction This article is a short tutorial on how to write extensible recursive descent parsers with no mutable state using monads in F#. The parsers that are built using the techniques described here are able to accept ambiguous grammars, and have arbitrary length lookahead. These LL(*) (Parr 2007) parsers are not lim
Quick and Dirty Guide to Monadic Parsers and Angstrom
Edit Quick and Dirty Guide to Monadic Parsers and Angstrom Author: Metin Akat @loxs Review: Ivan Gotovchits @ivg Abstract This tutorial aims to give you abilities to write parsers quickly for your daily tasks. It’s not a formal or academic explanation of parsers, grammars, monads etc. On the contrary, it aims to be as informal as possible and to have as little requirements for previous knowledge a
LR(1)パーサジェネレータを自作して構文解析をする 第1回:かんたん構文解析入門 | わたしろぐ
LR(1)パーサジェネレータを自作して構文解析をする 第1回:かんたん構文解析入門 2016-12-22 03:03:09 Category: dev Tag: parsing parser generator parser lexer この記事はKobe University Advent Calendar 2016の21日の記事です。また遅刻か。 なお私は当該大学の学部2年(2016年12月現在)です。 構文解析ができるプログラマはちょっとかっこいいですよね。 「構文解析？ああ、できますよ」とか言って自分のスキルを自慢できそうな印象があります。 (ほぼ)フルスクラッチでTypeScriptによるLR(1)パーサジェネレータを実装した(ついでにLALR(1)パーサも作れる)ので、これを完成させるまでの流れを紹介していこうと思います。 今回は構文解析自体の入門編となります。 自作したパーサ
FParsec Documentation
FParsec’s features include: support for context‐sensitive, infinite look‐ahead grammars, automatically generated, highly readable error messages, Unicode support, efficient support for very large files, an embeddable, runtime‐configurable operator‐precedence parser component, a simple, efficient and easily extensible API, an implementation thoroughly optimized for performance, comprehensive docume
combine: マクロのいらないRustのパーサーコンビネーター - 簡潔なQ
はじめに Rustには有名なnomというパーサーコンビネーターライブラリがあるが、せっかく高級な型システムと最適化があるのにマクロで何とかしようとするのは勿体無いと思うので、マクロに深く依存しないcombineを使ってみた。 combineの主な特徴 parsec リスペクトのパーサーコンビネーター コンビネーターはマクロではなく、 Parser traitを実装する値で表す バイトストリーム、文字(Unicodeコードポイント)ストリーム、トークンストリームの全てに対応 メモリ上の文字列だけではなく、入力ストリームからの直接のパースにも対応 まだ計測はしていないが、 Box を多用していたりはしないので、速度的に大きく遅れをとるようなことはないのではないかと思う。 以下、parsecについて知っていたほうが読みやすい構成になっているので、必要ならparsecの資料を探して読むといいかもし
パーサコンビネータで構文解析をより身近なものにする
こんにちは、広告システム開発部の菅原です。 今回は構文解析のお話です。構文解析は、コンパイラ、自然言語処理（テキストマイニング）、AST（抽象構文木）、AltJS（Alternatives to Javascript） などのベースとなる重要な技術の一つです。本記事では、実例としてコンパイラを交えて説明しつつ、パーサコンビネータを使って簡単に構文解析を行えることを紹介していきます。 構文解析が使われている技術について 文字列が関わる様々な技術の根底に、構文解析は関与しています。構文解析がどのように関わっているか、その実例としてコンパイラの仕組みを簡単に見ていきます。 コンパイラ（Compiler）とは、人間が理解しやすい高級言語で記述されたプログラムを、ハードウェア寄りの低級言語（機械語もしくは中間言語）に変換するプログラム1です。 一言で「変換」と表記しましたが、このプロセスは、大きく分
gojqのパーサーを書き直しました - プログラムモグモグ
jqはJSONを絞り込むツールですが、実はれっきとしたプログラミング言語です。 算術演算子、論理演算子、分岐構文、try・catch、そして関数定義があり、ループは再帰関数で実装します。 単に .foo とか .[0] とかでJSONを辿るだけのツールだと思われている方は、builtin関数の定義を見ていただくと良いかと思います。 selectやmapのように、よく使われる関数でさえ内部実装になっていない (Cで書かれていない) のは面白いですね。 jqのクエリを思ったように書けないという経験から、jqをより深く知るためにGo言語で再実装したのがgojqです。 去年の4月から開発を始め、8月にブログ記事を書きました。 jqのほぼすべての機能を実装しており、pure Goで書かれているのでGo言語のツールに簡単に組み込むことができます。 この記事公開以降も開発を続けています。 --arg,
Parsec を使おう | tnomuraのブログ
Haskell の学習を始めて再帰的定義とIOモナドの壁を乗り越え、とりあえずHaskell のプログラムを作れるようになった新米 Haskeller が次に感じるのはどんなことだろうか。 それは、Haskell の標準環境である Prelude ではあまりにも文字列処理の機能が貧弱だということだ。 lines や unlines のような便利な関数はあるものの、文字列のパターンマッチの機能がほとんどない。Ruby や Perl から 正規表現の機能がなくなったらどうだろうか、これらの言語を使おうという意欲が半減するのは間違いない。Haskell にはその正規表現の関数がないのだ。 普通のプログラマにとって、素数やフィボナッチ数列がどんなに簡単に記述できても、あまりメリットは感じられない。普通のプログラマの抱えている問題は、ほとんどが文字列処理の問題だからだ。たとえば、書籍のリストから I
Planck という monadic parser combinator を公開しました - camlspotter’s blog
Planck: A Small Parser Combinator Library for OCaml I have released Planck, a small monadic parser combinators for OCaml. It includes a proof of implementation: OCaml syntax lexer and a parser which create 100% identical AST as the original OCaml's lex+yacc, and available at https://bitbucket.org/camlspotter/planck . http://camlspotter.blogspot.com/2011/05/planck-small-parser-combinator-library.ht
モナディックなパーザーコンビネータ作ってみた - memo-mode
タイトル通りで作ってみたました． もともと研究で違うことやってたはずなのに目的を見失ってなんか面白そうだしこれならゼミで話しても怒られなさそうという考えからこの頃ずっと勉強してた． OCamlで実装しようかHaskellで実装しようか迷っててどっちでも良かったんだけど最終的にはHaskellで書いた． 最初はOCamlの勉強も少ししてて、とにかく本を買いたくなかったので以下のページを読んでた． 99 problems – OCaml http://http://www.geocities.jp/m_hiroi/func/ocaml.html けど素直にHaskellでやったほうが楽そうという気持ちになり途中からHaskellに切り替えた． Haskellの文法は雰囲気がわかる程度だったのでなんとかなるだろうと思い特に何もしなかった． モナドは「モナドは単なる自己関手の圏におけるモノイド対象
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Parsing in F# with FParsec • Oleksii Holub
Masaki Hara on Twitter: "ところで最強のパーサーコンビネーターを考えた結果、Parsecが4種類の戻り値を持つ理由を完璧に理解した"
https://www.jstage.jst.go.jp/article/jssst/29/4/29_4_258/_pdf
GitHub - prataprc/goparsec: Parser combinator in Go. If there are any cross platform issues or backward compatibility issues, please reach out.