DynamickýPřekladPrakticky

Z Denik

Seminář na MatFyz pro letní semestr 2019, který pokračuje na jaře 2021.

Obsah 1 Dynamický Překlad Prakticky 2 Osnova přednášek 2.1 I. Představujeme nejrychlejší univerzální virtuální stroj 2.2 II. Jak fungují moderní překladače? 2.3 III. Talk 2 Compiler: Directives 2.4 IV. Talk 2 Compiler: Assumptions & Caches 2.5 V. Talk 2 Compiler: Nodes & Specializations 2.6 VI. Memory Management 2.7 VII. Graal Self 2.8 VIII. JIT vs. AOT překlad 2.9 IX. Interop mezi jazyky 2.10 X. Tools & Instruments 2.11 XI. Static Languages with LLVM 2.12 XII. Writing bytecode interpreter 2.13 XIII. Real Language Problems 2.14 Appendix A: Contributing To Open Source

Dynamický Překlad Prakticky

Jaký je nejrychlejší programovací jazyk? Může být JavaScript rychlejší než Céčko? Existuje jednoduchý způsob, jak si napsat jazyk, který bude opravdu rychlý? Musíme opravdu psát všechny knihovny znovu a znovu? Jak se implementuje debugger? A jak profiler? Kolik to dá práce? To jsou otázky, na které v průběhu semináře budeme hledat a nalezneme odpovědi.

Budeme používat GraalVM, což je nejrychlejší virtuální stroj, který shodou okolností pomáhá vyvíjet tým z pražské pobočky OracleLabs. Díky tomu to bude seminář praktický, přibližující nejnovější trendy ve vývoji virtuálních strojů. Žádná otázka nebude tabu - o GraalVM víme úplně vše!

Cílem bude ukázat si na výhody a zádrhele dynamického překladu. Pochopit, co překladač ve skutečnosti dělá a naučit se dorozumět se s ním - tedy programovat tak, abyste z dynamického překladu v GraalVM získali co nejvíce. Máte-li vlastní programovací jazyk, vezměte si jej s sebou - uděláme jej rychlejší!

A pokud to někoho bude opravdu bavit, tak může pokračovat v létě při studijní stáži v OracleLabs v Jinonicích.

Osnova přednášek

I. Představujeme nejrychlejší univerzální virtuální stroj

Záznam úvodní přednášky. Začínáme historií NetBeans, protože se k přednášce na MatFyzu určitě hodí. Nemůže chybět zmínka o návrhu API a mé knížce Practical API Design, aby bylo zřejmé, proč se tomuto kurzu říká Practical Dynamic Compilation! Následuje takové to tradiční povídání o tom, co GraalVM umí a jak je snadné a jednoduché to nainstalovat (pomocí utilitky gu), použít a jak strašně rychle pak lze počítat Eratesthénovo síto v libovolném jazyce. Není to nic převratného, ale pokud jste to ještě někdo neviděl, tak je to vhodná upoutávka k záznamům dalších lekcí.

Je naše GraalVM implementace Ruby 10-krát rychlejší než jakákoli jiná? Jak dlouho může trvat vypsat všechna prvočísla? Co je vstupem a co je výstupem Graal překladače? Jakým nástrojem můžeme zkoumat, co Graal překladač vlastně uvnitř dělá? Jak napsat vlastní jazyk? Jak vložit implementaci existujícího dynamického jazyka do vlastního Java programu? Dá se to potom také ladit? V NetBeans? Ve Chrome Dev Tools? Má cenu psát interpretr Céčka?

II. Jak fungují moderní překladače?

V záznamu druhé přednášky si nejprve dokončíme úvod z minula a povíme si, jak se zbavit Javovské virtuální mašiny! Dynamický překlad je skvělý, ale vyžaduje spoustu metadat. Naštěstí můžeme GraalVM využít na překlad Java kódu do EXáče!

Od 35-té minuty pak následuje skutečné povídání o moderních překladačích: Jak vlastně překládat Javu, Céčko a jiné staticky typované jazyky? Než se dostaneme k překladu dynamických jazyků, tak bychom si měli osvěžit, co to vlastně jsou překladače a jak fungují. Výborně nám k tomu poslouží přednáška kolegy Chrise Seatona.

• What is a JIT compiler?
• Why write a JIT compiler in Java?
• Setting up Graal
• The JVM compiler interface
• The Graal graph
• From bytecode to machine code
  • The bytecode parser and graph builder
  • Emitting assembly
  • Assembly out
• Optimisations
  • Canonicalisation
  • Global value numbering
  • Lock coarsening
• Practicalities
  • Register allocation
  • Scheduling
• What can you use Graal for?
  • A final-tier compiler
  • Your own specific optimisations
  • Ahead-of-time compilation
  • Truffle
• Summary

III. Talk 2 Compiler: Directives

Walk-thru Talk 2 Compiler demo project:

• Use `CallTarget` & `RootNode` to enter partial evaluation mode
• Use `mvn test -Pigv` to send graphs to IGV
• Install maven modules to IGV to show connection between graph and source
• Follow the README:
  • `warmWelcome`
  • `transferToInterpreter`
  • Rewrite to use profiles
• Show how to write own language

IV. Talk 2 Compiler: Assumptions & Caches

• Explain assumptions
  • `warmWelcome` with assumptions
• ExplodeLoop example
  • `Chain`

V. Talk 2 Compiler: Nodes & Specializations

• Interpreter for reading array elements
  • Name the method `executeCompute` to work better with DSL
  • Let it work with `int` and `double`
• Rewrite using specializations

VI. Memory Management

• Garbage Collector
• VirtualFrame
  • Descriptor
• DynamicObject
  • Shape

VII. Graal Self

• Let's look at real language
• PE parser
• Interop

VIII. JIT vs. AOT překlad

• Go, Java, go!
• jargraal vs. libgraal
• Using native-image to implement `native` methods

IX. Interop mezi jazyky

• Messages. "Mounting" trees.
• Exposing data structures to languages

X. Tools & Instruments

• Making your language "toolable"
  • Source section
  • Tags
  • Show how to debug in NetBeans
• Writing an instrument
  • Debugger, profiler, code coverage, language server protocol, NetBeans
• node.js
  • Mixing Java and JavaScript & co.

XI. Static Languages with LLVM

• Sulong - interpret C, Rust, atd.
• Truffle NFI

XII. Writing bytecode interpreter

• Espresso - Java interpreter
• Sulong - bitcode interpreter

XIII. Real Language Problems

• implementace FFI jazyku jako Ruby/Python/R
• yield in JavaScriptu
• lazy evaluation in R

Appendix A: Contributing To Open Source

• Overview of the repositories
• Python, JavaScriptem, Ruby, FastR, Espresso
• mx tooling
• Signing OCA

https://github.com/jtulach/bf https://www.youtube.com/watch?v=FJY96_6Y3a4