Main

TIL - Today I Learn

Who Am I ?

๐Ÿ˜€ ๊น€ ์ƒ์šฑ, Lawrence, Sangwook Kim, AI Engineer

๐Ÿ“ฌ lswkim322@gmail.com

๐Ÿ’ป https://github.com/lswkim

๐Ÿ“• Python, Pytorch, NLP, java, MySQL, Spring Boot

์ˆ˜ํ•™๊ณผ๋ฅผ ์กธ์—…ํ•˜๊ณ  ์ž๋ฐ” ๊ฐœ๋ฐœ์ž๋ฅผ ๊ฑฐ์ณ AI ์—”์ง€๋‹ˆ์–ด์˜ ๊ฟˆ์„ ํ–ฅํ•ด์„œ ๐Ÿ›ซ

๐ŸšฒHistory of my life

Since

Title

Detail

22.03 ~ (ํ˜„์žฌ)

๋ฉ”๊ฐ€์กดํด๋ผ์šฐ๋“œ AI/MLํŒ€ SA

AWS Cloud ๋ฐAI/ML SA ์—…๋ฌด ์ˆ˜ํ–‰

21.08 ~ 21.12

๋ถ€์ŠคํŠธ์บ ํ”„ - AI Tech 2๊ธฐ ๊ณผ์ •

18.03 ~ 21.07

ํ•œ์ผ๋„คํŠธ์›์Šค DSC์‚ฌ์—…๋ถ€ R&DํŒŒํŠธ (์ฃผ์ž„)

์†”๋ฃจ์…˜ ๊ฐœ๋ฐœ ๋ฐ ์œ ์ง€๋ณด์ˆ˜

17.11 ~ 18.03

๋น„ํŠธ์บ ํ”„ - ์ž๋ฐ”๊ฐœ๋ฐœ์ž ๊ณ ๊ธ‰๊ณผ์ •

16.12 ~ 17.06

์œ ํด๋ฆญ UC์ง€์›ํŒ€ (์‚ฌ์›)

์†”๋ฃจ์…˜ SE ์ง€์›

16.07 ~ 16.10

SL์•„์นด๋ฐ๋ฏธ - ์ž๋ฐ”๋ฅผ ํ™œ์šฉํ•œ ๋น…๋ฐ์ดํ„ฐ ๊ณผ์ •

10.03 ~ 16.02

์—ฐ์„ธ๋Œ€ํ•™๊ต(์›์ฃผ) ์ˆ˜ํ•™๊ณผ

3.55 / 4.3

๐Ÿ“– Project

๋ผ์ด๋ธŒ์ปค๋จธ์Šค ๋งค๋‹ˆ์ง€๋จผํŠธ ์†”๋ฃจ์…˜ - ๐Ÿ“† 2021.11.29 ~ 2021.12.17 (3์ฃผ)

๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ์„ ํ™œ์šฉํ•˜์—ฌ ํ˜์˜ค๋ฐœ์–ธ ๊ฐ์ง€๋ฅผ ํ†ตํ•œ ๋งˆ์Šคํ‚น๊ณผ ์‹œ์ฒญ์ž ๋ฐ˜์‘ ๋ถ„์„์„ ํ†ตํ•œ ์‹ค์‹œ๊ฐ„ ํ†ต๊ณ„์ž๋ฃŒ ์ œ๊ณต ์„œ๋น„์Šค (๋ถ€์ŠคํŠธ์บ ํ”„ ์ตœ์ข… ํ”„๋กœ์ ํŠธ)

๐ŸŒŸ์ตœ์ข… ํ”„๋กœ์ ํŠธ ๊ธฐํšํ”„๋กœ์ ํŠธ ์ง„ํ–‰
  • ์ฃผ์š”๋‚ด์šฉ

    • ํ•™์Šต ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘ (๊ณต๊ณต๋ฐ์ดํ„ฐ + ๋ผ์ด๋ธŒ์ปค๋จธ์Šค ํฌ๋กค๋ง)

    • KcELECTRA ๋ฐฑ๋ณธ๋ชจ๋ธ์„ ํ™œ์šฉํ•œ ์š•์„ค๋ถ„๋ฅ˜ ๋ชจ๋ธ ๊ตฌํ˜„ ๋ฐ ์„ฑ๋Šฅ ๊ฐœ์„ 

    • KoELECTRA ๋ฐฑ๋ณธ๋ชจ๋ธ์„ ํ™œ์šฉํ•œ ๊ฐ์„ฑ๋ถ„์„ ๋ชจ๋ธ ๊ตฌํ˜„ ๋ฐ ์„ฑ๋Šฅ ๊ฐœ์„ 

    • Active Learning์„ ํ†ตํ•œ ๋„๋ฉ”์ธ ์ตœ์ ํ™” ์ž‘์—…

    • FastAPI๋ฅผ ์‚ฌ์šฉํ•œ ๋ฐฑ์—”๋“œ ๊ตฌ์„ฑ / ๋ถ€ํŠธ์ŠคํŠธ๋žฉ, HTML5, JS๋ฅผ ํ™œ์šฉํ•œ ํ”„๋ก ํŠธ์•ค๋“œ

  • ์‚ฌ์šฉ๊ธฐ์ˆ : Python, Pytorch, HuggingFace, HTML5, JS, Git, Slack

  • ๋‹ด๋‹น์—ญํ• : ๊ฐ์„ฑ๋ถ„์„ ๋ชจ๋ธ ํ…Œ์ŠคํŠธ, ๋ฐ๋ชจ ์„œ๋น„์Šค ๊ตฌํ˜„

2021 ํ•œ๊ตญ์–ด ์Œ์„ฑ ์ž์—ฐ์–ด ์ธ๊ณต์ง€๋Šฅ ๊ฒฝ์ง„๋Œ€ํšŒ ํ›ˆ๋ฏผ์ •์Œ์— ์Šค๋ฉฐ๋“ค๋‹ค - ๐Ÿ“† 2021.10. ~ 2021.11. (9์ฃผ)

์ฑ„ํŒ…๋Œ€ํ™”์˜ ์ผ๋ถ€๋ถ„์„ ์ž…๋ ฅ์œผ๋กœ ๋ฐ›์•„ ์š”์•ฝ๋œ ๋ฌธ์žฅ์„ ์ƒ์„ฑํ•˜๋Š” ๋ฌธ์ œ์ž…๋‹ˆ๋‹ค. ๋Œ€ํšŒ์ง„ํ–‰์€ ์—ญ๋Ÿ‰ํ‰๊ฐ€ -> ์˜ˆ์„  -> ๋ณธ์„ ์œผ๋กœ ์ด๋ฃจ์–ด์กŒ์œผ๋ฉฐ, ์—ญ๋Ÿ‰ํ‰๊ฐ€๋Š” ๋ฒ•๋ฅ , ๊ธฐ์‚ฌ์— ๋Œ€ํ•œ ์š”์•ฝ๋ฌธ์„ ์ƒ์„ฑํ•˜๋Š” ๋ฌธ์ œ์˜€์œผ๋ฉฐ, ์˜ˆ์„ ๊ณผ ๋ณธ์„ ์€ ๋Œ€ํ™”์š”์•ฝ Task์— ๋ฐ์ดํ„ฐ๊ฐ€ ์ถ”๊ฐ€๋˜์—ˆ์Šต๋‹ˆ๋‹ค.

2021 ์ธ๊ณต์ง€๋Šฅ ๋ฐ์ดํ„ฐ ํ™œ์šฉ ๊ฒฝ์ง„๋Œ€ํšŒ
  • ์ฃผ์š”๋‚ด์šฉ

    • ๋ฐ์ดํ„ฐ EDA, Ai-hub ๋ฐ์ดํ„ฐ์„ค๋ช…์„œ๋ฅผ ์ฐธ๊ณ ํ•œ ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ ์ง„ํ–‰

    • BART ๋ชจ๋ธ์„ ํ™œ์šฉํ•œ Pre-training + Fine-tuning ์ง„ํ–‰

    • ํ™”์ž ํƒœ๊น…, ์ŠคํŽ˜์…œํ† ํฐ ์ถ”๊ฐ€, Beam Search ๊ธฐ๋ฒ•์ ์šฉ

  • ์‚ฌ์šฉ๊ธฐ์ˆ : Python, Pytorch, HunggingFace, Git, Slack

  • ๋‹ด๋‹น์—ญํ• : ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ ์ž‘์—…, ๋ชจ๋ธ Fine-tuning

  • ์ตœ์ข…๊ฒฐ๊ณผ: ๋ณธ์„  7๋“ฑ + ํŠน๋ณ„์ƒ(ํ’ˆ์งˆ๊ฒ€์ฆ์ƒ) ์ˆ˜์ƒ

ODQA(Open-Domain Question Answering) - ๐Ÿ“† 2021.10.11 ~ 2021.11.04 (4์ฃผ)

ODQA์— ์•ž์„œ MRC๋ž€ ์ง€๋ฌธ๊ณผ ์งˆ๋ฌธ์ด ์ฃผ์–ด์กŒ์„ ๋•Œ, ์งˆ๋ฌธ์œผ๋กœ๋ถ€ํ„ฐ ๋‹ต๋ณ€์„ ์ถ”๋ก ํ•˜๋Š” ๋ฌธ์ œ์ž…๋‹ˆ๋‹ค. ODQA๋Š” ์ง€๋ฌธ์ด ์ฃผ์–ด์ง€์ง€ ์•Š๊ณ  ์‚ฌ์ „์— ๊ตฌ์ถ•๋˜์–ด์žˆ๋Š” Knowledge resource์—์„œ ์งˆ๋ฌธ์— ๋Œ€๋‹ตํ•  ์ˆ˜ ์žˆ๋Š” ๋ฌธ์„œ๋ฅผ ์ฐพ์•„ ๋‹ต๋ณ€์„ ์ถ”๋ก ํ•˜๋Š” ๋ฌธ์ œ์ž…๋‹ˆ๋‹ค. (๋Œ€ํšŒ)

2. [NLP] MRC ํ”„๋กœ์ ํŠธ
  • ์ฃผ์š”๋‚ด์šฉ

    • ๋ฐ์ดํ„ฐ ์ฆ๊ฐ•- ์œ„ํ‚คํ”ผ๋””์•„ ๋ฐ์ดํ„ฐ์™€ Pororo Question Generation์„ ํ™œ์šฉ

    • Sparse Embedding(TF-IDF, BM25)์™€ Dense Embedding์„ ํ™œ์šฉํ•œ Retrieval ๋ชจ๋ธ๊ตฌํ˜„

    • RoBERTa-large, BERT-base, KoELECTRA๋ฅผ ํ™œ์šฉํ•œ Reader ๋ชจ๋ธ๊ตฌํ˜„

    • ์•ฝ 40๊ฐœ์˜ ์ถ”๋ก ๊ฒฐ๊ณผ๋ฅผ ํ™œ์šฉํ•œ ํ•˜๋“œ๋ณดํŒ… ์•™์ƒ๋ธ”์„ ํ†ตํ•ด EM Score 8์  ์ƒ์Šน

  • ์‚ฌ์šฉ๊ธฐ์ˆ : Python, Pytorch, HuggingFace, Git, Slack

  • ๋‹ด๋‹น์—ญํ• : Reader๋‹จ BERT๋ชจ๋ธ ํ…Œ์ŠคํŠธ ๋ฐ ๊ฒฐ๊ณผ๋ฌผ ์ˆ˜์ง‘, ๋ฐ์ดํ„ฐ ์ฆ๊ฐ•์ž‘์—…, ์•™์ƒ๋ธ”

  • ์ตœ์ข…๊ฒฐ๊ณผ: EM(68.330) 7/19

๋ฌธ์žฅ ๋‚ด ๊ฐœ์ฒด๊ฐ„ ๊ด€๊ณ„ ์ถ”์ถœ - ๐Ÿ“† 2021.09.27 ~ 2021.10.07 (2์ฃผ)

๊ด€๊ณ„ ์ถ”์ถœ(Relation Extraction)์€ ๋ฌธ์žฅ์˜ ๋‹จ์–ด(Entity)์— ๋Œ€ํ•œ ์†์„ฑ๊ณผ ๊ด€๊ณ„๋ฅผ ์˜ˆ์ธกํ•˜๋Š” ๋ฌธ์ œ์ž…๋‹ˆ๋‹ค. ๋ฌธ์žฅ์ด ์ฃผ์–ด์ง€๊ณ  ๋ฌธ์žฅ๋‚ด์— subject entity์™€ object entity์‚ฌ์ด์˜ ๊ด€๊ณ„๋ฅผ 30๊ฐœ๋กœ ๋ถ„๋ฅ˜๋œ Relation์ค‘์— ์†ํ•˜๋Š” ๊ด€๊ณ„๋ฅผ ์˜ˆ์ธกํ•˜๋Š” ์ธ๊ณต์ง€๋Šฅ ๋งŒ๋“ค๊ธฐ ๋Œ€ํšŒ

1. [NLP] ๋ฌธ์žฅ ๋‚ด ๊ฐœ์ฒด๊ฐ„ ๊ด€๊ณ„ ์ถ”์ถœ
  • ์ฃผ์š”๋‚ด์šฉ

    • ๋ฌธ์žฅ๋‚ด์˜ ๋‹จ์–ด๋“ค ์‚ฌ์ด์˜ ๊ด€๊ณ„๋ฅผ 30๊ฐœ์˜ ํด๋ž˜์Šค๋กœ ๋งคํ•‘ํ•˜๋Š” ๋ถ„๋ฅ˜๋ฌธ์ œ

    • ๋ฐ์ดํ„ฐ ์ฆ๊ฐ• - AEDA, ๋‹จ์–ด์˜ ์†์„ฑ๊ฐ’์— ๋”ฐ๋ผ ๋ฆฌ์ŠคํŠธ๋ฅผ ๊ตฌ์ถ•ํ•˜๊ณ  ๋Œ€์ž…

    • ๋ชจ๋ธ ํ…Œ์ŠคํŠธ๋ฅผ ํ†ตํ•ด RoBERTa-large๋ฅผ ๋ฐฑ๋ณธ๋ชจ๋ธ๋กœ ์„ ์ •

    • ์ŠคํŽ˜์…œํ† ํฐ(Typed Entity marker)๋ฅผ ํ™œ์šฉํ•œ Fine-tuning

    • TAPT(Task Adaptive Pre-training)๊ธฐ๋ฒ• ์‹œ๋„

  • ์‚ฌ์šฉ๊ธฐ์ˆ : Python, Pytorch, HuggingFace, Git, Slack

  • ๋‹ด๋‹น์—ญํ• : ๋ชจ๋ธ ํ…Œ์ŠคํŠธ, ๋ฐ์ดํ„ฐ ์ฆ๊ฐ•์ž‘์—…

๊ณ ๊ฐ์‚ฌ ์ธํ„ฐํŽ˜์ด์Šค ์„œ๋น„์Šค - ๐Ÿ“† 2021.02 ~ 2021.03 (4์ฃผ)

ZIKTO(์Šค๋งˆํŠธ์›Œ์น˜)์™€ ๋ณดํ—˜์‚ฌ ๊ฐ„์˜ ๊ฑธ์Œ ์ˆ˜ ๋ฐ์ดํ„ฐ ์ธํ„ฐํŽ˜์ด์Šค ์„œ๋น„์Šค ๊ตฌ์ถ•

  • ์ฃผ์š”๋‚ด์šฉ

    • ์‹ค์‹œ๊ฐ„ API ํ˜ธ์ถœ ๋ฐ ์กฐํšŒ ํ™ˆํŽ˜์ด์ง€ ๊ตฌ์ถ•

    • ์›”๋ฐฐ์น˜ ๋ฐ์ดํ„ฐ ์ „์†ก(SFTP) ํ”„๋กœ์„ธ์Šค ๊ตฌ์ถ•

  • ์‚ฌ์šฉ๊ธฐ์ˆ : Centos7, Spring boot, Java, MySQL, ShellScript

  • ๋‹ด๋‹น์—ญํ• : ์›นํŽ˜์ด์ง€ ๋ฐ API ์„œ๋ฒ„ ๊ตฌ์ถ•

๋ถˆ๋ฒ•์˜์ƒ ๊ฒ€์ถœ ์†”๋ฃจ์…˜ - ๐Ÿ“† 2019.10 ~ 2019.12 (3๊ฐœ์›”)

๋ฆฌ๋ฒค์ง€ ํฌ๋ฅด๋…ธ ํ”ผํ•ด์ž ์˜์ƒ ๊ฒ€์ถœ ๋ฐ ์‹ ๊ณ  ์†”๋ฃจ์…˜ PoC

  • ์ฃผ์š”๋‚ด์šฉ

    • AWS Rekognition ์„œ๋น„์Šค๋ฅผ ํ™œ์šฉํ•œ ์–ผ๊ตด์ธ์‹ ์†”๋ฃจ์…˜

    • ์˜์ƒ ํฌ๋กค๋ง ๋ฐ ๋ถˆ๋ฒ• ํ™ˆํŽ˜์ด์ง€ alive ์ฒดํฌ

  • ์‚ฌ์šฉ๊ธฐ์ˆ : Centos7, AWS, Spring boot, Java, Python

  • ๋‹ด๋‹น์—ญํ• 

    • AWS Rekognition API ํ™œ์šฉ ๋ฐ Lambda ๊ตฌํ˜„

    • ํ”ผํ•ด์ž ์ ‘์ˆ˜ ๋ฐ ๊ด€๋ฆฌ์ž ์กฐํšŒ ํ™ˆํŽ˜์ด์ง€ ๊ตฌ์ถ•

    • ํฌ๋กค๋ง์„ ํ™œ์šฉํ•œ ์˜์ƒ + ์‚ฌ์ดํŠธ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘

๐Ÿ“œ Certification

Title

Date

Code

SQLD (SQL๊ฐœ๋ฐœ์ž)

2019.12.31

์ •๋ณด์ฒ˜๋ฆฌ๊ธฐ์‚ฌ

2016.11.17

Last updated

Was this helpful?