ConfigDeck
Hugging Face ์•„ํ‹ฐํด
Hugging Face

๐Ÿค— Kernels ํ”„๋กœ์ ํŠธ ๋Œ€๊ทœ๋ชจ ์—…๋ฐ์ดํŠธ ์ •๋ฆฌ

Hugging Face Blog ๋ฐœํ‘œ์— ๋Œ€ํ•œ ConfigDeck ์ฝ”๋ฉ˜ํ„ฐ๋ฆฌ

์š”์•ฝ

Hugging Face๊ฐ€ ์ปค์Šคํ…€ GPU ์ปค๋„์˜ ํŒจํ‚ค์ง•ยท๋ฐฐํฌยท๋ณด์•ˆ ์ฒด๊ณ„๋ฅผ ์ „๋ฉด ์žฌ์„ค๊ณ„ํ–ˆ๋‹ค. ์ƒˆ ๋ฆฌํฌ์ง€ํ† ๋ฆฌ ํƒ€์ž…, ์‹ ๋ขฐ๋œ ํผ๋ธ”๋ฆฌ์…” ์ œ๋„, ์ฝ”๋“œ ์„œ๋ช…, Torch Stable ABI ๋ฐ TVM FFI ์ง€์›์ด ํ•ต์‹ฌ์ด๋‹ค.

Hugging Face Blog์—์„œ ๐Ÿค— Kernels ํ”„๋กœ์ ํŠธ์˜ ๋Œ€๊ทœ๋ชจ ์—…๋ฐ์ดํŠธ๋ฅผ ๋ฐœํ‘œํ–ˆ๋‹ค. ์ดˆ๊ธฐ โ€œFrom Zero to GPUโ€ ๋ฐœํ‘œ ์ดํ›„ ํ”„๋กœ์ ํŠธ๋ฅผ ๊ฑฐ์˜ ์ „๋ฉด ์žฌ์„ค๊ณ„ํ–ˆ์œผ๋ฉฐ, ๋ณด์•ˆยทCLIยทํ”„๋ ˆ์ž„์›Œํฌ ์ง€์›ยท์—์ด์ „ํŠธ ๊ธฐ๋ฐ˜ ์ปค๋„ ๊ฐœ๋ฐœ ๊ธฐ๋ฐ˜๊นŒ์ง€ ์—ฌ๋Ÿฌ ์ถ•์—์„œ ๋ณ€ํ™”๊ฐ€ ์žˆ๋‹ค.

๋ฌด์—‡์ด ์ƒˆ๋กœ์šด๊ฐ€

Hub์— โ€œkernelโ€์ด๋ผ๋Š” ์ƒˆ ๋ฆฌํฌ์ง€ํ† ๋ฆฌ ํƒ€์ž…์ด ์ถ”๊ฐ€๋˜์–ด, ์ง€์› ๊ฐ€์†๊ธฐยทOSยท๋ฐฑ์—”๋“œ ๋ฒ„์ „ ์ •๋ณด๋ฅผ ์ปค๋„ ํŽ˜์ด์ง€์—์„œ ๋ฐ”๋กœ ํ™•์ธํ•  ์ˆ˜ ์žˆ๊ฒŒ ๋๋‹ค. ๋ณด์•ˆ ์ธก๋ฉด์—์„œ๋Š” โ€œtrusted publisherโ€ ๊ฐœ๋…์„ ๋„์ž…ํ•ด ๊ธฐ๋ณธ์ ์œผ๋กœ ์‹ ๋ขฐ๋œ ํผ๋ธ”๋ฆฌ์…”์˜ ์ปค๋„๋งŒ ๋กœ๋“œํ•˜๋ฉฐ, ๊ทธ ์™ธ ์ปค๋„์€ trust_remote_code ์ธ์ž๋ฅผ ๋ช…์‹œํ•ด์•ผ ํ•œ๋‹ค. ์ฝ”๋“œ ์„œ๋ช…์—๋Š” Sigstore์˜ cosign์„ ํ™œ์šฉํ•ด ์ž„์‹œ ์„œ๋ช… ํ‚ค๋ฅผ ์‚ฌ์šฉํ•˜๊ณ , ์‹ ๋ขฐ๋œ GitHub ์›Œํฌํ”Œ๋กœ์šฐ์—์„œ ์„œ๋ช…๋๋Š”์ง€๊นŒ์ง€ ๊ฒ€์ฆํ•œ๋‹ค. ํ”„๋ ˆ์ž„์›Œํฌ ์ง€์›์—์„œ๋Š” Torch Stable ABI๊ฐ€ ์ถ”๊ฐ€๋˜์–ด ํŠน์ • Torch ๋ฒ„์ „ ์ดํ›„ ์•ฝ 2๋…„๊ฐ„ ํ˜ธํ™˜์„ ๋ณด์žฅํ•˜๊ณ , Apache TVM FFI๋ฅผ ํ†ตํ•ด PyTorchยทJAXยทCuPy ๋“ฑ ๊ต์ฐจ ํ”„๋ ˆ์ž„์›Œํฌ ์ปค๋„ ์ž‘์„ฑ์ด ๊ฐ€๋Šฅํ•ด์กŒ๋‹ค. CLI๋„ kernels(๋กœ๋”ฉยท์ค€๋น„์šฉ)์™€ kernel-builder(๋นŒ๋“œ์šฉ)๋กœ ์—ญํ• ์„ ๋ช…ํ™•ํžˆ ๋ถ„๋ฆฌํ–ˆ๋‹ค.

์„ค์ • ํŒŒ์ผ์— ์–ด๋–ค ์˜๋ฏธ์ธ๊ฐ€

์ปค๋„ ๋กœ๋”ฉ ์ฝ”๋“œ์—์„œ ๊ฐ€์žฅ ์ง์ ‘์ ์ธ ๋ณ€๊ฒฝ์€ trust_remote_code ์ธ์ž๋‹ค. ๊ธฐ์กด์— ์‹ ๋ขฐ๋˜์ง€ ์•Š์€ ํผ๋ธ”๋ฆฌ์…”์˜ ์ปค๋„์„ ์‚ฌ์šฉ ์ค‘์ด์—ˆ๋‹ค๋ฉด get_kernel() ํ˜ธ์ถœ ์‹œ ์ด ์˜ต์…˜์„ ๋ช…์‹œ์ ์œผ๋กœ ์ถ”๊ฐ€ํ•ด์•ผ ํ•œ๋‹ค. ๋นŒ๋“œ ํŒŒ์ดํ”„๋ผ์ธ ์ชฝ์—์„œ๋Š” kernels CLI์™€ kernel-builder CLI๊ฐ€ ๋ถ„๋ฆฌ๋˜์—ˆ์œผ๋ฏ€๋กœ, ๊ธฐ์กด ์Šคํฌ๋ฆฝํŠธ๋‚˜ CI ์„ค์ •์—์„œ ๋‘ ๋„๊ตฌ์˜ ๋ช…๋ น์„ ํ˜ผ์šฉํ•˜๊ณ  ์žˆ์—ˆ๋‹ค๋ฉด ๊ฐ๊ฐ์˜ ๋ฌธ์„œ๋ฅผ ํ™•์ธํ•ด ์—…๋ฐ์ดํŠธํ•  ํ•„์š”๊ฐ€ ์žˆ๋‹ค. ์ฝ”๋“œ ์„œ๋ช…์€ ์•„์ง ๋กœ๋”ฉ ์‹œ ์ž๋™ ๊ฒ€์ฆ ๋‹จ๊ณ„์—๋Š” ํฌํ•จ๋˜์ง€ ์•Š์•˜๊ณ , ์ˆ˜๋™ ๊ฒ€์ฆ ๋ช…๋ น(kernels verify-signature)๋งŒ ์ œ๊ณต๋œ๋‹ค. ์„œ๋ช… ์„ค์ •์— ๋Œ€ํ•œ ๊ตฌ์ฒด์ ์ธ ๊ฐ€์ด๋“œ๋Š” kernels v0.16.0 ๋ฆด๋ฆฌ์Šค ๋…ธํŠธ์— ์žˆ๋‹ค. Torch Stable ABI ํƒ€๊ฒŸํŒ…์ด๋‚˜ TVM FFI ์‚ฌ์šฉ์— ๋”ฐ๋ฅธ ๋นŒ๋“œ ์„ค์ • ๋ณ€๊ฒฝ์€ ์›๋ฌธ์—์„œ ์„ธ๋ถ€ ์‚ฌํ•ญ์„ ๋‹ค๋ฃจ์ง€ ์•Š์œผ๋ฏ€๋กœ, ๊ณต์‹ CLI ๋ฌธ์„œ๋ฅผ ์ง์ ‘ ์ฐธ์กฐํ•˜๋Š” ๊ฒƒ์ด ์ •ํ™•ํ•˜๋‹ค.

๋‹ค์Œ ๋‹จ๊ณ„ ์ œ์•ˆ

ํ˜„์žฌ ์ปค์Šคํ…€ ์ปค๋„์„ ๋ฐฐํฌํ•˜๊ฑฐ๋‚˜ ์†Œ๋น„ํ•˜๊ณ  ์žˆ๋‹ค๋ฉด, ์šฐ์„  Hub์˜ ์ƒˆ kernel ๋ฆฌํฌ์ง€ํ† ๋ฆฌ ํƒ€์ž…์œผ๋กœ ์ „ํ™˜ ๊ฐ€๋Šฅ ์—ฌ๋ถ€๋ฅผ ํ™•์ธํ•˜๊ณ , kernels์™€ kernel-builder CLI ๋ฌธ์„œ๋ฅผ ๊ฐ๊ฐ ์‚ดํŽด๋ณด๊ธธ ๊ถŒํ•œ๋‹ค. ์—์ด์ „ํŠธ ๊ธฐ๋ฐ˜ ์ปค๋„ ๊ฐœ๋ฐœ์— ๊ด€์‹ฌ์ด ์žˆ๋‹ค๋ฉด, kernel-builder์˜ ๋น„๋Œ€ํ™”ํ˜• CLI ์„ค๊ณ„์™€ ๋ฐฑ์—”๋“œ๋ณ„ ์Šคํ‚ฌ ๊ตฌ์กฐ๊ฐ€ ์–ด๋–ค ์›Œํฌํ”Œ๋กœ์šฐ์— ์กฐํ•ฉ ๊ฐ€๋Šฅํ•œ์ง€ ์›๋ฌธ์˜ ํ•ด๋‹น ์„น์…˜์„ ์ฝ์–ด๋ณผ ๋งŒํ•˜๋‹ค. ์ฝ”๋“œ ์„œ๋ช…์€ ์•„์ง ์ดˆ๊ธฐ ๋‹จ๊ณ„์ด๋ฏ€๋กœ ๋ฐ”๋กœ ํ”„๋กœ๋•์…˜์— ์ ์šฉํ•˜๊ธฐ๋ณด๋‹ค๋Š” v0.16.0 ๋ฆด๋ฆฌ์Šค ๋…ธํŠธ๋ฅผ ๋”ฐ๋ผ ํ…Œ์ŠคํŠธ ํ™˜๊ฒฝ์—์„œ ๋จผ์ € ์‹œ๋„ํ•ด ๋ณด๋Š” ๊ฒƒ์ด ํ˜„์‹ค์ ์ด๋‹ค.


์›๋ฌธ ์ „์ฒด ๋ณด๊ธฐ: ๐Ÿค— Kernels: Major Updates (Hugging Face Blog)

๋‹ค๋ฅธ Hugging Face ์†Œ์‹

OlmoEarth ํ”Œ๋žซํผ: ํ–‰์„ฑ ๊ทœ๋ชจ ์ง€๋ฆฌ๊ณต๊ฐ„ ์ถ”๋ก  ์ธํ”„๋ผ ํ•ด๋ถ€

Allen AI(Ai2)๊ฐ€ OlmoEarth ํ”Œ๋žซํผ์˜ ๋Œ€๊ทœ๋ชจ ์ง€๋ฆฌ๊ณต๊ฐ„ ์ถ”๋ก  ์ธํ”„๋ผ ์„ค๊ณ„๋ฅผ ๊ณต๊ฐœํ–ˆ๋‹ค. ์œ„์„ฑ ์ด๋ฏธ์ง€ ์ˆ˜์ง‘ยท์ „์ฒ˜๋ฆฌยท์ถ”๋ก ยทํ›„์ฒ˜๋ฆฌ๋ฅผ CPU/GPU ๋ณ„๋กœ ๋ถ„๋ฆฌํ•˜๊ณ , ์ˆ˜์ฒœ ์›Œ์ปค๋ฅผ ํŒฌ์•„์›ƒํ•˜๋Š” ์•„ํ‚คํ…์ฒ˜๋ฅผ ์ƒ์„ธํžˆ ๋‹ค๋ฃฌ๋‹ค.

NVIDIA Cosmos-H-Dreams: ์ˆ˜์ˆ  ๋กœ๋ด‡์„ ์œ„ํ•œ ์‹ค์‹œ๊ฐ„ ์ƒ์„ฑํ˜• ์‹œ๋ฎฌ๋ ˆ์ด์…˜

NVIDIA๊ฐ€ ์ˆ˜์ˆ  ๋กœ๋ด‡ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๋ชจ๋ธ Cosmos-H-Surgical-Simulator๋ฅผ ์‹ค์‹œ๊ฐ„ ์ถ”๋ก ์ด ๊ฐ€๋Šฅํ•˜๋„๋ก ์ฆ๋ฅ˜ํ•œ Cosmos-H-Dreams๋ฅผ ๊ณต๊ฐœํ–ˆ๋‹ค. FlashDreams ์ถ”๋ก  ์—”์ง„๊ณผ ๊ฒฐํ•ฉํ•ด ๋‹จ์ผ GPU์—์„œ ์•ฝ 160fps๋กœ ์ธํ„ฐ๋ž™ํ‹ฐ๋ธŒ ์‹œ๋ฎฌ๋ ˆ์ด์…˜์„ ๊ตฌ๋™ํ•œ๋‹ค.

Nunchaku 4๋น„ํŠธ ๋””ํ“จ์ „ ์ถ”๋ก ์„ Diffusers์— ํ†ตํ•ฉํ•˜๋‹ค

Nunchaku์˜ SVDQuant 4๋น„ํŠธ ์–‘์žํ™” ์ฒดํฌํฌ์ธํŠธ๋ฅผ Diffusers์—์„œ from_pretrained()๋งŒ์œผ๋กœ ๋กœ๋“œํ•  ์ˆ˜ ์žˆ๋Š” 'Nunchaku Lite' ํ†ตํ•ฉ์ด ๋ฐœํ‘œ๋˜์—ˆ๋‹ค. ๋ณ„๋„ ์ถ”๋ก  ์—”์ง„ ์—†์ด VRAM์„ ์ ˆ๋ฐ˜ ์ˆ˜์ค€์œผ๋กœ ์ค„์ด๋ฉด์„œ ์•ฝ 30% ์†๋„ ํ–ฅ์ƒ์„ ์ œ๊ณตํ•œ๋‹ค.