๐ค Kernels ํ๋ก์ ํธ ๋๊ท๋ชจ ์ ๋ฐ์ดํธ ์ ๋ฆฌ
์์ฝ
Hugging Face๊ฐ ์ปค์คํ GPU ์ปค๋์ ํจํค์งยท๋ฐฐํฌยท๋ณด์ ์ฒด๊ณ๋ฅผ ์ ๋ฉด ์ฌ์ค๊ณํ๋ค. ์ ๋ฆฌํฌ์งํ ๋ฆฌ ํ์ , ์ ๋ขฐ๋ ํผ๋ธ๋ฆฌ์ ์ ๋, ์ฝ๋ ์๋ช , Torch Stable ABI ๋ฐ TVM FFI ์ง์์ด ํต์ฌ์ด๋ค.
Hugging Face Blog์์ ๐ค Kernels ํ๋ก์ ํธ์ ๋๊ท๋ชจ ์ ๋ฐ์ดํธ๋ฅผ ๋ฐํํ๋ค. ์ด๊ธฐ โFrom Zero to GPUโ ๋ฐํ ์ดํ ํ๋ก์ ํธ๋ฅผ ๊ฑฐ์ ์ ๋ฉด ์ฌ์ค๊ณํ์ผ๋ฉฐ, ๋ณด์ยทCLIยทํ๋ ์์ํฌ ์ง์ยท์์ด์ ํธ ๊ธฐ๋ฐ ์ปค๋ ๊ฐ๋ฐ ๊ธฐ๋ฐ๊น์ง ์ฌ๋ฌ ์ถ์์ ๋ณํ๊ฐ ์๋ค.
๋ฌด์์ด ์๋ก์ด๊ฐ
Hub์ โkernelโ์ด๋ผ๋ ์ ๋ฆฌํฌ์งํ ๋ฆฌ ํ์
์ด ์ถ๊ฐ๋์ด, ์ง์ ๊ฐ์๊ธฐยทOSยท๋ฐฑ์๋ ๋ฒ์ ์ ๋ณด๋ฅผ ์ปค๋ ํ์ด์ง์์ ๋ฐ๋ก ํ์ธํ ์ ์๊ฒ ๋๋ค. ๋ณด์ ์ธก๋ฉด์์๋ โtrusted publisherโ ๊ฐ๋
์ ๋์
ํด ๊ธฐ๋ณธ์ ์ผ๋ก ์ ๋ขฐ๋ ํผ๋ธ๋ฆฌ์
์ ์ปค๋๋ง ๋ก๋ํ๋ฉฐ, ๊ทธ ์ธ ์ปค๋์ trust_remote_code ์ธ์๋ฅผ ๋ช
์ํด์ผ ํ๋ค. ์ฝ๋ ์๋ช
์๋ Sigstore์ cosign์ ํ์ฉํด ์์ ์๋ช
ํค๋ฅผ ์ฌ์ฉํ๊ณ , ์ ๋ขฐ๋ GitHub ์ํฌํ๋ก์ฐ์์ ์๋ช
๋๋์ง๊น์ง ๊ฒ์ฆํ๋ค. ํ๋ ์์ํฌ ์ง์์์๋ Torch Stable ABI๊ฐ ์ถ๊ฐ๋์ด ํน์ Torch ๋ฒ์ ์ดํ ์ฝ 2๋
๊ฐ ํธํ์ ๋ณด์ฅํ๊ณ , Apache TVM FFI๋ฅผ ํตํด PyTorchยทJAXยทCuPy ๋ฑ ๊ต์ฐจ ํ๋ ์์ํฌ ์ปค๋ ์์ฑ์ด ๊ฐ๋ฅํด์ก๋ค. CLI๋ kernels(๋ก๋ฉยท์ค๋น์ฉ)์ kernel-builder(๋น๋์ฉ)๋ก ์ญํ ์ ๋ช
ํํ ๋ถ๋ฆฌํ๋ค.
์ค์ ํ์ผ์ ์ด๋ค ์๋ฏธ์ธ๊ฐ
์ปค๋ ๋ก๋ฉ ์ฝ๋์์ ๊ฐ์ฅ ์ง์ ์ ์ธ ๋ณ๊ฒฝ์ trust_remote_code ์ธ์๋ค. ๊ธฐ์กด์ ์ ๋ขฐ๋์ง ์์ ํผ๋ธ๋ฆฌ์
์ ์ปค๋์ ์ฌ์ฉ ์ค์ด์๋ค๋ฉด get_kernel() ํธ์ถ ์ ์ด ์ต์
์ ๋ช
์์ ์ผ๋ก ์ถ๊ฐํด์ผ ํ๋ค. ๋น๋ ํ์ดํ๋ผ์ธ ์ชฝ์์๋ kernels CLI์ kernel-builder CLI๊ฐ ๋ถ๋ฆฌ๋์์ผ๋ฏ๋ก, ๊ธฐ์กด ์คํฌ๋ฆฝํธ๋ CI ์ค์ ์์ ๋ ๋๊ตฌ์ ๋ช
๋ น์ ํผ์ฉํ๊ณ ์์๋ค๋ฉด ๊ฐ๊ฐ์ ๋ฌธ์๋ฅผ ํ์ธํด ์
๋ฐ์ดํธํ ํ์๊ฐ ์๋ค. ์ฝ๋ ์๋ช
์ ์์ง ๋ก๋ฉ ์ ์๋ ๊ฒ์ฆ ๋จ๊ณ์๋ ํฌํจ๋์ง ์์๊ณ , ์๋ ๊ฒ์ฆ ๋ช
๋ น(kernels verify-signature)๋ง ์ ๊ณต๋๋ค. ์๋ช
์ค์ ์ ๋ํ ๊ตฌ์ฒด์ ์ธ ๊ฐ์ด๋๋ kernels v0.16.0 ๋ฆด๋ฆฌ์ค ๋
ธํธ์ ์๋ค. Torch Stable ABI ํ๊ฒํ
์ด๋ TVM FFI ์ฌ์ฉ์ ๋ฐ๋ฅธ ๋น๋ ์ค์ ๋ณ๊ฒฝ์ ์๋ฌธ์์ ์ธ๋ถ ์ฌํญ์ ๋ค๋ฃจ์ง ์์ผ๋ฏ๋ก, ๊ณต์ CLI ๋ฌธ์๋ฅผ ์ง์ ์ฐธ์กฐํ๋ ๊ฒ์ด ์ ํํ๋ค.
๋ค์ ๋จ๊ณ ์ ์
ํ์ฌ ์ปค์คํ
์ปค๋์ ๋ฐฐํฌํ๊ฑฐ๋ ์๋นํ๊ณ ์๋ค๋ฉด, ์ฐ์ Hub์ ์ kernel ๋ฆฌํฌ์งํ ๋ฆฌ ํ์
์ผ๋ก ์ ํ ๊ฐ๋ฅ ์ฌ๋ถ๋ฅผ ํ์ธํ๊ณ , kernels์ kernel-builder CLI ๋ฌธ์๋ฅผ ๊ฐ๊ฐ ์ดํด๋ณด๊ธธ ๊ถํ๋ค. ์์ด์ ํธ ๊ธฐ๋ฐ ์ปค๋ ๊ฐ๋ฐ์ ๊ด์ฌ์ด ์๋ค๋ฉด, kernel-builder์ ๋น๋ํํ CLI ์ค๊ณ์ ๋ฐฑ์๋๋ณ ์คํฌ ๊ตฌ์กฐ๊ฐ ์ด๋ค ์ํฌํ๋ก์ฐ์ ์กฐํฉ ๊ฐ๋ฅํ์ง ์๋ฌธ์ ํด๋น ์น์
์ ์ฝ์ด๋ณผ ๋งํ๋ค. ์ฝ๋ ์๋ช
์ ์์ง ์ด๊ธฐ ๋จ๊ณ์ด๋ฏ๋ก ๋ฐ๋ก ํ๋ก๋์
์ ์ ์ฉํ๊ธฐ๋ณด๋ค๋ v0.16.0 ๋ฆด๋ฆฌ์ค ๋
ธํธ๋ฅผ ๋ฐ๋ผ ํ
์คํธ ํ๊ฒฝ์์ ๋จผ์ ์๋ํด ๋ณด๋ ๊ฒ์ด ํ์ค์ ์ด๋ค.
์๋ฌธ ์ ์ฒด ๋ณด๊ธฐ: ๐ค Kernels: Major Updates (Hugging Face Blog)
๋ค๋ฅธ Hugging Face ์์
OlmoEarth ํ๋ซํผ: ํ์ฑ ๊ท๋ชจ ์ง๋ฆฌ๊ณต๊ฐ ์ถ๋ก ์ธํ๋ผ ํด๋ถ
Allen AI(Ai2)๊ฐ OlmoEarth ํ๋ซํผ์ ๋๊ท๋ชจ ์ง๋ฆฌ๊ณต๊ฐ ์ถ๋ก ์ธํ๋ผ ์ค๊ณ๋ฅผ ๊ณต๊ฐํ๋ค. ์์ฑ ์ด๋ฏธ์ง ์์งยท์ ์ฒ๋ฆฌยท์ถ๋ก ยทํ์ฒ๋ฆฌ๋ฅผ CPU/GPU ๋ณ๋ก ๋ถ๋ฆฌํ๊ณ , ์์ฒ ์์ปค๋ฅผ ํฌ์์ํ๋ ์ํคํ ์ฒ๋ฅผ ์์ธํ ๋ค๋ฃฌ๋ค.
NVIDIA Cosmos-H-Dreams: ์์ ๋ก๋ด์ ์ํ ์ค์๊ฐ ์์ฑํ ์๋ฎฌ๋ ์ด์
NVIDIA๊ฐ ์์ ๋ก๋ด ์๋ฎฌ๋ ์ด์ ๋ชจ๋ธ Cosmos-H-Surgical-Simulator๋ฅผ ์ค์๊ฐ ์ถ๋ก ์ด ๊ฐ๋ฅํ๋๋ก ์ฆ๋ฅํ Cosmos-H-Dreams๋ฅผ ๊ณต๊ฐํ๋ค. FlashDreams ์ถ๋ก ์์ง๊ณผ ๊ฒฐํฉํด ๋จ์ผ GPU์์ ์ฝ 160fps๋ก ์ธํฐ๋ํฐ๋ธ ์๋ฎฌ๋ ์ด์ ์ ๊ตฌ๋ํ๋ค.
Nunchaku 4๋นํธ ๋ํจ์ ์ถ๋ก ์ Diffusers์ ํตํฉํ๋ค
Nunchaku์ SVDQuant 4๋นํธ ์์ํ ์ฒดํฌํฌ์ธํธ๋ฅผ Diffusers์์ from_pretrained()๋ง์ผ๋ก ๋ก๋ํ ์ ์๋ 'Nunchaku Lite' ํตํฉ์ด ๋ฐํ๋์๋ค. ๋ณ๋ ์ถ๋ก ์์ง ์์ด VRAM์ ์ ๋ฐ ์์ค์ผ๋ก ์ค์ด๋ฉด์ ์ฝ 30% ์๋ ํฅ์์ ์ ๊ณตํ๋ค.