| |
[27. Jan 2025|07:18] |
Es patestēju DeepSeek modeli vēl. Saka, ollama nav pareizie defaulti - modelis strādā labāk ja norāda šādus-tādus papildus parametrus. Vērtējot 14b modeli - ļoti ātri un patīkami rukā uz RTX 4070 video kartes (bet ir mēreni pastulbs, joku izskaidrot nespēj), es pieņemu, ka ja par paceļamu cenu būtu 32gb karte nopērkama kāda, tad arī 32b modelis darbotos ātri. Dalot atmiņu starp CPU/GPU modelis darbojas visai lēni. (14b modelis pieprasa ap 8gb atmiņas, kas uz Nvidia 40xx 12gb kartes ir pieejams, bet 32b modelis grib ap 20gb, un tādas kartes ir grūti dabūt. Nvidia 30xx sērija it kā bija ar lielu atmiņu, bet nav nopērkamas tagad.)
Mans paredzējums: pārskatāmā nākotnē tiks radīta video/AI karte kas ļaus tādus lokālos AI modeļus viegli un ātri darbināt.
(Nvidia RTX 5090 būšot ar 32gb atmiņas, piemēram. MSRP USD 2000 ?) |
|
|
| DeepSeek R1 local "32b" |
[26. Jan 2025|13:50] |
Tie "thinking" paragrāfi ir fascinējoši (sk bildes): https://imgur.com/a/lzR0nem
Diemžēl tas UI tūlis ko lietoju, neļauj viņus viegli iekopēt. Tāpēc šeit tikai responses:
Iedarbināju ar šo how-to: https://www.reddit.com/r/selfhosted/comments/1i6ggyh/got_deepseek_r1_running_locally_full_setup_guide/
Man dators ir gaming Windows desktop ar 64gb atmiņu (nopirku 2020. gadā), un RTX 4070 12gb video karti (nopirku nesen).
(Darbojas ļoti nesteidzīgi. Mazāks "14b" modelis atbildēja jestrāk.)
Es iemetu tikko arī OpenAI "4o" un "o1" atbildes - tie palikuši tādi slinki un strupi, īsti neko negrib teikt. Šis, savukārt diezgan runātīgs (un tie "think" segmenti ir super nianse). Bet pats galvenais: var darbināt uz vietas. Un būs vēl jaudīgāk.
w: I'll try that "explain a joke" experiment now. Is it ok?
r1: Of course! Please share your joke, and I'll do my best to explain it. 😊
( ... tālāk ... ) |
|
|
| ChatGPT o1 |
[26. Jan 2025|13:23] |
w: I'll try that "explain a joke" experiment now. Is it ok?
o1: Sure, go for it!
( ... tālāk ... ) |
|
|
| :) |
[22. Jan 2025|13:50] |
|
Vegāni ir kā papagaiļi, ... |
|
|
| |
[21. Jan 2025|19:41] |
|
slinkums meklēt. vai swedbank gold kredītkartē iekļautā ceļojumu apdrošināšana ir tikpat laba, kā IF pamata līmenis vismaz? ja nu kāds jau šo pētījis |
|
|
| |
[21. Jan 2025|16:41] |
|
klau, kā sauca tinti uzsūcošo papīru, ko lika skolēnu burtnīcās tajos laikos, kad skolēni vēl rakstīja ar tintes pildspalvām un arī vēl kādu laiku pēc tam? |
|
|
| |
[21. Jan 2025|00:42] |
|
mainība ir labākais, ko sīkumainība sevī spej ietvert |
|
|
| Antigone |
[20. Jan 2025|21:44] |
|
Vai kādam nav Sofokla Antigones pdf latviski? |
|
|
