3070? ХХ60 нет смысла брать так как там галяк CUDA, хх80 будут выше бюджета.
А так прикинь просто сколько у тебя запросов. Может дешевле будет просто юзать API от open ai
не хочу лить в онлайн. А запросы - ну пока распознавать нормально надиктованное и генерить из этого саммари-документацию
У Амазона есть целый сервис для этого Transcribe
3070 еще можно найти до 400 ойро: https://geizhals.de/?cat=gra16_512&xf=9810_06+16+-+RTX+3070
Но там всего 8 гигов памяти, на модели побольше или несколько потоков может и не хватать.
4070 уже 12 гигов, но там ценники 500 и выше.
Если не страшно, можно глянуть Б/У, сейчас вроде сильно не майнят, можно найти не убитый вариант.
ну он же тоже сливает в онлайн, так?
Он онлайн да: https://aws.amazon.com/transcribe/, но если верить амазону то он на твоих данные не будет тренировать модель.
спасибо, уже смотрю на цены
а 2080 ti?
мощнее, дешевле
Да, 2080ti вообще хорошо будет, но новую найти сложно. Зато БУ даже проще
Хм. 2080ти проигрывает 3070 по числу ядер, но выигрывает по памяти.
Но это табличка от AI, могут быть ошибки
Ну и больше CUDA лучше для ML и транскрайба
в итоге я собрал локально whisper.cpp для cpu и мне пока хватит 🙂 Диаризацию надо будет прикрутить, но это потом
Самый дешёвый вариант 😂
Ну по идее для простых speech to text моделей многого не нужно. Особенно, если количество языков ограничено одним. Не уверен, что для real time скорости хватит CPU, хотя хз :)
3060ti был новый чет 300. И там оперативка быстрее
Там цена на электричество за пару месяцев превысит разницу