화웨이 token plan 꽤 비싸다
싸지 않다, 특히 이 할당량 소모 방식이 문제인데, 입력과 출력이 모두 plan에 포함된다. 나는 자주 한 번의 요청에 2천만 tokens가 나오는데, 59위안 구간은 내 요청 3번분밖에 안 된다. 코딩용으로 쓰면 입력의 약 99%가 입력 캐시인데, 캐시 히트를 정가로 계산하는 건 꽤 황당하다. 쓰는 사람이 생기게 하려면 입력을 계산하지 말고 출력만 할당량에 넣어야…
싸지 않다, 특히 이 할당량 소모 방식이 문제인데, 입력과 출력이 모두 plan에 포함된다. 나는 자주 한 번의 요청에 2천만 tokens가 나오는데, 59위안 구간은 내 요청 3번분밖에 안 된다. 코딩용으로 쓰면 입력의 약 99%가 입력 캐시인데, 캐시 히트를 정가로 계산하는 건 꽤 황당하다. 쓰는 사람이 생기게 하려면 입력을 계산하지 말고 출력만 할당량에 넣어야, 그때야 고려할 만한 가치가 있다. 예를 들어 알리바바 클라우드의 token plan은 그래도 입력과 입력 캐시를 구분해서, 캐시 히트 가격을 1/10로 하니 어느 정도 할인이라도 된다. 화웨이 쪽은 정말 캐시 히트가 없는 건지, 아니면 문서에 쓰는 걸 깜빡한 건지 모르겠다.
