// import { Tiktoken } from '@dqbd/tiktoken/lite';
// import cl100k_base from '@dqbd/tiktoken/encoders/cl100k_base.json' assert { type: 'json' };

export function tokenCount(content: string): number {
  //   const encoding = new Tiktoken(
  //     cl100k_base.bpe_ranks,
  //     cl100k_base.special_tokens,
  //     cl100k_base.pat_str
  //   );
  //   const tokens = encoding.encode(content);
  //   encoding.free();

  return content.length / 2.7;
}