How to select the most frequently occurring lines in a file?

Question

Analytics

There is a file of about 10k lines, you need to select the top 50 lines that occur most often. What is the easiest way to implement this and how?

Answer 1

• Открываете любой скриптовый язык, который знаете.
  
• Делаете элементарный препроцессинг: всё приводите к нижнему регистру, убираете знаки препинания и т.п.
  
• Разбиваете всё на пары ключ: значение ("слово": 1, "другое": 1).
  
• Группируете по ключу. Функция группировки значений - сумма.