Нужен скрипт сравнивающий два файла

Здравствуйте.
Нужен скрипт сравнивающий два файла.
Файлы имеют строго такой вид:
файл №1:
Иванов.А.Б
Петров.Д.С.
Антонов.Л.Б
Бутько.Р.Л
Шумко.П.Т
и т.д.

файл №2:
Иванова.Н.В
Петрова.Е.С.
Антонова.Л.Л
Бутько.Р.Л
Шумко.П.Т
и т.д.

т.е. это два текстовых файла, в которых ФИО по одному на строчке. ФИО в файлах могут совпадать и идут не по алфавиту.

Нужен скрипт, который бы делал последовательно следующее:
1) брал эти два файла, создавал таблицы MySQL с аналогичным файлу названием и загонял каждый в свою таблицу (резервировать нужно около 100 символов на строку, так как иногда файлы будут содержать полные ФИО, типа "Иванов Иван Иванович");
2) сравнивал эти таблицы ищя совпадения и расхождения.
Под сравнением имеется ввиду нахождение:
а) поиск ФИО имеющихся только в 1-ом файле;
б) поиск ФИО имеющихся только во 2-ом файле;
в) поиск ФИО совпадающих в обоих файлах.
3) сохранял на диск эти три файла а.txt б.txt в.txt в алфавитном порядке.
4) иногда нужно сохранить не три файла, а какой-то один или два, поэтому надо чтобы при запуске скрипт попросил в виде чекбоксов отметить какие файлы сохранять после сравнения.

p.s. Файлы не маленькие

Вроде ничего принципиально сложного в задании нет, поэтому бюджет 10$ (300р).

 

У меня есть notepad++ и даже 3, по одному на комп Но чем он может помочь? Он же сам скрипт не напишет

 

Romero, а может за 300? Бюджет он же не резиновый
В качестве компенсации могу дать наводку, вот мой самописный скрипт, который сравнивает эти два файла и сохраняет выборки:

PHP:

1. <?php
2. set_time_limit(0);
3.  
4. $z1 = fopen ("a.txt", "w+");
5. $z2 = fopen ("b.txt", "w+");
6. $z3 = fopen ("c.txt", "w+");
7.  
8. $o1 = fopen ("1.txt", "r");
9. $o2 = fopen ("2.txt", "r");
10.  
11. $b1 = fgets($o1);
12. $b2 = fgets($o2);
13.  
14.  
15. while (!feof($o1) and !feof($o2))   {
16.     if (strcmp($b1,$b2)<0){
17.         fwrite ($z1,$b1);//записываем те, что есть только в первом файле
18.         $b1 = fgets($o1);
19.     }
20.     else if (strcmp($b1,$b2)==0){
21.         fwrite ($z2,$b1);//записываем те, что есть в обоих файлах
22.         $b1 = fgets($o1); $b2 = fgets($o2);
23.     }
24.     else if (strcmp($b1,$b2)>0){
25.         fwrite ($z3,$b2);//записываем те, что есть только во втором файле
26.         $b2 = fgets($o2);
27.     }
28. }
29.  
30. while (!feof($o2))  {//это цикл костыль, чтобы пройти второй файл до конца
31.     fwrite ($z2,$b2);
32.     $b2 = fgets($o2);
33. }
34.  
35. fclose($o1);
36. fclose($o2);
37. fclose($z1);
38. fclose($z2);
39. fclose($z3);
40.  
41. ?>

Но у этого моего скрипта ограничение в том, что файлы должны быть отсортированы. Сейчас же приходят неотсортированные файлы и приходится их для сортировки загонять в базу. Вот и все отличие.

 

Пока не актуально, человек написал в ЛС и взялся сделать.

 

Romero
А по другому уже не получается Когда файлы были маленькие, можно было его целиком в массив считать и отсортировать. Потом файлы стали расти и перестало хватать памяти на считку файла. Пришлось сортировать с помощь sqlite. А теперь пошли гигабайтные файлы, на которых sqlite давится. Поэтому хочешь ни хочешь, а надо загонять в БД и в ней сортировать.

 

Romero, да, не в бирюльки играем

 

Снова актуально.

Человек который взялся за написание скрипта наткнулся на проблему, что данные из файлов чрезвычайно медленно записываются в БД. У него получилось, что только для загрузки в БД 2-х файлов с размером под 2ГБ, нужно более 50часов! Что естественно странно и никуда не годится.
Параметры сравниваемых файлов примерно такие:
- размер файла до 2 ГБ;
- число строк в файле ~80 млн. шт.

Я для теста попробовал через консоль mysql закидывать данные в БД. Результат: файл на 373МБ с числом строк 9 230 000 зашел в базу за 10 минут, т.е. со скоростью в десятки раз быстрее чем у его скрипта. Поэтому очевидно что-то не то в его скрипте и он говорит, что как кардинально ускорить процесс не знает и передает эстафету

В общем актуально. Увеличиваю бюджет до 500р.

 

Актуально до сегодняшнего вечера.
Если никто не берется сделать по нормальному, то сделаю тупо на файлах, разбив большой на 100500 маленьких, отсортировав и сложив по частям. И имел я БД ввиду

 

Apple, на файлах я и сам на php сделаю.
Мне надо именно через БД, для общего развития и чтобы сравнить по производительности с вариантом на файлах.

 

Сделаю!
Могу даже рассказать как это будет.

1) Создаю в цикле 900 файлов (30*30 букв), по принципу:
файл аа.txt: Для сточек начинающихся с "аа"
файл аб.txt: Для сточек начинающихся с "аб"
файл ав.txt: Для сточек начинающихся с "ав"
и т.д.

2) читаю файл построчно и:
- если он начинается на "аа" записываю в файл аа.txt;
- если он начинается на "аб" записываю в файл аб.txt;
- если он начинается на "ав" записываю в файл ав.txt;
и т.д.
т.е. пишу сразу в 900 файлов.

3) сортирую эти полученные маленькие файлы (их размер получится примерно 2000/900=2.3МБ). Такие небольшие файлы я умею сортировать.

4) собираю из маленьких файлов один отсортированный большой

5) повторяю эту процедуру для второго файла

6) сравниваю файлы своим простым но надежным скриптом, что писал выше.

всё

Мощно и надежно

 

дорого

 

Не, я этот факт оценить не могу Куда и чего он гнется непонятно

 

[vs], это на больших, а я же, раз не получается через БД, разобью на мелкие (до 10МБ), такие щелкает и не давится