[win]Чем лучше сделать анализ и обработку числовых данных?

durka82

Можно конечно и прогу написать.
Но наверняка есть готовые средства.
Задача следующая:
Есть файл, в котором 2 столбца данных: первый - координата, второй - значение (таблично заданная функция).
Нужно убедиться, что все координаты уникальны.
Если есть неуникальные с одинаковыми значениями функции - тогда удалять дубликаты.
Если с разными - тогда чтобы были варианты (например усреднить).
Файл можно считать отсортированным по координатам.
Но лучше, чтобы сортировать он тоже умел.
Регулярные выражения для этого есть смысл использовать?

maggi14

для этого есть смысл использовать эксель

Ivan8209

man uniq
---
"Аллах не ведёт людей неверных."

durka82

А что конкретно?
Сортировать умею, а вот как такое сделать?..

maggi14

скрипт прогнать несложный. всяко проще, чем свою прогу делать

durka82

В принципе подходит, но она позволяет пропускать поля в начале строки, а мне надо наоборот.
А под вин она есть? А то не хочется прямо сейчас Цигвин ставить...

durka82

То есть без написания скрипта на vba никак?

maggi14

не знаю, нет, наверно. быстрее скрипт написать, чем в хелп смотреть
кстати, вырезать одинаковые точки тебе не нужно. Достаточно усреднить функцию по точкам с одинаковыми аргументами. Естественно, само собой выполнется и вырезание дублирующихся значений.

Ivan8209

awk, чтобы переставить поля.
Тебе достаточно вытащить только основную либу и бинарники из нужных пакетов.
Но по-хорошему уже давно надо иметь цигвин.
---
Пользователи делятся на две группы:
тех, кто хочет работать на компьютере,
и тех, кто хочет, чтобы компьютер работал за них.

durka82

awk, чтобы переставить поля.

Как-то этот вариант сомнителен для больших файлов

Ivan8209

24-метровые файлы обрабатывал --- ничего было.
А у тебя какие файлы?
---
"Аллах не ведёт людей неверных."

durka82

У меня вообще маленькие.
Но мало ли что будет.
Правда возможно, что тот man по этой утилите, который я нашел в инете, отличается от man-а цигвина...

Ivan8209

> У меня вообще маленькие.
Тем более.
> Но мало ли что будет.
Ну, тогда sort тормозить будет --- заморочиться придётся.
> Правда возможно, что тот man по этой утилите,
> который я нашел в инете, отличается от man-а цигвина...
Цигвин --- это ГНУ.
---
"Аллах не ведёт людей неверных."

Dasar

стратегически:
для сложной и гибкой обработки данных - обязательно необходимо заботать,применять и развивать какой-нибудь скрипт.
если обработка данных - в основном - идет под windows, то стоит заботать monad (нынешний PowerShell)
под nix - perl (как основной кандидат)
зы
awk и иже с ним - не стоит. community слабое, мощность средств и развитие мизерное.

kruzer25

Я бы сделал это с помощью СУБД, например, MySQL.

aleks058

А как она с текстовыми файлами работает в качестве исходных данных?
Я бы тоже сначала в БД залил, а потом обрабатывал как угодно, используя SQL, но не очень понятно, подойдет ли такой вариант.

kruzer25

Напиши скрипт, который тебе распарсит эти исходные данные на обычные INSERT-ы.

aleks058

Вообще, сомнительно, нужно ли это `у.
Проще налабать какую-нибудь маленькую прожку на том же c++ или шарпе. На вход файл, на выход файл и все.

bleyman

Тут уже посоветовали monad - это приблизительно оно и есть, АФАИК =)

Ivan8209

> под nix - perl (как основной кандидат)
Не учи человека плохому.
Я понимаю, что Perl --- язык для настоящих программистов,
но man gawk занимает что-то около двух десятков страниц,
а в Perl даже перловщики не всегда разобраться способны.
И не надо на awk гнать, Ахо и Керниган знали, что делали.
Каждый, по-отдельности калибром поболее Волла будет.
---
...Я работаю антинаучным аферистом...

Marinavo_0507

А кто-нибудь из форумчан пробовал R?
Оно вроде как для сабжа специально.

Dasar

> И не надо на awk гнать, Ахо и Керниган знали, что делали.
> Каждый, по-отдельности калибром поболее Волла будет.
система и community - важнее, чем помыслы разработчиков.
чистота языка важна только в потенциальном смысле - насколько легко строить эту самую систему и community.

Ivan8209

> система и community - важнее, чем помыслы разработчиков.
Если человек занимается решением задач, а не хакерством,
то никакое общество ему не поможет.
> чистота языка важна только в потенциальном смысле -
> насколько легко строить эту самую систему и community.
Чистота языка важна. Точка.
Всё, что после этого, идёт от лукавого: человек решает задачи
из узкой, строгоопределённой области, а не www-хакерством.
Если он обратится к перловщикам, то они его просто не поймут:
они не умеют решать поставленные задачи.
Вон, кстати, примеры уже есть: "я бы сначала загнал в БД."
А то, что в условиях задачи никакой БД нафиг не надо, им даже невдомёк.
---
"Аллах не ведёт людей неверных."

rooony

Можно конечно и прогу написать.
Но наверняка есть готовые средства.
Есть хорошее готовое средство - Multi-Edit. Условно-бесплатное.
Текстовый редактор еще со времен DOS. Ходит под виндой.
Позволяет работать со столбцовыми блоками, сортировать по
заданному признаку и много всего другого. Поддерживает DOS/
UNIX форматы и всевозможные кодировки.
Посмотри, например,
http://www.download.com/Multi-Edit/3000-2352_4-10356556.html
http://soft.softodrom.ru/scr/getc.php?id=3349&page=1
или поищи сам в гугле.

durka82

Всем спасибо
Буду разбираться...
Оставить комментарий
Имя или ник:
Комментарий: